Visuelle Kartierung multimodaler Emotionsmerkmale für das Design intelligenter Interaktion

Zusammenfassung

Die Arbeit schlägt einen End-to-End-Multimodal-Emotionsanalyserahmen vor, der Transformer-Encoder, entkoppelte Emotionsrepräsentationen und eine graphenbasierte, multimodale Aufmerksamkeit mit visueller Abbildung nutzt, um die Genauigkeit der Emotionserkennung über zwei Datensätze hinweg zu verbessern.

Zusammenfassung

Durch die Fähigkeit, maschinelle Systeme menschliche affektive Zustände erfassen, interpretieren und darauf reagieren zu lassen, ist die visuelle Abbildung multimodaler Emotionseigenschaften entscheidend für das Design intelligenter Schnittstellen. Dennoch konzentrieren sich aktuelle Algorithmen zur multimodalen Emotionserkennung hauptsächlich auf die Vorhersageleistung und liefern nur begrenzte Einblicke in Interpretierbarkeit, Interaktionsbewusstsein oder Merkmalsebene-Interaktionen zwischen Modalitäten. In dieser Arbeit wird ein Framework zur visuellen Abbildung multimodaler Emotionsaspekte vorgestellt, das interaktionsorientierte Visualisierung, interpretierbares Repräsentationslernen und Emotionsvorhersage kombiniert. Ohne Verwendung manuell erstellter Merkmale kamen Transformer-basierte Encoder zum Einsatz, um hochgradige Emotionseinbettungen aus textuellen, audio- und visuellen Modalitäten zu extrahieren. Zur Verbesserung der Robustheit wurden emotions- und modalitätsspezifische Informationen mithilfe einer entkoppelten Repräsentationslernmethode getrennt. Zusätzlich wurde ein graphbasiertes, multimodales Attention-Netzwerk entwickelt, um mit adaptiver Attention-Gewichtung subtile emotionale Beziehungen zwischen den Modalitäten zu modellieren. Ein mehransichtiger Visualisierungsmodul wurde erstellt, um zeitliche Emotionsverläufe, Verteilungen der multimodalen Attention sowie latente Emotionseinbettungen darzustellen und so die Transparenz zu erhöhen. Das Framework wurde anhand des Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI)-Datensatzes und des Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS) evaluiert. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Framework eine verbesserte Interpretierbarkeit auf Merkmalsebene und interaktionsbewusste Visualisierung bietet und dabei hinsichtlich Genauigkeit, F1-Score, Korrelation und mittlerem absoluten Fehler konstant bessere Leistungen erbringt als repräsentative Baseline-Verfahren. Darüber hinaus ermöglichte der Visualisierungsmodul eine qualitative Interpretation multimodaler Emotionsrepräsentationen, multimodaler Interaktionen und zeitlicher Emotionsdynamiken und unterstützte so die interaktionsbewusste Visualisierung und Analyse.

Einleitung

Die Fähigkeit, menschliche Emotionen korrekt zu erkennen und zu verstehen, ist entscheidend geworden, um die Interaktion zwischen Mensch und Maschine zu verbessern. Neben ihrer zentralen Bedeutung für die Verbesserung der Mensch-Computer-Interaktion birgt die Emotionsanalyse das Potenzial, zahlreiche Bereiche zu revolutionieren, darunter die prädiagnostische medizinische Diagnose¹, die Analyse des Klassenraumverhaltens², die psychologische Überwachung von Patienten³, die Erkennung von Müdigkeit in Fahrzeugen⁴ und das intelligente Management in Smart-Home-Umgebungen⁵. Neuere Fortschritte im Bereich des affektiven Rechnens und des Deep Learning⁶ haben das Interesse an der Entwicklung von Echtzeitsystemen, die die Komplexität menschlicher Emotionen erfassen können, verstärkt.

Viele derzeitige Methoden stützen sich hauptsächlich auf unimodale Daten, wie textuelle, grafische oder auditorische Signale^7,8,9Diese Ansätze versagen regelmäßig bei der Erkennung differenzierter Signale wie Sarkasmus oder kontextspezifischer Nuancen. Die Forschung hat sich daher der multimodalen Emotionsbewertung zugewandt, die komplementäre Daten aus mehreren Quellen einbezieht, um diese Einschränkungen zu überwinden.^10,11,12Die Vorteile der Kombination mehrerer Modalitäten wurden durch Basismodelle wie Early Fusion-Long Short-Term Memory (EF-LSTM)13 und Light and FM Deep Neural Networks (LF-DNN) gezeigt.¹⁴, Tensor-Fusionsnetzwerke (TFN) und Ansätze zur multimodalen Fusion mit niedrigem Rang. Die meisten dieser Ansätze stützen sich jedoch auf die Offline-Generierung von Merkmalen und sind daher für dynamische, reale Situationen nicht geeignet.

Um emotionale Zustände zu berücksichtigen, hat die multimodale Emotionserkennung in Forschung und Anwendung in den letzten zehn Jahren stark zugenommen¹⁵. Einer der anspruchsvollsten und bedeutendsten Forschungsbereiche heutzutage ist die kontinuierliche Überwachung emotionaler Zustände mithilfe verschiedener Datenquellen¹⁶. Die Idee der Multimodalität ergab sich ganz natürlich aus dem Aufkommen eines derart vielfältigen Wissenssystems und führte zu zahlreichen Fortschritten bei der Anwendung von Emotionen in Bereichen wie emotionaler Datenverarbeitung, Mensch-Computer-Interaktion (HCI), Lernen, Videospielen, Kundenservice, medizinischer Versorgung, Usability-Tests (UX) usw. Dennoch war es bisher nicht immer einfach, Techniken der Emotionserkennung in der UX-Bewertung anzuwenden.

Einer der Hauptgründe, sich auf die multimodale Erkennung anstelle einmodaler Methoden zu konzentrieren, liegt in den inhärenten Nachteilen der ausschließlichen Nutzung einer einzigen Informationsquelle. Einmodale Systeme zur Emotionserkennung können aufgrund fehlender oder unklarer Daten eine geringere Genauigkeit aufweisen, während MER-Verfahren zuverlässiger sind und durch die Integration mehrerer Datenquellen ein umfassenderes und differenzierteres Verständnis expressiver Zustände ermöglichen¹⁷. Beispielsweise mag die alleinige Analyse der Gesichtssprache nicht ausreichen, um Gefühle präzise zu klassifizieren, insbesondere wenn die Gesten komplex oder unklar sind. Die Kombination von Gesichtsausdrücken mit anderen Kommunikationsformen wie Sprache oder körperlichen Hinweisen könnte hingegen die Genauigkeit der Gefühlserkennung verbessern.

Umfangreiche Forschungsarbeiten zur Emotionserkennung wurden in mehreren Modalitäten durchgeführt. Frühe Studien konzentrierten sich darauf, unterscheidende Merkmale aus verschiedenen Modalitäten wie grafischen, akustischen oder textbasierten Eingaben zu identifizieren. Allerdings wird zunehmend deutlich, dass die Integration verschiedener Modalitäten eine ausgewogene emotionale Information liefert, was zu einer zuverlässigeren und präziseren Stimmungserkennung führt. Dieser Abschnitt behandelt wesentliche Fortschritte in der einmodalen und multimodalen Emotionsanalyse, wobei der Schwerpunkt auf Grundverfahren, deren Schwächen sowie der Begründung für unsere Methode liegt.

Die erste Studie zur Emotionserkennung konzentrierte sich hauptsächlich auf eine einzelne Modalität. Im visuellen Bereich führte bahnbrechende Forschung zur Kategorisierung prototypischer Gesichtsbewegungen²⁰. Spätere Fortschritte umfassten Techniken zur Erfassung zeitlicher Dynamiken, wie visuelle Bewegung²¹ und versteckte Markov-Modelle²², während Gesichtsreaktionen mithilfe des Facial Action Coding System (FACS) in Aktions-Einheiten unterteilt wurden²³. LSTMs und faltende neuronale Netze (CNNs) wurden erfolgreich eingesetzt, um aussagekräftige Merkmale direkt aus rohen Audiosignalen zu extrahieren; Methoden zur Emotionsidentifikation basierend auf Audio haben sich von herkömmlicher Signalverarbeitung hin zum Deep Learning weiterentwickelt²⁴. Die Extraktion kontextueller Stimmungssignale in der textbasierten Emotionsanalyse wurde durch rekurrente neuronale Netze (RNNs) mit Aufmerksamkeitsmechanismen erheblich verbessert und neuerdings durch transformerbasierte Modelle. Trotz ihrer Erfolge sind unimodale Techniken prinzipiell unfähig, die Komplexität menschlicher Erlebnisse genau abzubilden, da ihnen die zusätzliche Information anderer Modalitäten fehlt.

Einige auf Mechanismen der Aufmerksamkeit basierende Modelle, wie das DialogXL-Modell25, wurden 2021 vorgeschlagen, um langfristigere Umgebungsdaten im Bereich der Identifizierung von Stimmungen in Gesprächen zu erfassen. Kim et al.²⁶ stellten das EmoBERTa-Modell im Jahr 2021 vor, um die Genauigkeit der ERC zu erhöhen. Dieses Modell nutzt Sprechdaten, um die Merkmale der Sprecher in Gesprächen und ihre Wechselwirkungen untereinander zu verbessern. Im Jahr 2022 untersuchten Li et al.²⁷ stellte die CoG-BART-Methode vor. Die Organisation nutzt überwachtes kontrastives Lernen, um die Fähigkeit des Modells zur Interpretation relevanter Daten zu verbessern. Es ist darauf hinzuweisen, dass überwachtes Lernen eine erhebliche Menge an annotierten Daten erfordert.

Ein typisches Beispiel dafür ist das Framework für multimodale interaktionsbewusste Repräsentation (Multimodal Interaction-Aware Representation, MIAR)²⁸, das Interaktions-Token für Merkmale und kontrastive Ausrichtung nutzt, um die Generalisierungsfähigkeit über verschiedene Modalitäten hinweg zu verbessern. MIAR verbessert die Ausrichtung der Modalitäten und erzielt eine hohe Leistung über mehrere Datensätze hinweg; es konzentriert sich jedoch hauptsächlich auf die Vorhersagegenauigkeit, ohne die visuelle Abbildung zu berücksichtigen. Ebenso erfasst das Modell zur cross-attentiven audiovisuellen Fusion²⁹ feinabgestufte audiovisuelle Interaktionen effektiv zur Vorhersage von Valenz und Erregung, ist jedoch auf zwei Modalitäten beschränkt und verfügt nicht über Visualisierungsfunktionen. Ansätze zur zeitlichen Modellierung, die auf LSTM-Netzwerken und Autoencoder-Fusion basieren, erfassen die zeitlichen Dynamiken von Emotionen erfolgreich, liefern jedoch nur begrenzte Einblicke in die Wechselwirkungen zwischen Modalitäten und die gelernten emotionalen Repräsentationen. Neuerdings haben auf Transformatoren basierende Methoden wie das Transformer-basierte multimodale Fusionsnetzwerk (Transformer-based Multimodal Fusion Network, TMFN)³⁰ durch verbesserte multimodale Fusion und kontrastives Lernen eine hohe Leistung auf CMU-MOSI und CMU-MOSEI gezeigt. Dennoch bleiben diese Ansätze vorwiegend leistungsorientiert und bieten nur begrenzte Unterstützung für Erklärbarkeit, interpretationsfähige Merkmalsebenen und visualisierungsorientierte Darstellung von Interaktionen.

Um die Integration von textuellen, akustischen und visuellen Daten zu verbessern, wurden mehrere Techniken zur multimodalen Emotionserkennung vorgeschlagen. Obwohl frühe Fusionsverfahren wie EF-LSTM und LF-DNN die Vorteile der Nutzung multimodaler Informationen für die Stimmungs- und Emotionsanalyse aufzeigten, konnten sie komplexe intermodale Wechselwirkungen nicht erfassen. Der TFN verbesserte zwar die Leistung auf etablierten Datensätzen wie CMU-MOSI und CMU-MOSEI und führte eine explizite Modellierung intermodaler Interaktionen ein, doch seine begrenzte Interpretierbarkeit und hohe Rechenkomplexität beeinträchtigten seine Nützlichkeit. Um die Modali­ätsausrichtung und dynamische Merkmalsfusion zu verbessern, setzen neuere Verfahren wie MIAR, cross-attentionale Fusionsmodelle, TMFN und adaptive multimodale Transformer auf Transformer-Architekturen und Attention-Mechanismen. Diese Methoden konzentrieren sich hauptsächlich auf die Vorhersageleistung und liefern trotz konkurrenzfähiger Ergebnisse über gängige Evaluierungskennzahlen wie Genauigkeit, F1-Score und mittleren absoluten Fehler hinweg nur geringe Einblicke in emotionale Repräsentationen auf Merkmalsebene und intermodale Abhängigkeiten. Zudem haben nur wenige Studien Visualisierungstechniken entwickelt, die latente Emotionseinbettungen, Attention-Verteilungen und zeitliche Emotionsdynamiken offenlegen können, oder sie nutzen graphenbasierte Modellierungen intermodaler Interaktionen. Der vorgeschlagene Ansatz kombiniert Mehransichts-Visualisierung, graphenbasierte cross-modale Attention-Fusion und entkoppelte Repräsentationslernverfahren, um diese Nachteile zu überwinden und die Leistung der multimodalen Emotionserkennung zu steigern.

Ebenso schlägt der Adaptive Multimodale Transformer³² eine austauschbasierte Fusion vor, um adaptiv verrauschte oder fehlende modale Informationen zu reduzieren und dadurch die Leistung der Sentiment-Klassifizierung zu verbessern. Obwohl dieser Ansatz effektiv Diskrepanzen in der Verteilung modalitätsbezogener Informationen adressieren kann, ist sein Aufbau spezifisch auf die Sentiment-Analyse ausgerichtet und liefert nur begrenzte Erkenntnisse über die gelernten emotionalen Repräsentationen. Ein weiterer bedeutender Beitrag ist das Multimodale Fusionsmodell³³, das Faltungsneuronale Netze (CNNs), multiplikative LSTMs und eine Transformer-basierte Aufmerksamkeit für die Echtzeit-Erkennung multimodaler Emotionen integriert. Das Modell führt eine vollständige Fusion von Video-, Audio- und Textmodalitäten durch und zeigt eine robuste Erkennungsleistung. Dennoch konzentriert auch es sich wie andere bestehende Modelle hauptsächlich auf Vorhersagegenauigkeit und weist nur unzureichende explizite Merkmale für Visualisierung und interaktionsorientierte Interpretierbarkeit auf.

Zusammenfassend lässt sich sagen, dass die derzeitigen multimodalen Ansätze zur Emotionserkennung zwar beträchtliche Fortschritte bei der Erfassung von intermodalen Wechselwirkungen und der Verbesserung der Vorhersagegenauigkeit erzielt haben, sich die meisten jedoch auf erkennungsorientierte Aufgaben konzentrieren. Aspekte wie die Interpretierbarkeit auf der Ebene von Merkmalen, die Visualisierung emotionaler Repräsentationen im Bildraum sowie die Einbindung des vorgeschlagenen Frameworks in die intelligente Interaktionsgestaltung wurden bisher wenig beachtet. Vor dem Hintergrund dieser Herausforderungen wird das vorgeschlagene Framework eingeführt.

Die meisten derzeitigen Methoden konzentrieren sich hauptsächlich auf die Verbesserung der Vorhersagegenauigkeit, bieten jedoch trotz bemerkenswerter Fortschritte bei der multimodalen Emotionserkennung^28,29 nur geringe Interpretierbarkeit der gelernten emotionalen Repräsentationen und der Interaktionen zwischen den Modalitäten. Komplexe Wechselwirkungen zwischen textuellen, akustischen und visuellen Modalitäten sind für aktuelle Fusionsstrategien häufig schwer modellierbar, insbesondere bei Diskrepanzen zwischen den Modalitäten und Informationsdefiziten^28,31. Obwohl transformerbasierte Architekturen und Aufmerksamkeitsmechanismen das Repräsentationslernen verbessert haben, wird ihre Transparenz und Interpretierbarkeit oft durch das Fehlen einer expliziten Trennung von emotionspezifischen und modalitätsspezifischen Informationen beeinträchtigt^31,32,33. Zudem haben bisher nur wenige Studien graphbasierte Modellierungen intermodaler Interaktionen untersucht oder Visualisierungsrahmenwerke entwickelt, die zeitliche Emotionsdynamiken, Verteilungen der Aufmerksamkeit und Emotionsembeddings aufdecken können. Diese Nachteile verdeutlichen die Notwendigkeit eines interpretierbaren multimodalen Frameworks für intelligente Mensch-Maschine-Interaktionen, das interaktionsorientierte visuelle Abbildungen mit leistungsstarkem lernbasiertem Quermodal-Lernen kombiniert.

Diese Arbeit stellt einen interpretierbaren Rahmen für die visuelle Abbildung multimodaler Emotionsaspekte im intelligenten Schnittstellendesign vor. Ohne auf manuell erstellte Merkmale angewiesen zu sein, nutzt das System ein End-to-End-Deep-Learning-Verfahren, um hochwertige emotionale Repräsentationen aus textuellen, audio- und visuellen Modalitäten zu extrahieren. Quermodale emotionale Interaktionen werden mithilfe eines graphenbasierten Attention-Fusionsmechanismus modelliert, der emotionspezifische und modalitätsspezifische Informationen trennt, wodurch eine entkoppelte Repräsentationslernung ermöglicht und die Interpretierbarkeit sowie Robustheit verbessert wird. Zusätzlich wird ein Visualisierungsmodul mit mehreren Ansichten erstellt, um zeitliche Emotionsdynamiken, quermodale Attention-Muster und Emotions-Embeddings darzustellen. Die Wirksamkeit und Eignung des vorgeschlagenen Frameworks in intelligenten Mensch-Maschine-Interaktionssystemen wird durch Validierung an etablierten multimodalen Datensätzen zur Emotionserkennung überprüft.

Diese Arbeit bietet einen einzigartigen Rahmen für die visuelle Abbildung multimodaler Emotionsaspekte, der über herkömmliche, auf Vorhersage ausgerichtete Ansätze hinausgeht, um die unzureichende Modellierung von Quermodaleffekten und die begrenzte Interpretierbarkeit aktueller Systeme zur multimodalen Emotionsidentifikation zu überwinden. Innerhalb einer einzigen Architektur kombiniert der vorgeschlagene Ansatz transformerbasiertes multimodales Repräsentationslernen, entkoppeltes, emotionsbewusstes Merkmalsmodellieren, graphbasierte Fusion mittels Quermodal-Aufmerksamkeit sowie eine auf Interaktionen ausgerichtete Visualisierung. Im Gegensatz zu bestehenden Ansätzen, die hauptsächlich auf Klassifikationsleistung abzielen, trennt der Rahmen eindeutig emotions- und modalitätsspezifische Repräsentationen, um Interpretierbarkeit, Robustheit und Quermodal-Konsistenz zu verbessern. Zusätzlich wird ein graphbasiertes Aufmerksamkeitsverfahren vorgestellt, das eine adaptive Modellierung intermodaler Interaktionen ermöglicht, indem es feingliedrige emotionale Abhängigkeiten zwischen textuellen, auditiven und visuellen Modalitäten erfasst. Ein Visualisierungsmodul mit mehreren Ansichten wird entwickelt, um Transparenz zu erhöhen, indem zeitliche Emotionsverläufe, Muster der Quermodal-Aufmerksamkeit und latente Emotions-Embeddings sichtbar gemacht werden, die intuitive Einblicke in den Entscheidungsprozess des Modells liefern. Neben einer verbesserten Visualisierung und Interpretierbarkeit multimodaler emotionaler Dynamiken zeigte die experimentelle Evaluation auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI wettbewerbsfähige Leistung hinsichtlich Genauigkeit, F1-Score, mittlerem absoluten Fehler und Korrelation.

Protokoll

Die vorgeschlagene Arbeit zielt darauf ab, das intelligente Interaktionsdesign zu verbessern, indem ein interpretierbares Framework für die visuelle Abbildung multimodaler Emotionsmerkmale bereitgestellt wird. Für diese Arbeit wurden die öffentlich zugänglichen Datenbanken CH-SIMS und CMU-MOSEI verwendet. Beide Datensätze wurden von ihren offiziellen Quellen bezogen und gemäß den vom jeweiligen Ersteller festgelegten Nutzungsrichtlinien, Forschungsstandards und Lizenzbedingungen genutzt. Der multimodale Inhalt der Datensätze, einschließlich Text-, Audio- und Videodaten, wurde zunächst von den Datensatzanbietern unter Einhaltung ihrer autorisierten Teilnehmergenehmigungen und Datenerfassungsprotokolle gesammelt und annotiert. In dieser Studie fand keine direkte menschliche Interaktion statt, es wurden keine neuen Teilnehmer rekrutiert und keine personenbezogenen Daten erhoben. Alle Analysen wurden anhand öffentlich verfügbarer Forschungsdatensätze durchgeführt. Folglich war für unsere sekundäre Datenanalyse keine zusätzliche ethische Genehmigung oder Prüfung durch eine institutionelle Ethikkommission (IRB) erforderlich. Die Studie wurde unter Einhaltung der geltenden institutionellen Normen zur Nutzung öffentlich zugänglicher Datensätze, ethischer Forschungsverfahren und anwendbarer Daten-Nutzungsrichtlinien durchgeführt.

Ein graphbasiertes, multimodales Aufmerksamkeitsverfahren wurde eingesetzt, um Emotionscharakterisierungen über verschiedene Modalitäten hinweg mithilfe emotions- oder modalitätsspezifischer Merkmale zu erlernen und so das Verständnis zu verbessern. Eine Multiview-Visualisierungskomponente wird verwendet, um die Echtzeit-Emotionswahrnehmung in interaktiven Designs zu verbessern, und ihre Effizienz wird hinsichtlich der Emotionserkennung bewertet. Die Ergebnisse zeigen, dass die vorgeschlagene Methode sowohl die Interpretierbarkeit als auch die Effizienz emotionswahrer intelligenter Benutzeroberflächen in der realen Welt verbessert. Abbildung 1 zeigt den architektonischen Arbeitsablauf der vorgeschlagenen Methode. Abbildung 1 zeigt den vollständigen Arbeitsablauf des vorgeschlagenen Visualisierungsrahmens für das multimodale Lernen von Emotionsmerkmalen im Kontext intelligenter Interaktionssysteme. Der Arbeitsablauf beginnt mit drei synchronisierten Eingabemodalitäten, nämlich Text, Audio und Video, die jeweils komplementäre emotionale Informationen aus den sprachlichen, prosodischen und Gesichtsausdrucksmodalitäten erfassen. Ein modalitysspezifischer Transformer-Encoder verarbeitet jede Modalität, um hochwertige Repräsentationen der Rohdaten zu erhalten. Die Repräsentationen werden anschließend in ein Modul zur entflochtenen Repräsentationslernung eingespeist, in dem die emotionspezifischen Einbettungen von den modalitätsspezifischen Merkmalen getrennt werden, um Konsistenz der erlernten Emotionen über heterogene Datenquellen hinweg sicherzustellen. Die emotionspezifischen Einbettungen jeder Modalität werden dann durch ein graphbasiertes, multimodales Aufmerksamkeitsnetzwerk aggregiert, das die intermodale emotionale Abhängigkeit modelliert und jeder Modalität dynamische Gewichtungen entsprechend dem Interaktionskontext zuweist. Schließlich liefert das Framework sowohl Ergebnisse zur Emotionsklassifizierung als auch Einblicke in die Interaktion, die transparente, emotionsbasierte Entscheidungsfindung und ein adaptives, intelligentes Interaktionsdesign ermöglichen.

Multimodale Datenerfassung

Die Datensätze CH-SIMS und CMU-MOSEI sind zwei bereits vorhandene öffentliche multimodale Datensätze, die multimodale Informationen wie synchronisierte Videos, Audio- und Textdaten erfasst haben. Der CH-SIMS-Datensatz umfasst multimodale Untersuchungen chinesischer Personen, darunter 2.281 Videosegmente, die aus mehreren Videosegmenten von Filmen, Fernsehserien und Unterhaltungsshows stammen. Die Hinzunahme entsprechender Audio- und Textdaten zu diesen Videosegmenten macht Studien zur multimodalen Analyse von Emotionen anhand multimodaler Daten ansprechender und durchführbarer. Der CMU-MOSEI-Datensatz hingegen ist einer der größten multimodalen Datensätze zur Untersuchung von Meinungen, Gefühlen und Emotionen und wurde aus über 23.000 Videoclips mit Aussagen von mehr als 1.000 Sprechern zu verschiedenen Themen zusammengestellt. Der Datensatz wurde zufällig in Trainings- (70 %), Validierungs- (15 %) und Testanteile (15 %) unter Beibehaltung der Klassenverteilung unterteilt.

Textliche Transkripte, Audiosignale und Videobilder werden erfasst und feingranular zeitlich synchronisiert. Die Integration auf Ebene der Einzelbilder gewährleistet, dass die vorgeschlagenen Verfahren zum Darstellungslernen und die graphbasierten Fusionsmechanismen gemeinsam emotionale Inhalte erfassen und nutzen können, die sich aus visuellen Ausdrücken, stimmlichen Tönen und sprachlichem Inhalt ergeben. Eine effektive Extraktion intermodaler Emotionsdynamiken wird durch diese Art der multimodalen Erfassungstechnik ermöglicht, die für die Gestaltung intelligenter Interaktionen und verständliche visuelle Abbildungen unerlässlich ist.

Tabelle 1 zeigt die wichtigsten Strukturen der multimodalen Emotionsdatensätze, die in der vorgeschlagenen Methode verwendet werden. Um ein breiteres Spektrum verwandter Gefühlsäußerungen wie gesprochene Wörter, Stimmintonationen und Mimik zu erfassen, integrieren CH-SIMS und CMU-MOSEI Video-, Audio- und Textmodalitäten aus diesen Datensätzen. Außerdem stehen in CH-SIMS nur begrenzte Datenproben zur Verfügung, was eine eingehende Untersuchung der Modalitätsinteraktionen und emotionalen Variationen in China ermöglicht. Im Gegensatz dazu ist der CMU-MOSEI-Datensatz aufgrund seines umfangreichen Datenmaterials über verschiedene Sprachen, Probanden und annotierte Emotionsstufen besonders wichtig für die Bewertung der Robustheit der in dieser Arbeit behandelten Repräsentationslernverfahren und zugehörigen Visualisierungsalgorithmen. Zudem verringert er im Vergleich zu früheren Studien die Schwierigkeiten bei der Informationsauswahl beim Testen von Modellen.

Multimodale Vorverarbeitung und Synchronisierung

Die Zeitstempel-Anmerkungen aus den Datensätzen CH-SIMS und CMU-MOSEI wurden verwendet, um textuelle, akustische und visuelle Modalitäten zu synchronisieren und so ein konsistentes multimodales Repräsentationslernen sicherzustellen. Jede Äußerung fungierte als grundlegende Analyseeinheit und wurde mit passenden Audio- und Videosegmenten innerhalb desselben Zeitintervalls verknüpft. Die Ausrichtung erfolgte auf Ebene der Äußerungen. Das Transkript wurde anhand der Start- und End-Zeitstempel jeder Äußerung in Segmente unterteilt. Die Korrespondenz zwischen Transkript, Audio und Video wurde hergestellt, indem die entsprechenden Videobilder und Audiosignale extrahiert wurden, die innerhalb desselben Zeitintervalls lagen. Während Audiosignale mithilfe von Wav2Vec 2.0 verarbeitet wurden, um akustische Repräsentationen zu erzeugen, wurden visuelle Bilder aus dem Videosegment mit einer vordefinierten Rate abgetastet und mit dem Vision Transformer (ViT) kodiert. Der RoBERTa-Encoder wurde verwendet, um textuelle Einbettungen aus den Transkripten der Äußerungen zu erzeugen. Die zeitliche Synchronisation wurde erreicht, indem alle Modalitätsmerkmale an eine einheitliche Äußerungsgrenze angepasst wurden, da die drei Modalitäten Merkmalssequenzen unterschiedlicher Länge erzeugten. Um Sequenzen unterschiedlicher Länge zu normalisieren, wurde ein festes Längenformat verwendet. Längere Sequenzen wurden auf die maximal zulässige Sequenzlänge verkürzt, kürzere durch Null-Auffüllung (Zero-Padding) verlängert. Während des Trainings kamen Attention-Masken zum Einsatz, um aufgefüllte Elemente von gültigen Merkmalspositionen zu unterscheiden. Modus-spezifische Einbettungen wurden vor der Fusion in einen gemeinsamen latenten Raum projiziert, um unterschiedliche Sequenzlängen zwischen den Modalitäten zu überwinden. Dies gewährleistete dimensionsale Konsistenz und ermöglichte es dem graphbasierten Attention-Mechanismus, effektives lernbasiertes Wechselwirken zwischen den Modalitäten zu fördern. Um die Datenqualität und Integrität der Synchronisation zu bewahren, wurden Proben mit beschädigten Dateien, fehlenden Anmerkungen oder unvollständigen Modalitätsinformationen aus den Untersuchungen ausgeschlossen.

Merkmalsextraktion auf Basis von Transformatoren

Eine Deep-Learning-Methode wird verwendet, um hochgradige, emotionsbewusste Merkmalsdarstellungen aus Informationen mehrerer Modalitäten wie Bild, Audio und Text auf end-to-end-Art und Weise zu erlernen, nachdem die multimodalen Daten ausgerichtet und alle erforderlichen Vorverarbeitungsschritte durchgeführt wurden. Durch den Einsatz eines Transformer-Encoders zur Erzeugung intrinsisch diskriminativer Merkmalsdarstellungen aus rohen multimodalen Daten eliminiert die vorgeschlagene Methode die Notwendigkeit des Feature-Engineerings. Um die Konsistenz über die in dem vorgeschlagenen Ansatz verwendeten Datensätze hinweg zu gewährleisten, wird für jede Modalität ein Einbettungsvektor fester Größe gelernt. Beispielsweise werden 768-dimensionale Merkmalsvektoren für jede einzelne Modalität – einschließlich Bild-, Audio- und Textmodalitäten – gelernt, die gemeinsam einen einheitlichen Merkmalsraum bilden, der im gesamten Ansatz verwendet wird, insbesondere bei einem Merkmalsextraktionsverfahren, das auf dem vorgeschlagenen CH-SIMS-Datensatz und dem CMU-MOSEI-Datensatz angewandt wird, um hochgradige Merkmale aus Daten unterschiedlicher Größe zu erlernen.

Visuelle Modalität: Visionstransformator für emotionsbewusste Frame-Embeddings

Ein Vision-Transformer-Modell (ViT-Base) wurde verwendet, um visuelle Informationen aus Videobildern zu extrahieren und so räumliche, emotionsrelevante Darstellungen zu erhalten. Vor der Merkmalsextraktion wurden die Bilder jedes Videosegments auf (224 × 224) Pixel skaliert und in regelmäßigen zeitlichen Abständen abgetastet. Mit einer Patch-Größe von 16 × 16 Pixeln erzeugt die ViT-Base-Architektur eine Reihe visueller Token, die von 12 Transformer-Encoder-Schichten verarbeitet werden. Die gewonnenen Frame-Ebene-Darstellungen wurden mithilfe eines vortrainierten ViT-Modells als visuellem Backbone in einen 768-dimensionalen Embedding-Raum projiziert. Die Frame-Ebene-Embeddings wurden durch Mittelwert-Pooling aggregiert, um die endgültige visuelle Darstellung für jedes Segment zu erzeugen. Während des Trainings wurden Bildnormalisierung und gängige Erweiterungsmethoden wie zufälliges Zuschneiden und horizontales Spiegeln eingesetzt, um die Generalisierungsfähigkeit zu verbessern. Anschließend wurde der vorgeschlagene multimodale Fusionsansatz verwendet, um diese visuellen Embeddings mit textuellen und auditiven Darstellungen zu kombinieren.

Um die zeitlichen Dynamiken der Emotion beizubehalten, werden Videobeispiele aus den Datensätzen CH-SIMS und CMU-MOSEI für die visuelle Modalität gleichmäßig abgetastet. Die Einzelbilder jedes Videos, , können in N gleichgroße Abschnitte unterteilt werden, die anschließend abgeflacht und invers in einen latenten Einbettungsraum der Dimension überführt werden. Eine Serie wird durch Hinzufügen von Positions-Einbettungen und einem lernbaren Gruppierungstoken erstellt:

   (1)

wobei   für die Positions-Codierung steht und   die Patch-Embedding-Matrix ist.

Geschachtelte Transformer-Encoder-Schichten, bestehend aus Feed-Forward-Netzwerken und Multi-Head-Self-Attention, werden verwendet, um die eingebettete Patch-Sequenz zu verarbeiten. Die Transformation in Schicht l wird wie folgt beschrieben:

   (2)

   (3)

Um den emotionsbewussten visuellen Merkmalsvektor zu erhalten, wird die dem Klassen-Token entsprechende Ausgabe als Merkmalsvektor extrahiert . Um konsistente visuelle Emotionsrepräsentationen zu erreichen, trotz Unterschieden in Sprache und Inhalt zwischen den Datensätzen, werden Frame-Ebene-Embeddings aus jedem Videosegment kombiniert, um Gesichtsausdrücke und die Entwicklung der Emotionen zu erfassen.

Audiomodalität unter Verwendung von Wav2Vec 2.0 für Prosodie und semantische akustische Einbettungen Kontextualisierte Sprach-Einbettungen wurden mithilfe eines vortrainierten Wav2Vec-2.0-Encoders als akustischem Grundgerüst erzeugt. Ein akustischer Merkmalsvektor fester Länge für jede Äußerung wurde durch Aggregation der ausgegebenen verborgenen Repräsentationen mittels Mittelwert-Pooling erhalten. Das Wav2Vec-2.0-Modell diente der Extraktion akustischer Repräsentationen aus Audiosignalen, um kontextbezogene und emotionsrelevante Sprachmerkmale zu erfassen. Vor der Merkmalsextraktion wurden die Audiodaten normalisiert und auf eine Abtastrate von 16 kHz umgesampelt. Um eine Synchronisation zwischen textueller und visueller Modalität sicherzustellen, wurde jedes audioseitige Äußerungssegment anhand der durch die Datensatzannotationen bereitgestellten Zeitstempel-Grenzen isoliert. Der vortrainierte akustische Encoder wurde während des Modelltrainings angepasst, um eine aufgabenspezifische Anpassung zu verbessern und die abgeleiteten Repräsentationen präziser hinsichtlich emotionaler Aspekte der Sprachsignale zu gestalten. Anschließend erfolgten die graphbasierte multimodale Aufmerksamkeitsfusion sowie das Lernen disentanglierter Repräsentationen unter Verwendung der finalen Audioeinbettungen.

In der Audiomodalität wird Wav2Vec-2.0 verwendet, um Sprachsignale zu modellieren, die aus den anfänglichen Sprachinformationen der Datensätze CH-SIMS und CMU-MOSEI stammen, und direkt audioverwandte Merkmale bezüglich der Emotion zu extrahieren. Für jedes Eingabesprachsignal existiert eine faltungs-basierte Merkmalscodierung :

   (4)

wobei Z für prosodische Merkmale auf niedriger Ebene wie Melodie, Tonhöhe und Energie steht. Ein auf Transformatoren basierendes Kontextnetzwerk ist für die oben genannten Strukturen nützlich, da es zeitbasierte Abhängigkeiten über größere Zeiträume hinweg darstellt:

   (5)

Prosodische und semantische akustische Daten, die für die Ausdrucksweise von Emotionen unerlässlich sind, werden in diese kontextuellen akustischen Darstellungen einbezogen. Durch eine zeitliche Pooling-Prozedur wird ein Audio-Embedding fester Länge erzeugt:

   (6)

Das Verfahren verzichtet auf den Einsatz akustischer Merkmale wie MFCCs und erreicht Robustheit, indem einfach Repräsentationen aus den Wellenformen unter Verwendung englischer Sprachdaten von CMU-MOSEI und chinesischer Sprachdaten von CH-SIMS extrahiert werden.

Textmodus unter Verwendung von RoBERTa für kontextuelle Emotionseinbettungen

Für die textuelle Modalität wird der tiefe bidirektionale Transformer RoBERTa auf die Sprachtranskripte aus den beiden Datensätzen angewendet, um kontextuelle Semantik und affektive Bedeutung zu generieren. RoBERTa-basierte Transformer-Encoder wurden verwendet, um textuelle Repräsentationen aus den Transkriptdaten zu extrahieren und so kontextuelle semantische sowie emotionale Informationen zu erfassen. Für den englischsprachigen Datensatz CMU-MOSEI kam ein vortrainiertes RoBERTa-Modell zum Einsatz, während für den chinesischen Datensatz CH-SIMS eine chinesische RoBERTa-Variante verwendet wurde, um sprachspezifische linguistische Merkmale besser berücksichtigen zu können. Die Textvorverarbeitung umfasste die Tokenisierung mithilfe des jeweils passenden RoBERTa-Tokenisierers pro Sprache sowie die Textnormalisierung. Um eine konsistente Batch-Verarbeitung sicherzustellen, wurden Eingabesequenzen in Token-Embeddings umgewandelt und entweder aufgefüllt oder gekürzt, um eine vordefinierte maximale Sequenzlänge einzuhalten. Gemäß dem RoBERTa-Eingabeformat wurden spezielle Klassifizierungs- und Trenntoken eingeführt. Ein festlanges textliches Embedding wurde durch Aggregation der kontextualisierten Token-Repräsentationen gewonnen, die vom Transformer-Encoder mithilfe der finalen [CLS]-äquivalenten Satzrepräsentation erzeugt wurden. Um die gelernten Repräsentationen an die Aufgabe der Emotionserkennung anzupassen, wurden die vortrainierten RoBERTa-Encoder durch multimodales Training verfeinert. Anschließend wurde der vorgeschlagene multimodale Fusionsansatz verwendet, um die textuellen Embeddings mit den audiovisuellen Merkmalen zu kombinieren.

Die Token-Embeddings und Positionsencodierungen können für jede tokenisierte Eingabe kombiniert werden, , um die Eingabed Darstellung in der tiefen bidirektionalen Transformationsmethode namens

   (7)

Diese Form wird durch die Schichten des L-Transformers dargestellt, der Selbst-Attention verwendet, um die kontextuellen Abhängigkeiten zwischen Wörtern zu erkennen:

  (8)

Das kontextuelle Emotions-Embedding wird unter Verwendung des endgültigen versteckten Zustands des Klassifizierungstokens erhalten:

   (9)

Stimmungspolarität, intensive Emotionen und damit verbundene Implikationen sind Beispiele für emotionale sprachliche Merkmale, die durch diese Einbettung repräsentiert werden. RoBERTa vereinfacht die sprachunabhängige Modellierung. Dies ermöglicht dem System, dieselbe Einbettungsgröße sowohl für englische Texte aus dem CMU-MOSEI-Datensatz als auch für chinesische Texte aus dem CH-SIMS-Datensatz zu verwenden.

Drei modus-spezifische Merkmalsvektoren mit jeweils 768 Dimensionen – für die visuelle f_v, auditive f_a und textuelle f_t – werden durch den vorgeschlagenen Schritt des tiefen Lernens zur Merkmalsdarstellung extrahiert. In der intelligenten Interaktionsgestaltung erzeugen diese gelernten Darstellungen einen einheitlichen multimodalen Merkmalsraum, der als Grundlage für die merkmalsbasierte visuelle Abbildung, die graphbasierte multimodale Fusion sowie das entkoppelte Lernen von Darstellungen dient.

Lernen entkoppelter Darstellungen

Nachdem eine tiefe Merkmalsrepräsentation gelernt wurde, kann eine zusätzliche Verarbeitung der multimodalen Merkmalsvektoren aus den visuellen, auditiven und textlichen Modalitäten eine getrennte Emotionsbeschreibung liefern. Wenn die modalitysspezifischen Merkmalseinbettungen der auditiven, visuellen und textlichen Modalitäten, die im vorherigen Schritt verwendet wurden, entsprechend durch f_v, f_a und f_t dargestellt werden, sodass  und , besteht das Ziel dieses Schritts darin, alle Modalitätsmerkmale in zwei unterschiedliche latente Darstellungen zu zerlegen, wozu auch die Emotionsdarstellungen zählen, nachdem die vorherigen Semantiken der jeweiligen Modalitäten berücksichtigt wurden.

Dies wird erreicht, indem jedes Modalitätsmerkmal f_m in zwei parallele Projektionsnetzwerke eingespeist wird: einen Emotions-Encoder  und einen Modalitäts-Encoder , wobei die beiden Kodierungen erzeugt werden.

  (10)

Dabei wird die latente, mit der Emotion verknüpfte Merkmalsdarstellung durch  beschrieben, wobei  ein latentes Merkmal darstellt, das spezifisch für eine Modalität ist. Dies ermöglicht es emotionsbezogenen Einbettungen, wiederholt über mehrere Eingaben hinweg – einschließlich Audio, visueller Daten und Text – mit einem gemeinsamen Raum zu kommunizieren, während gleichzeitig die jeweils modalitätsspezifischen strukturellen Informationen erhalten bleiben.

Eine effektive Trennung wird durch die Rekonstruktion mit Unabhängigkeitsbeschränkungen erreicht. Die Rekonstruktion des ursprünglichen Modalitätsmerkmals ergibt sich aus:

  (11)

wobei   ein Decoder-Netzwerk ist. Der Rekonstruktionsverlust erhält die folgenden Daten:

   (12)

Darüber hinaus begrenzt die Orthogonalität oder Entkorrelation zwischen Emotion und modus-spezifischen Darstellungen häufig die Informationsüberlappung:

   (13)

Indem diese Ziele erreicht werden, könnte das Modell Emotionsrepräsentationen erlernen, die zuverlässig, verständlich und robust gegenüber Modalitätsvariabilität sind. Spätere graphbasierte multimodale Fusionen und visuelle Abbildungsmerkmale, insbesondere für die intelligente Interaktionsgestaltung, hängen stark von interpretierbaren, strukturierten Emotionsrepräsentationen ab.

Emotionale Konsistenz über Modalitäten hinweg

Die Berücksichtigung der Emotionskonsistenz verbessert deutlich die Effektivität der Fusion zwischen den Modalitäten. Dies liegt daran, dass bei den Fusionsstrategien keine großen Unterschiede zwischen den beiden Repräsentationen mehr berücksichtigt werden müssen, da die modalitysspezifischen Emotionseinbettungen einen latenten Raum teilen. Die kombinierte Darstellung der beiden Emotionen wird wie folgt beschrieben . Die gewichtete Fusion wird stabiler sein, wenn die emotionspezifischen Repräsentationen konsistent sind, da Variationen zwischen Signalen verschiedener Modalitäten dann keinen Einfluss mehr auf das Ergebnis haben.

   (14)

Durch die Durchsetzung der semantischen Ausrichtung emotionaler Informationen minimiert dieses Ziel Diskrepanzen zwischen den Modalitäten und stellt sicher, dass die Emotionswahrnehmung unabhängig von der zur Äußerung verwendeten Modalität konsistent bleibt. Folglich wird ein kohärenter und affektiver Repräsentationsraum geschaffen, indem emotionale Hinweise, die aus Sprachsignalen, Gesichtsausdrücken und sprachlichem Inhalt gewonnen werden, projiziert werden.

Auswirkung auf die multimodale Fusion

Die multimodale Fusion wird effektiver, wenn emotionale Kohärenz über die Modalitäten hinweg eingeführt wird. Fusionsmechanismen müssen nun nicht mehr große intermodale Repräsentationsunterschiede ausgleichen, da die emotionspezifischen Einbettungen in einem gemeinsamen latenten Raum ausgerichtet sind. Die fusionierte Emotionsrepräsentation wird wie folgt definiert:

  (15)

Dabei repräsentiert  α_m das Gewicht der Aufmerksamkeit, das der Modalität m zugewiesen wird. Die gewichtete Fusion wird stabiler und verständlicher, wenn die emotionspezifischen Repräsentationen konsistent sind, da das Fusionsergebnis komplementäre emotionale Hinweise anzeigt statt widersprüchlicher Modalitätssignale.

Mathematisch entspricht die Verringerung der  Varianz zwischen verschiedenen emotions-spezifischen Repräsentationstypen in Bezug auf  folgendem:

   (16)

wobei   die durchschnittliche Emotionsäußerung darstellt. Eine reduzierte Varianz bewirkt, dass die einzelnen Eingabemodalitäten entsprechend ihrer präzisen emotionalen Bedeutung gewichtet werden, anstatt durch Modalitätsrauschen beeinflusst zu werden, was eine verbesserte Netzwerkkonvergenz und eine genauere Aufmerksamkeitsbewertung sicherstellt.

Das endgültige Lernziel zerlegter Emotionsvisualisierungen besteht darin, Fragmentierung, Rekonstruktion und emotionale Uniformität zu kombinieren:

   (17)

wobei zwei Hyperparameter, λ₁ und λ₂, die Beziehung zwischen der zuverlässigen Erkennung von Emotionen über verschiedene Modalitäten hinweg und deren Abgrenzung steuern. Das vorgeschlagene Modell erfasst modusunabhängige, interpretierbare und fusionierbare emotionale Repräsentationen, um dies zu erreichen, wobei der Schwerpunkt darauf liegt, eine solide Grundlage für die spätere, auf Graphen basierende Fusion sowie für die Repräsentation auf der Merkmalsebene bei der Gestaltung intelligenter Schnittstellen zu schaffen.

Graphbasierte, multimodale Aufmerksamkeitsfusion

Ein graphbasiertes, multimodales Attention-Netzwerk wurde verwendet, um feinkörnige emotionale Beziehungen zwischen den Modalitäten zu simulieren. Um den Informationsfluss zwischen den Modalitäten zu erleichtern, wurde ein vollständig verbundener multimodaler Graph erstellt, wobei jede modalityspezifische Embedding (Text, Audio und visuell) als Knoten im Graphen repräsentiert wurde. Die Beziehungen zwischen den Modalitäten dienten zur Erstellung der Adjazenzmatrix des Graphen, die anschließend mithilfe einer lernbaren Attention-Methode verbessert wurde. Ein gemeinsamer latenter Raum wurde durch Verkettung und Projektion der Ausgaben mehrerer Attention-Heads erzeugt. Eine einheitliche, multimodale Emotionsrepräsentation entstand dann durch Aggregation der Knotenrepräsentationen mittels attentiongewichteter Pooling-Verfahren. Diese fusionierte Repräsentation wurde anschließend an die Vorhersage- und Visualisierungsmoduln für die interaktionsbewusste Analyse und die Emotionserkennung übermittelt. Das Graph-Fusionsmodul wies eine Dimension der verborgenen Repräsentation von 256 auf und enthielt zwei Graph-Attention-Schichten, jeweils mit acht Attention-Heads. Um die relative Wichtigkeit benachbarter Modalitäten zu ermitteln, wurden die Attention-Koeffizienten zwischen verbundenen Knoten berechnet und mittels der Softmax-Funktion standardisiert. Jeder Graph-Attention-Schicht folgten eine Layer-Normalisierung, Residualverbindungen sowie eine Dropout-Rate von 0,2, um die Stabilität des Trainings zu erhöhen und Überanpassung zu verringern. Nach der Verkettung und Projektion der Ausgaben mehrerer Attention-Heads in einen gemeinsamen latenten Raum wurden die Knotenrepräsentationen mittels attentiongewichtetem Pooling zu einer einzigen, multimodalen Emotionseingebettung kombiniert. Anschließend wurde die fusionierte Repräsentation für die multimodale visuelle Abbildung und die Emotionsvorhersage verwendet.

Mithilfe der Multi-Head-Graph-Aufmerksamkeit wurden diverse multimodale Wechselwirkungen erfasst. Die Softmax-Funktion diente zur Normalisierung der Aufmerksamkeitskoeffizienten zwischen verbundenen Knoten für jeden Knoten. Um die Stabilität des Trainings zu erhöhen und Überanpassung zu vermeiden, folgten auf die gestapelten Graph-Aufmerksamkeitsschichten des Graph-Fusionsmoduls Residualverbindungen, Layer-Normalisierung und Dropout-Regularisierung.

Die Begriffe   stellen jeweils die Darstellungen der spezifischen Emotionen dar, die durch die visuellen, auditiven und textlichen Modalitäten erfasst wurden; jede Komponente befindet sich im gemeinsamen latenten Raum . Die Modelle für die Modalitätsknoten verwenden eine Notation für den Graphen , wobei die Knoten der Sammlung   den drei Modalitätsknoten selbst entsprechen, um die emotionalen Abhängigkeiten zwischen den verschiedenen Modalitätsdarstellungen explizit zu verstärken.

Nachdem jedem Knoten im Graphen ein emotionspezifischer Merkmalsvektor zugewiesen wurde, haben wir:

   (18)

Im Gegensatz zu herkömmlichen Fusionstechniken, die vorab festgelegte oder feste Fusionsgewichte verwenden, lernt das vorgeschlagene Verfahren adaptive Kantengewichte basierend auf deren Bedeutung und wechselseitigen Abhängigkeiten, sowohl über die Kanäle als auch über die emotionalen Situationen hinweg.

Ein Graph Attention Network (GAT) wird für die multimodale Fusion verwendet. Ein Aufmerksamkeitskoeffizient wird für jeden Knoten i und seine benachbarten Knoten, also Knoten j, berechnet:

   (19)

Die emotionale Wirkung des Wechsels von Modus j zu Modalität i wird durch die normalisierten Gewichte α_ij gemessen.

Anschließend wird das fusionierte Erscheinungsbild jedes Modalitätsknotens als gewichtete Gruppierung seiner Nachbarn berechnet:

   (20)

wobei die Aktivierungsfunktion   nichtlinear ist. Abschließend werden die aktualisierten Merkmale jedes Knotens kombiniert, um eine globale fusionierte Emotionsrepräsentation zu erhalten:

   (21)

Es ist eine nützliche Technik für interpretierbare Emotionsmodellierung und anschließende visuelle Abbildung, da sie komplementäre Informationen aus verschiedenen Modalitäten erfasst und dabei komplexe intermodale Beziehungen bewahrt.

Algorithmus 1 (Supplementary File 1) liefert das allgemeine Schema zur Durchführung der graphbasierten multimodalen Fusion. Zunächst wird ein Graph erstellt, dem die emotionspezifischen Merkmale zugeordnet sind, die jeweils mit den visuellen, auditiven und textuellen Modalitäten verknüpft sind. Anschließend werden die Attention-Scores für jedes Paar von Knoten im Graphen berechnet, die die Kombination emotionaler Abhängigkeiten repräsentieren. Die Attention-Scores werden dann normalisiert, um den relativen Beitrag jeder Modalität zum festgelegten emotionalen Kontext anzugeben, wodurch das Lernen der Attention-Gewichte ermöglicht wird. Die generelle Emotions-Embedding wird in der letzten Phase durch Aggregation der mit den Knoten des Graphen verknüpften Merkmale erzeugt. In diesem Sinne zeigt die allgemeine Fusion multimodaler Merkmale, die mit den festgelegten Emotionen verknüpft sind, durch den Algorithmus Potenzial hinsichtlich Anpassungsfähigkeit, Interpretierbarkeit und kontextueller Intelligenz.

Abbildung 2 zeigt die Struktur und Funktionsweise des vorgeschlagenen multimodalen Netzwerks mit Quermodalitätsaufmerksamkeit zur Fusion multimodaler Stimmungen. Die emotionspezifischen Einbettungen, die unabhängig für die Modalitäten Text, Audio und Video gewonnen werden, durchlaufen zunächst auf Modalitätsebene angeordnete Aufmerksamkeitsmechanismen, die die relative Bedeutung sprachlicher, stimmlicher und mimischer Informationen für einen gegebenen emotionalen Kontext erlernen. Die durch Aufmerksamkeit gewichteten Repräsentationen der Modalitäten werden anschließend zu einer einheitlichen Emotionseinbettung kombiniert, wobei die Aufmerksamkeitsmatrix die zwischenmodalen Abhängigkeiten und Interaktionsstärken erfasst. Die vom Netzwerk gelernte Aufmerksamkeitsmatrix moduliert dynamisch die Beiträge der einzelnen Modalitäten, sodass das Netzwerk sich auf die aussagekräftigste Informationsquelle konzentrieren und gleichzeitig störanfällige oder wenig informative Modalitäten ignorieren kann. Die fusionierte Emotionsrepräsentation ermöglicht eine präzise Erkennung von Emotionen sowie eine differenzierte Analyse emotionaler Zustände wie neutral, Umarmung und Besorgnis.

Visuelles Abbildungsmodul

Mit Hilfe des speziell für diesen Zweck erstellten visuellen Abbildungsabschnitts kann ein intelligenter Interaktionsdesigner die vereinheitlichte Darstellung des emotionalen Zustands anhand des Graphen nach dem multimodalen Fusionierungsprozess in eine visuelle Form umwandeln, die verständlich und leicht verarbeitbar ist.

Um latente emotionale Repräsentationen leichter erfassbar zu machen, wurden Dimensionsreduktionsverfahren eingesetzt, um die gelernten multimodalen Emotionseinbettungen zu visualisieren. Nach der Reduktion der Merkmalsdimensionalität unter Beibehaltung des größten Teils der Varianz mittels Hauptkomponentenanalyse (Principal Component Analysis, PCA) wurden die Einbettungen mithilfe von t-verteiltem stochastischem Nachbarn-Einbetten (t-distributed Stochastic Neighbor Embedding, t-SNE) in einen zweidimensionalen Raum projiziert. Für t-SNE wurden eine Perplexitätszahl von 30, eine Lernrate von 200 und 1.000 Optimierungsiterationen verwendet. Mit den erhaltenen Projektionen wurden emotionspezifische Cluster und Modalitätsbeziehungen visualisiert. Die normalisierten intermodalen Aufmerksamkeitsgewichte, die durch das graphbasierte Aufmerksamkeitsnetzwerk ermittelt wurden, dienten zur Erstellung von Aufmerksamkeits-Heatmaps. In diesen Heatmaps wird der relative Beitrag textueller, audiovisueller und visueller Modalitäten während der Emotionsvorhersage dargestellt. Die gelernten Aufmerksamkeitskoeffizienten wurden als Kantengewichte verwendet, um intermodale Interaktionsgraphen zu erstellen, wodurch eine visuelle Untersuchung der Beziehungen zwischen Modalitäten und des Informationsflusses innerhalb des Fusionierungsframeworks ermöglicht wurde. Emotionsverlaufsdiagramme wurden durch die Verfolgung der Entwicklung latenter Emotionseinbettungen über aufeinanderfolgende Äußerungen hinweg erstellt, um zeitliche emotionale Dynamiken zu untersuchen. Diese Verläufe liefern Einblicke in die zeitliche Entwicklung emotionaler Zustände und des Beitrags der einzelnen Modalitäten. Alle Visualisierungen wurden mit den Python-Bibliotheken Matplotlib und Scikit-learn erstellt. Zur Bewertung der Interpretierbarkeit, der Clusterbildung, der Modalitätsbeiträge und der zeitlichen Emotionsdynamik wurden qualitative Analysen der Visualisierungen der Einbettungen, der Interaktionsgraphen und der Aufmerksamkeits-Heatmaps durchgeführt.

Der Variable   soll die fusionierte Darstellung des emotionalen Zustands durch die Graph-Attention-Netzwerk-Funktion repräsentieren. Im Gegensatz zur Ausgabeebene-Visualisierung der Darstellungen des emotionalen Zustands besteht das Hauptziel des Moduls darin, die Repräsentationen des emotionalen Zustands und die entsprechenden Gewichtungen des Attention-Mechanismus in eine verständliche visuelle Form umzuwandeln.

Mithilfe des erlernten α_ji wird eine Attention-Heatmap erstellt, um den Beitrag jeder Modalität visuell zu überprüfen. Die eingehenden Attention-Gewichte werden anschließend summiert, um einen zusammengesetzten Wichtigkeitsscore für jede Modalität zu bestimmen:

    (22)

wobei s_i den relativen emotionalen Beitrag der Modalität I darstellt. Um die Erstellung einer Aufmerksamkeits-Heatmap zu unterstützen, werden die erhaltenen Werte normalisiert und einer Farbpalette zugeordnet, die es dem Nutzer erleichtert, die dominierende Modalität in verschiedenen Zeitschritten oder interaktiven Zuständen zu identifizieren. Durch verschiedene visuelle, akustische oder textbasierte Eingabemodalitäten hilft eine solche Schnittstelle dem Nutzer dabei, zu verstehen, wie der Aufmerksamkeitsmechanismus des Systems funktioniert.

Der erlernte Graph wird speziell als „gewichteter Interaktionsgraph“ modelliert, um die multimodalen Abhängigkeiten menschlicher Emotionen darzustellen. Jede Modalität wird durch einen Knoten im Graphen repräsentiert, und die Stärke der Wechselwirkungen im Zusammenhang mit menschlichen Emotionen wird durch Gewichtungen in Form von α_ji auf den sie verbindenden Kanten ausgedrückt. Der obige gewichtete Graph veranschaulicht die Intensität der emotionalen Wechselwirkungen zwischen Menschen. Die Definition von i und j lautet:

   (23)

Die Linienstärke oder Transparenz der Graph-Visualisierung wird dank dieser Gewichtungen angemessen dargestellt. Dies erleichtert das Verständnis der Wechselwirkungen zwischen den Modalitäten. Mithilfe von intermodalen Interaktionsgraphen kann der Gestalter besser nachvollziehen, wie sich emotionale Indikatoren während des Fusionierungsprozesses gegenseitig beeinflussen.

Die fusionierten Emotions-Embeddings  zu verschiedenen Zeitpunkten werden mithilfe eines Dimensionsreduktions-Algorithmus wie PCA oder t-SNE auf einen niedrigdimensionalen Raum reduziert, um die zeitliche Entwicklung der Emotionen darzustellen:

   (24)

wobei die Projektionsfunktion durch dargestellt wird. Das Entstehen von 2D/3D-Emotionsverläufen, die Emotionsübergänge, -intensitäten und -stabilität in Interaktionen zeigen, kann als intuitive Darstellung der zeitlichen Entwicklung emotionaler Zustände interpretiert werden. Diese Aspekte können für intelligente Interaktion, Entscheidungsfindung und Echtzeitüberwachung genutzt werden.

Im Gegensatz zu herkömmlichen Emotionssystemen, die lediglich Abbildungen auf bestimmte Klassen oder Bewertungen bereitstellen, konzentriert sich dieses System darauf zu zeigen, wie menschliche Emotionen innerhalb dessen entstehen. Es offenbart seinen Entscheidungsprozess, indem es Visualisierungen der Zwischenmerkmale bereitstellt, einschließlich Gewichtungsfaktoren, Wechselwirkungen zwischen Modellen und deren entsprechenden Pfaden. Dies ermöglicht es dem Nutzer zu verstehen, wie jeder Faktor – visuell, stimmlich oder sprachlich – die Erzeugung der Antworten auf menschliche Emotionen beeinflusst.

Die Abbildung von Emotionen in verständliche Formen mithilfe visueller Darstellungen kann somit eine Brücke schlagen zwischen der Emotionsanalyse mit Methoden des Deep Learning und deren Integration in die Gestaltung intelligenter Schnittstellen. Die aus beiden Ansätzen gewonnenen Daten können anschließend genutzt werden, um präzisere Benutzeroberflächen zu entwickeln. Dadurch liefert der vorgeschlagene Ansatz wichtige Informationen für Interaktionsgestalter, um genauere Benutzeroberflächen zu konzipieren. Mit anderen Worten wird das Verständnis von Emotionen zu einem aktiven Bestandteil des Interaktionsdesigns. Die Genauigkeit kann nur dann weiter steigen, wenn das Verständnis von Emotionen aktiv in das Interaktionsdesign integriert wird.

Das visuelle Abbildungsmodul ermöglicht Erklärbarkeit auf verschiedene miteinander verbundene, aber unterschiedliche Weisen: Die erklärbarkeit auf Merkmalsebene offenbart die zugrunde liegenden Repräsentationen von Emotionen, die vom DNN erzeugt werden, und ermöglicht es uns, die Semantik zu verstehen, die zur Beschreibung jedes mit Emotionen verknüpften Merkmals verwendet wird; die Erklärbarkeit auf Modalitätsebene nutzt Daten aus den Interaktionsgraphen und den visuellen Aufmerksamkeits-Heatmaps, um darzustellen, wie jede Modalität – visuell, audio oder textuell – zu den Entscheidungen über die Ausdrucksweise von Emotionen beiträgt; und schließlich ermöglichen die aus dem Emotions-Embedding resultierenden Trajektorien das Verständnis, wie sich jede visuelle und textuelle Modalität im Zeitverlauf aus einer dynamischen Interaktionsperspektive betrachtet verändert. Siehe Algorithmus 2 (Supplementary File 1).

Die fusionierten multimodalen emotionalen Merkmale werden mithilfe des vorgeschlagenen visuellen Abbildungs-Algorithmus 2 auf visuell signifikante Darstellungen abgebildet, um ein intelligentes Interaktionsdesign zu ermöglichen. Die graphbasierten multimodalen Attention-Gewichte dienen dazu, Unterschiede zwischen den Eingabe-Elementen im visuellen, audiovisuellen und textuellen Bereich zu jedem Zeitpunkt zu quantifizieren. Diese Unterschiede werden anschließend visuellen Darstellungen zugeordnet, um mithilfe von Heatmap-Visualisierungen die Hauptquellen hervorzuheben, die die Emotionen beeinflussen. Um einen aufschlussreichen Einblick in die Wechselwirkungen zwischen den Eingabeelementen zu gewinnen und die durch die multimodalen Eingabeelemente erzeugte emotionale Entwicklung darzustellen, werden danach paarweise Interaktionsstärken berechnet, um die multimodalen Interaktionsgewichte zu erzeugen. Gleichzeitig wird eine Darstellung der emotionalen Entwicklung erzeugt, indem die über die Zeit gesammelten fusionierten Emotionselemente in einen niedrigdimensionalen Raum abgebildet werden, um eine kontinuierliche Entwicklung der Emotionselemente zu erzeugen.

Emotionsvorhersage und Interaktionsrückmeldung

Das Ergebnis der fusionierten Emotionsrepräsentation, dargestellt als , wird anschließend als Funktion sowohl für die Interaktionsrückmeldung als auch für die Emotionsvorhersage verwendet. Die Emotionsvorhersage wird zudem als Multitask-Modell beschrieben, das aus einer Regressionsaufgabe zur Erkennung kontinuierlicher Emotionsintensitäten und einer Klassifikationsaufgabe zur Erkennung diskreter Emotionen besteht. Für die Erkennung diskreter Emotionen wird das folgende auf Softmax basierende Klassifikationsmodell verwendet:

   (25)

wobei  die erwarteten Wahrscheinlichkeiten der Emotionsklassen darstellt und W_c  und b_c lernbare Parameter sind. Der Cross-Entropy-Verlust wird verwendet, um das Klassifizierungsziel zu verbessern:

  (26)

wobei y_k das korrekte Tag ist und K die Anzahl der Emotionsklassen bezeichnet. Ein Regressionszweig wird parallel zur Schätzung der Emotionalität verwendet, um Vorhersagen verschiedener kontinuierlicher affektiver Attribute, einschließlich Valenz und Erregung, zu erzeugen. Geben Sie ihm die folgende Definition:

   (27)

wobei die erwartete Emotionsintensität durch angegeben ist. Zur Verbesserung der Regressionsaufgabe wird der Verlust aufgrund des mittleren quadratischen Fehlers verwendet:

   (28)

Im Allgemeinen werden die beiden Aufgaben im Vorhersageziel kombiniert:

   (29)

wobei die Ziele der Regression und Klassifikation durch λ ausgeglichen werden. Es wird eine dynamische Anpassung des Visualisierungsmoduls basierend auf dem ermittelten emotionalen Zustand vorgeschlagen, um eine solche interaktionsbezogene Rückmeldung zu ermöglichen. Der Interaktionskontext zu einem bestimmten Zeitpunkt t wird durch c_t dargestellt. Die Antwort des Visualisierungsmoduls ergibt sich aus:

    (30)

wobei die Visualisierungsanpassungsfunktion durch dargestellt wird. Dadurch ist es möglich, die Modalitäts-Heatmaps, Interaktionsgraphen und Emotionsverläufe in Echtzeit basierend auf erwarteten Veränderungen und Emotionen anzupassen. Dies zeigt an, dass das System neben einer guten Leistung bei der Vorhersage von emotionalen Zuständen auch erhebliche Unterstützung für Feedback bietet.

Ergebnisse

Diese Arbeit validiert den vorgeschlagenen visuellen Abbildungsrahmen für multimodale Emotionsmerkmale hinsichtlich der interaktionsbezogenen Interpretierbarkeit und der Vorhersageleistung anhand zweier Benchmark-Datensätze, CH-SIMS und CMU-MOSEI. Laut den experimentellen Ergebnissen schneidet der vorgeschlagene Ansatz über verschiedene Metriken – einschließlich Korrelation, Genauigkeit, F1-Wert und mittlerem absoluten Fehler (MAE) – hinweg durchgängig besser ab als bestehende Verfahren zur multimodalen Emotionserkennung. Zur Leistungssteigerung tragen die entkoppelte Emotionsrepräsentation, der graphbasierte multimodale Fusionsmechanismus und die End-to-End-Tiefen-Lernstrategie bei, da sie eine stabilere und semantisch besser ausgerichtete Emotionsmodellierung ermöglichen. Der vorgeschlagene Ansatz liefert durch die visuelle Abbildung zudem tiefere Einblicke auf der Ebene der Merkmale, die über reine quantitative Verbesserungen hinausgehen und das Verständnis von Modalitätsbeiträgen sowie emotionalen Dynamiken erleichtern. Trotz Unterschieden in Sprache, kulturellem Ausdruck und Datensatzgröße zeigt sich der genannte Leistungszuwachs in beiden Datensätzen konsistent, was die hohe Generalisierungsfähigkeit des vorgeschlagenen Rahmens belegt.

Die öffentlichen Datensätze CH-SIMS und CMU-MOSEI für multimodale Emotionen werden in der vorgeschlagenen Arbeit verwendet. Der CH-SIMS-Datensatz umfasst 2.281 Videoclips aus Filmen, Fernsehdramen und Unterhaltungssendungen. Synchronisierte Text-, Audio- und visuelle Daten sind in CH-SIMS verfügbar. Sowohl unimodale als auch multimodale Sentiment-Labels sind in die Kategorien positiv, neutral und negativ eingeteilt. Der große englischsprachige multimodale Datensatz CMU-MOSEI enthält etwa 23.453 annotierte Videoclips mit mehr als 1.000 Sprechern, die eine breite Palette von Themen diskutieren. Dieser Datensatz enthält sowohl kontinuierliche Emotionsintensitätsannotationen wie Valenz und Erregung als auch kategoriale Emotionslabels. Durch die Unterstützung einer Vielzahl von sprachlichen, kulturellen und emotionalen Bedingungen stärkt die Experimentierung mit diesen beiden Datensätzen im vorgeschlagenen Framework die Robustheit und Zuverlässigkeit. Tabelle 2 zeigt die Details der Simulationsumgebung.

Die wichtigsten experimentellen und implementierungstechnischen Rahmenbedingungen, die zur Bewertung des vorgeschlagenen Frameworks verwendet werden, sind in dieser Simulationsumgebung zusammengefasst. Um eine einheitliche Merkmalsdimensionalität über textbasierte, audio- und visuelle Modalitäten hinweg sicherzustellen, werden transformerbasierte Encoder einheitlich angewendet. Es verwendet einen graphbasierten Attention-Mechanismus für die multimodale Fusion, wodurch ein adaptives Lernen der intermodalen Abhängigkeiten in Bezug auf emotionale Zustände ermöglicht wird.

Der vorgeschlagene Rahmen extrahiert textuelle, akustische und visuelle Darstellungen mithilfe von transformerbasierten Modali­täts-Encodern. Voll verbundene Schichten mit ReLU-Aktivierung projizieren die modali­tätsspezifischen Embeddings in einen gemeinsamen latenten Raum. Anschließend kommen separate, emotions- und modali­tätsspezifische Encoder zum Einsatz, jeweils mit zwei voll verbundenen Schichten sowie nichtlinearer Aktivierung und Normalisierung, um entkoppelte Darstellungen zu lernen. Die latenten Darstellungen werden in einen 256-dimensionalen Merkmalsraum projiziert, in dem Informationen für jede Modali­tät und Emotion separat erlernt werden. Um die Modali­tätsinformationen zu bewahren und eine effiziente Entkoppelung zu fördern, werden Rekonstruktions-Decodierer verwendet. Vor der multimodalen Fusion und Vorhersage modelliert das graphenbasierte, multimodale Attention-Modul emotionale Abhängigkeiten zwischen den Modali­täten anhand der latenten Darstellungen. Das Netzwerk wurde mit dem Adam-Optimierer bei einer anfänglichen Lernrate von 1 × 10⁻⁴ und einer Batch-Größe von 32 trainiert. Zur Vermeidung von Überanpassung kam ein frühzeitiges Abbrechen basierend auf dem Validierungsverlust zum Einsatz. Die gesamte Ziel­funktion setzte sich aus Klassifizierungs-, Rekonstruktions- und Darstellungs-Konsistenzverlusten zusammen, die jeweils durch abstimmbare Hyperparameter gewichtet wurden. Das Modelltraining wurde für bis zu 100 Epochen durchgeführt, wobei das leistungsstärkste Modell auf dem Validierungsdatensatz zur Testung beibehalten wurde.

Der vorgeschlagene Ansatz wurde anhand von Klassifizierungsmetriken wie Genauigkeit, Präzision, Sensitivität und F1-Score sowie Regressionsmetriken wie dem mittleren absoluten Fehler (MAE) bewertet. Präzision, Sensitivität und F1-Score wurden mittels Makro-Mittelung berechnet, um die Klassenungleichgewichte zwischen den Emotionskategorien zu berücksichtigen. Für die Klassifikationsexperimente wurden die vorgegebenen Emotions- bzw. Stimmungskennzeichnungen der Datensätze CH-SIMS und CMU-MOSEI als Referenzkategorien verwendet. Bei der regres­sionsbasierten Stimmungsvorhersage dienten die kontinuierlichen Stimmungsintensitätswerte der Datensätze als Zielvariablen. Zur Analyse der klassenspezifischen Vorhersageleistung und Fehlklassifizierungsmuster wurden Konfusionsmatrizen erstellt, jeweils mit einem Konfidenzintervall von 95 %. Zur Gewährleistung der Robustheit wurde jedes Experiment fünfmal mit unterschiedlichen Zufallsinitialisierungen wiederholt, und die angegebenen Ergebnisse entsprechen dem Mittelwert ±± Standardabweichung über alle Durchläufe. Die statistische Signifikanz wurde mithilfe geeigneter Hypothesentests überprüft, und Konfidenzintervalle wurden dort berechnet, wo anwendbar. Die Trainingszeit wurde als gesamte verstrichene Zeit bis zur Modellkonvergenz auf der angegebenen Hardwareplattform gemessen.

Eine Reihe repräsentativer Baseline-Modelle, darunter Early Fusion und Late Fusion, kann mit der vorgeschlagenen Methode verglichen werden. Dazu zählen TFN, LSTM-basierte Methoden, Niederrang-Multimodale-Fusionsmodelle, adaptive multimodale Transformer und neuartige, auf Cross-Modal-Attention basierende Architekturen. Diese Baselines spiegeln modernste Techniken wider, die sich hauptsächlich darauf konzentrieren, die Genauigkeit der Emotionserkennung durch verschiedene Fusionsmethoden zu verbessern. Im Gegensatz zu diesen Verfahren, die primär auf die Vorhersage auf Ausgabeebene abzielen, verbessern das entkoppelte Repräsentationslernen und die graphbasierte Fusion des vorgeschlagenen Frameworks die Interpretierbarkeit und das Bewusstsein für Interaktionen. LSTM-Fusion, TFN, Low-Rank Multimodal Fusion (LMF), Adaptive-Graph und transformatorbasierte Ansätze sind Beispiele für Baseline-Modelle, die mithilfe ihrer offiziellen Repositories oder öffentlich zugänglicher Referenzimplementierungen umgesetzt wurden. Dabei wurden die ursprünglichen Hyperparameter-Einstellungen der Autoren verwendet, sofern verfügbar. Alle neu trainierten Baselines wurden anhand derselben Datensatz-Aufteilungen, Vorverarbeitungstechniken, Optimierungsparameter und Evaluierungskriterien bewertet, um einen fairen Vergleich zu gewährleisten. In den Vergleichstabellen werden die entsprechenden Referenzen für Daten, die direkt aus früheren Publikationen stammen, eindeutig angegeben.

Genauigkeit

Die Genauigkeit der diskreten Emotionsklassifizierung wird für beide Datensätze CH-SIMS und CMU-MOSEI gemessen; jedoch unterscheidet sich der Genauigkeitstrend abhängig von den Eigenschaften der beiden Datensätze. Da CH-SIMS ein mittelgroßer Datensatz mit gleicher Anzahl von Sentiment-Kategorien und sorgfältig vorverarbeiteten Videoclips ist, ist die Genauigkeit hoch, was darauf hindeutet, dass das Modell subtile multimodale Emotionsinformationen mit geringem Rauschen erfassen kann. Die genaue Klassifizierung von Emotionen ist jedoch herausfordernd, da CMU-MOSEI ein groß angelegter Datensatz mit Sprechern aus unterschiedlichen Hintergründen ist. Daher zeigt die Genauigkeit auf dem CMU-MOSEI-Datensatz neben der Fähigkeit des Modells, das Sentiment zu erkennen, auch dessen Fähigkeit zur Generalisierung und Widerstandsfähigkeit gegenüber einer Vielzahl von Interaktionsszenarien an. Die Verbesserung der Genauigkeit über beide Datensätze hinweg zeigt, dass der vorgeschlagene Ansatz gut auf Datensätze unterschiedlicher Sprachen, Größen und emotionaler Komplexitätsgrade generalisiert.

Die Klassifizierungsgenauigkeiten des vorgeschlagenen Ansatzes und anderer gängiger Baseline-Methoden auf den Datensätzen CH-SIMS und CMU-MOSEI sind in Tabelle 3 dargestellt. Wie Tabelle 3 zeigt, erreichte das vorgeschlagene Framework auf beiden Datensätzen, CH-SIMS und CMU-MOSEI, die höchste Genauigkeit und übertraf dabei die beste Baseline-Methode (Adaptive-Graph) um etwa 3,3 % bzw. 3,1 Prozentpunkte. Geringere Werte der Standardabweichung weisen außerdem auf eine größere Stabilität über mehrfache experimentelle Durchläufe hin. Traditionelle LSTM-Fusionsansätze weisen aufgrund ihrer begrenzten Fähigkeit, komplexe multimodale Beziehungen abzubilden, eine niedrigere Genauigkeit auf. TFN und LMF verbessern die Klassifizierungsgenauigkeit, indem sie multimodale Beziehungen modellieren.

F1-Wert

Bei Problemen der Emotionsklassifikation wird das Verhältnis zwischen Sensitivität und Präzision anhand des F1-Scores gemessen. Für multimodale Datensätze zur Emotionsklassifikation, die voraussichtlich eine ungleiche Anzahl von Klassen aufweisen, ist dies daher besser geeignet. Bei Aufgaben der Emotionsklassifikation wird das Gleichgewicht zwischen Sensitivität und Präzision mithilfe des F1-Scores bewertet. Da multimodale Datensätze zur Emotionsklassifikation in der Regel unausgeglichen sind, eignet sich der F1-Score besser. Je besser das Modell in der Lage ist, Emotionsklassen zu erkennen, desto höher ist der F1-Score.

Abbildung 3 veranschaulicht die Bewertung des F1-Scores der vorgeschlagenen Methode im Vergleich zu den Baseline-Verfahren auf dem CH-SIMS-Datensatz. Der niedrigste F1-Score des LSTM-basierten Baseline-Verfahrens zeigt dessen eingeschränkte Fähigkeit, komplexe, übermodale emotionale Zusammenhänge abzubilden. In Abbildung 3 werden die auf dem CH-SIMS-Datensatz erzielten F1-Scores der evaluierten Verfahren gegenübergestellt. Wie dargestellt, überbieten anspruchsvollere, graphbasierte und transformerbasierte Architekturen regelmäßig konventionellere, auf Datenfusion beruhende Methoden. Mit einem F1-Score von 0,71 lag das LSTM-Modell am niedrigsten, gefolgt von TFN (0,74) und LMF (0,76). Der F1-Score wurde mit Adaptive-Graph auf 0,79 erhöht, was den Nutzen der Modellierung intermodaler Verbindungen unterstreicht. Mit einem F1-Score von 0,82 übertraf das vorgeschlagene Framework Adaptive-Graph um 3,8 %, LMF um 7,9 %, TFN um 10,8 % und LSTM um 15,5 %. Diese Ergebnisse zeigen, dass der vorgeschlagene graphbasierte, übermodale Aufmerksamkeitsmechanismus sowie das entkoppelte Repräsentationslernen ergänzende emotionale Informationen über die modalitäten Text, Audio und Video hinweg effektiver erfassen und somit eine verbesserte Klassifikationsleistung ermöglichen.

Die relativen Trends sind konsistent, obwohl alle Methoden im Vergleich zu CH-SIMS einen leichten Rückgang der F1-Score-Werte aufweisen, wie in Abbildung 4 dargestellt. Die Ergebnisse zeigen eine stetige Leistungsverbesserung von traditionellen Fusionsmethoden hin zu graphbasierten multimodalen Lernstrategien. Die Modelle mit den niedrigsten F1-Scores waren LSTM (0,69), TFN (0,72) und LMF (0,74). Die Leistung des Adaptive-Graph-Modells stieg auf 0,77 an, was zeigt, wie gut quermodale Verbindungen modelliert werden können. Der vorgeschlagene Ansatz übertraf alle anderen Verfahren und erreichte den höchsten F1-Score von 0,80. Die Verbesserung gegenüber dem stärksten Baseline-Verfahren, Adaptive-Graph, verdeutlicht den Beitrag des vorgeschlagenen Ansatzes zur entflochtenen Lernrepräsentation von Emotionen sowie des graphbasierten quermodalen Aufmerksamkeitsmechanismus beim Erfassen komplementärer emotionaler Hinweise über die modalen Kanäle Text, Akustik und Video hinweg. Diese Ergebnisse zeigen, dass das vorgeschlagene Framework für die multimodale Emotionserkennung zuverlässig und effizient ist. Der vorgeschlagene Ansatz weist eine deutliche Verbesserung sowohl gegenüber dem graphbasierten Ansatz als auch gegenüber der herkömmlichen Fusionsmethode auf, was die starke Generalisierungsfähigkeit der Methode weiter bestätigt. Die Verbesserung des F1-Scores auf dem CMU-MOSEI-Datensatz zeigt, dass der vorgeschlagene Ansatz eine ausgewogene Klassifizierungsleistung bei Emotionen auch unter verrauschten und vielfältigen Bedingungen erreichen kann.

Präzision

In intelligenten Kommunikationssystemen ist Präzision entscheidend, da ein falsches emotionales Signal die Benutzererfahrung beeinträchtigen kann. Als Präzision wird das Verhältnis korrekt vorhergesagter Fälle einer bestimmten Emotion zur Gesamtanzahl der als diese Emotion klassifizierten Fälle bezeichnet. Da die entkoppelten Emotionsrepräsentationen weniger verrauscht sind und in der Modalität seltener falsch klassifiziert werden, übertrifft das vorgeschlagene Modell die Baseline-Modelle im CH-SIMS-Datensatz in Abbildung 5.

Die Genauigkeit mehrerer multimodaler Emotionserkennungstechniken auf den Datensätzen CH-SIMS und CMU-MOSEI wird in Abbildung 5 gegenübergestellt. Während die Modelle von traditionellen fusionbasierten Techniken zu anspruchsvolleren, graphbasierten Architekturen übergehen, steigt die Präzision stetig an. Der vorgeschlagene Ansatz erreichte auf dem CH-SIMS-Datensatz die höchste Präzision von 0,82, wobei sich die Präzision von 0,71 für LSTM auf 0,74, 0,76 bzw. 0,79 für TFN, LMF und Adaptive-Graph erhöhte. Auf dem CMU-MOSEI-Datensatz stieg die Präzision von 0,69 für LSTM auf 0,72, 0,74 bzw. 0,77 für TFN, LMF und Adaptive-Graph. Der vorgeschlagene Ansatz erzielte die höchste Präzision von 0,80. Im Vergleich zum stärksten Baseline-Verfahren (Adaptive-Graph) verbesserte der vorgeschlagene Ansatz die Präzision um etwa 3,8 % auf CH-SIMS und um 3,9 % auf CMU-MOSEI. Diese Ergebnisse zeigen, dass der vorgeschlagene Ansatz zur Entflechtung der Repräsentationslernens und der graphbasierten, intermodalen Aufmerksamkeitsmechanismen durch die Erfassung komplementärer emotionaler Informationen über textuelle, akustische und visuelle Modalitäten die Anzahl falsch-positiver Vorhersagen erfolgreich verringert. Der Einfluss irrelevanter Modalitäten wird durch die graphbasierte, intermodale Aufmerksamkeit weiter reduziert. Die größere Vielfalt an Sprechern und sprachlichen Ausdrucksformen im CMU-MOSEI-Korpus führt zu einer leichten Abnahme der Präzision bei allen Modellen.

Rückruf

Bei Aufgaben zur Emotionserkennung ist der Recall, ein Maß für die Fähigkeit eines Modells, emotionale Instanzen, die einer bestimmten Klasse angehören, korrekt zu klassifizieren, von entscheidender Bedeutung, da das Fehlen emotionaler Informationen die Interaktionsqualität negativ beeinflussen kann. Ein höherer Recall-Wert deutet darauf hin, dass das Modell weniger falsch negative Ergebnisse liefert und mehr tatsächliche emotionale Äußerungen erkennt. Der Recall kann als Maß für die Effizienz betrachtet werden, mit der emotionale Informationen aus Text-, Audio- und visuellen Modalitäten im Kontext der multimodalen Emotionsanalyse extrahiert werden.

Der Vorteil der vorgeschlagenen Technik gegenüber den Baseline-Verfahren auf den Datensätzen CH-SIMS und CMU-MOSEI zeigt sich im Vergleich der Recall-Werte in Abbildung 6. Während sich die Modelle von herkömmlichen, auf Fusion basierenden Methoden hin zu komplexeren, graphbasierten multimodalen Strukturen weiterentwickeln, zeigen die Ergebnisse durchgängig Zunahmen beim Recall. Auf dem CH-SIMS-Datensatz stieg der Recall von 0,70 für LSTM auf 0,73, 0,75 und 0,78 für TFN, LMF bzw. Adaptive-Graph; der maximale Recall von 0,82 wurde durch den vorgeschlagenen Ansatz erreicht. Auf dem CMU-MOSEI-Datensatz erreichte der vorgeschlagene Ansatz den höchsten Recall von 0,80, wobei der Recall von 0,68 für LSTM auf 0,71, 0,73 und 0,76 für TFN, LMF bzw. Adaptive-Graph anstieg. Im Vergleich zum stärksten Baseline-Verfahren (Adaptive-Graph) erzielte der vorgeschlagene Ansatz relative Verbesserungen von etwa 5,1 % auf CH-SIMS und 5,3 % auf CMU-MOSEI. Diese Ergebnisse zeigen, dass das vorgeschlagene Verfahren zur Entkopplung der Repräsentationslernens und der graphbasierten, intermodalen Aufmerksamkeitsmechanismen durch die Erfassung komplementärer emotionaler Hinweise über textuelle, akustische und visuelle Modalitäten die Anzahl falsch-negativer Vorhersagen erfolgreich reduziert und somit die Identifizierung von Emotionsklassen auf beiden Datensätzen verbessert. Da herkömmliche Methoden nur begrenzt in der Lage sind, komplexe intermodale Beziehungen abzubilden, weisen sie tendenziell niedrigere Recall-Werte auf. Durch eine explizitere Modellierung der Modalitätsbeziehungen erzielen TFN und LMF moderate Verbesserungen. Durch die Simulation strukturierter Beziehungen zwischen den Modalitäten hat die Adaptive-Graph-Methode den Recall weiter gesteigert. Für beide Datensätze erreicht das vorgeschlagene Verfahren den höchsten Recall, was auf seine überlegene Fähigkeit hinweist, emotionale Instanzen in verschiedenen Interaktionsszenarien zu erkennen. Die Verbesserung zeigt sich deutlicher im großangelegten CMU-MOSEI-Datensatz, was die Robustheit und Generalisierungsfähigkeit des vorgeschlagenen Ansatzes unterstreicht.

mittlerer absoluter Fehler (MAE)

Der mittlere absolute Fehler (MAE) wird verwendet, um die Leistung bei der Vorhersage kontinuierlicher Emotionsintensitäten zu bewerten, beispielsweise bei der Vorhersage von Valenz oder Erregung. Im Gegensatz zur Genauigkeit spiegelt der MAE den Abstand der vorhergesagten Emotionsintensität zum tatsächlichen emotionalen Zustand besser wider. Aus diesem Grund eignet sich der MAE besonders für Datensätze wie CH-SIMS und CMU-MOSEI, die kontinuierliche affektive Kennzeichnungen aufweisen. Ein niedrigerer MAE-Wert weist auf eine höhere Genauigkeit bei der Vorhersage der Emotionsintensität hin.

Der MAE-Vergleich zwischen dem vorgeschlagenen Framework und den Baseline-Ansätzen auf den Datensätzen CH-SIMS und CMU-MOSEI ist in Tabelle 4 dargestellt. Traditionelle, auf LSTM basierende Fusionsverfahren weisen aufgrund ihrer begrenzten Fähigkeit, komplexe multimodale emotionale Abhängigkeiten abzubilden, tendenziell höhere MAE-Werte auf. Die TFN- und LMF-Verfahren können den MAE durch Modellierung multimodaler Interaktionen verringern, und der Adaptive-Graph-Ansatz reduziert ihn weiter, indem er die Beziehungen zwischen Modalitätsgraphen lernt. Das vorgeschlagene Framework erreicht auf beiden Datensätzen den geringsten MAE, was auf eine genauere Schätzung der Emotionalitätsintensität hinweist. Hervorzuheben ist, dass die Verbesserung beim CMU-MOSEI-Datensatz stärker ausgeprägt ist, da dort die hohe Variabilität der Daten und die Sprechbedingungen die Vorhersageaufgabe anspruchsvoller machen.

Konfusionsmatrix für den CH-SIMS-Datensatz

Die Basismethoden der frühen Fusion LSTM und TFN weisen gemäß den Konfusionsmatrizen für den CH-SIMS-Datensatz erhebliche Verwechslungen zwischen den Klassen der neutralen und positiven Emotionen auf. Dies deutet darauf hin, dass diese Methoden nur begrenzt geeignet sind, subtile multimodale emotionale Ausdrücke zu erkennen. Im Gegensatz dazu zeigt die vorgeschlagene Methode eine deutliche diagonale Dominanz mit nur wenigen Elementen außerhalb der Diagonale, wodurch die Trennbarkeit der Klassen verbessert wird. Der entkoppelte Lernmechanismus für Emotionen der vorgeschlagenen Methode sorgt für eine konsistente Repräsentation von Emotionen über alle Modalitäten hinweg, und ihr Graph-Fusionsansatz erhöht die Unterscheidbarkeit zwischen eng verwandten Stimmungsklassen. Abbildung 7A–E zeigt die Konfusionsmatrix für den CH-SIMS-Datensatz mit verschiedenen Basismethoden.

Konfusionsmatrix für den CMU-MOSEI-Datensatz

Der vorgeschlagene Ansatz verwendet modensinvariante Emotionseinbettungen und adaptive Attention-Gewichte, um die Fehlklassifizierungsrate signifikant zu senken, insbesondere bei emotional mehrdeutigen Eingaben. Dies bestätigt, dass der vorgeschlagene Ansatz in einer Vielzahl großskaliger multimodaler Interaktionsszenarien gut funktioniert. Aufgrund der Größe des Datensatzes, der Sprechervariation und der kontinuierlichen Natur der Sentiment-Labels weisen die Verwechslungsmatrizen des CMU-MOSEI-Datensatzes eine insgesamt höhere Fehlklassifizierungsrate auf. Die Baseline-Verfahren zeigen ein beträchtliches Maß an Verwechslungen zwischen verschiedenen Emotionskategorien. Abbildung 8A–E zeigt die Verwechslungsmatrix für den CMU-MOSEI-Datensatz mit verschiedenen Baseline-Verfahren.

Trainingsdauer pro Epoche

Die rechnerischen Kompromisse fortschrittlicher multimodaler Fusionsverfahren ergeben sich aus dem Vergleich der Trainingszeit pro Epoche. Aufgrund der Transformer-Codierer und der Graph-Attention-Mechanismen benötigt das vorgeschlagene Modell etwas mehr Trainingszeit als die einfachen Fusionsansätze, doch dieser Anstieg ist nicht unzumutbar. Der vorgeschlagene Ansatz zeigte eine hohe Leistungsfähigkeit auf etablierten Datensätzen für die multimodale Emotionsanalyse und weist Potenzial für die Integration in intelligente Mensch-Maschine-Interaktionssysteme auf. Die Eignung für den Echtzeiteinsatz wurde in der vorliegenden Studie jedoch nicht bewertet und erfordert weitere Untersuchungen hinsichtlich Latenz, Durchsatz, Speicherverbrauch und Implementierung. Bemerkenswert ist, dass die verbesserte Stabilität der Konvergenz sowie die überlegene Vorhersage- und Interpretierbarkeitsleistung die zusätzlichen Rechenkosten rechtfertigen. Abbildung 9 zeigt das Ergebnis der Trainingszeit pro Epoche für die vorgeschlagene Methode.

Ablationsstudie

Um den Einfluss jedes wichtigen Elements im vorgeschlagenen Framework – wie dem visuellen Abbildungsmodul, der graphbasierten multimodalen Fusion und der entkoppelten Emotionsrepräsentation – zu bestimmen, wurde eine Ablationsstudie durchgeführt. Um die Auswirkungen zu verstehen, wurde jeweils ein Element einzeln entfernt. Laut den experimentellen Ergebnissen verbessert die graphbasierte Fusion die Modellierung der intermodalen Abhängigkeiten, wobei der Beitrag der entkoppelten Emotionsrepräsentation für die Leistungsstabilität am bedeutendsten ist. Die unterstützende Rolle des visuellen Abbildungsmoduls wird durch die geringe Auswirkung auf die Leistung bei dessen Entfernung bestätigt. Die Ergebnisse der Ablationsstudie unter identischen Trainings- und Evaluierungsbedingungen sind in Tabelle 5 dargestellt. Der stärkste Leistungsrückgang wurde nach dem Wegfall des graphbasierten multimodalen Attention-Moduls beobachtet, wodurch sich die Genauigkeit von 81,72 % auf 77,88 % verringerte und der F1-Score von 0,823 auf 0,776 absank. Dies unterstreicht die Bedeutung der Modellierung komplexer intermodaler Interaktionen. Die Rolle des Moduls für das Lernen entkoppelter Repräsentationen beim Erlernen robuster, emotionspezifischer Darstellungen zeigte sich darin, dass dessen Entfernung die Genauigkeit um 2,78 Prozentpunkte und den F1-Score um 0,032 senkte. Der Hauptvorteil des visuellen Abbildungsmoduls liegt in der Interpretierbarkeit und nicht in der Klassifizierungsgenauigkeit, was durch den vergleichsweise geringeren Rückgang der Vorhersageleistung bei dessen Wegfall belegt wird. Die Konfiguration „Basic Fusion“ erzielte die schlechtesten Ergebnisse, was zeigt, dass die optimale Leistung bei der multimodalen Emotionserkennung auf dem kombinierten Einfluss aller vorgeschlagenen Module beruht.

VERFÜGBARKEIT VON DATEN:

Die in dieser Studie verwendeten Datensätze sind öffentlich verfügbare Benchmark-Datensätze. Der CMU-MOSEI-Datensatz wird vom Carnegie Mellon University Multimodal SDK bereitgestellt und in Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208) beschrieben, der Zugriff erfolgt über https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. Der CH-SIMS-Datensatz wird in Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) beschrieben und ist öffentlich über von den Autoren bereitgestellte Ressourcen zugänglich, einschließlich https://github.com/thuiar/MMSA. Alle Experimente wurden mit den offiziellen Versionen dieser Datensätze durchgeführt. Die rohen extrahierten Daten, verarbeiteten Datendateien, Vorverarbeitungsergebnisse, Aufteilungen in Trainings-, Validierungs- und Testmengen, abgeleiteten Merkmalsdarstellungen sowie Implementierungsdetails, die die Ergebnisse dieser Studie unterstützen, sind öffentlich im Zenodo-Repository unter https://doi.org/10.5281/zenodo.21124921 verfügbar.

Abbildung 1: Schematische Darstellung des vorgeschlagenen multimodalen Emotionsmerkmals-Visualisierungs-Frameworks. Konzeptionelle Illustration der Gesamtarchitektur, die die multimodale Merkmalsextraktion, das Entkoppelte Repräsentationslernen, die graphbasierte, multimodale Aufmerksamkeitsfusion sowie die Komponenten der visuellen Abbildung für eine interpretierbare multimodale Emotionsanalyse zeigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 2: Schematisches Ablaufdiagramm des vorgeschlagenen computerbasierten Protokolls.
Konzeptionelle Darstellung der vollständigen Verarbeitungspipeline, einschließlich Datensatzerfassung, Vorverarbeitung, modalitätsspezifischer Merkmalsextraktion, multimodaler Fusion, Visualisierung und Emotionsvorhersage Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 3: Vergleich der F1-Score-Leistung auf dem CH-SIMS-Datensatz. Mittlere F1-Score-Werte, erhalten aus fünf unabhängigen experimentellen Durchläufen (n = 5), unter Verwendung unterschiedlicher Zufallsinitialisierungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD). Höhere F1-Score-Werte weisen auf eine bessere Leistung bei der Emotionsklassifizierung hin. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4: Vergleich der F1-Score-Leistung auf dem CMU-MOSEI-Datensatz. Mittlere F1-Score-Werte, erhalten aus fünf unabhängigen experimentellen Durchläufen (n = 5), unter Verwendung unterschiedlicher Zufallsinitialisierungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), und die entsprechenden Mittelwert ±± SD-Werte sind über jedem Datenpunkt angegeben. Höhere F1-Score-Werte weisen auf eine bessere Leistung bei der Emotionsklassifizierung hin. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 5: Genauigkeitsvergleich anhand der Datensätze CH-SIMS und CMU-MOSEI. Mittlere Genauigkeitswerte, die durch LSTM, TFN, LMF, Adaptive-Graph und den vorgeschlagenen Ansatz über fünf unabhängige experimentelle Durchläufe (n = 5) erzielt wurden. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Durchläufen mit unterschiedlichen zufälligen Startwerten. Der vorgeschlagene Ansatz erreicht auf beiden Datensätzen die höchste Genauigkeit und demonstriert eine verbesserte Unterscheidungsfähigkeit zwischen Emotionsklassen durch effektives multimodales Merkmalslernen und graphbasierte multimodale Fusion. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 6: Vergleich der Rückrufwerte auf den Datensätzen CH-SIMS und CMU-MOSEI. Mittlere Rückrufwerte, erzielt durch LSTM, TFN, LMF, Adaptive-Graph und den vorgeschlagenen Ansatz über fünf unabhängige experimentelle Durchläufe (n = 5). Die Fehlerbalken zeigen ±± eine Standardabweichung (SD) aus wiederholten Experimenten an. Der vorgeschlagene Ansatz erreicht auf beiden Datensätzen durchgängig die höchsten Rückrufwerte, was auf eine überlegene Fähigkeit zur Erfassung multimodaler emotionaler Informationen und zur Reduzierung von Falsch-Negativ-Vorhersagen hinweist. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 7: Konfusionsmatrix für den Datensatz CH-SIMS mit verschiedenen Basismethoden. Die Zeilen entsprechen den tatsächlichen Emotionsklassen, die Spalten den vorhergesagten Klassen. Die Zellenwerte geben den Prozentsatz der Stichproben an, normiert bezogen auf jede wahre Klasse. Die Konfusionsmatrix wurde mithilfe der separaten Testpartition von CH-SIMS berechnet. Höhere Werte auf der Diagonalen weisen auf eine bessere Erkennungsgenauigkeit für die entsprechende Emotionskategorie hin. Konfusionsmatrizen von (A) Early-fusion-LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph und (E) der vorgeschlagenen Methode am CH-SIMS-Datensatz. Klicken Sie bitte hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 8: Konfusionsmatrix für den CMU-MOSEI-Datensatz mit verschiedenen Baseline-Methoden. Zeilen repräsentieren die tatsächlichen Emotionslabels und Spalten die vorhergesagten Labels. Die Werte sind als klassennormalisierte Prozentanteile auf dem CMU-MOSEI-Testdatensatz angegeben. Die Matrix veranschaulicht sowohl korrekt klassifizierte Beispiele (Einträge auf der Diagonalen) als auch Verwechslungen zwischen Emotionskategorien (Nichtdiagonaleinträge). Konfusionsmatrix für CMU-MOSEI (A) Early-Fusion-LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph und (E) vorgeschlagene Methode auf dem CMU-MOSEI-Datensatz. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 9. Vergleich der Trainingszeit pro Epoche auf multimodalen Emotions-Benchmark-Datensätzen.
Mittlere Trainingszeit pro Epoche, ermittelt aus fünf unabhängigen experimentellen Durchläufen (n = 5) für die Datensätze CH-SIMS und CMU-MOSEI unter identischen Hardware- und Softwareeinstellungen. Die Fehlerbalken zeigen ±± eine Standardabweichung (SD), berechnet aus wiederholten Experimenten mit unterschiedlichen Zufallsinitialisierungen. Niedrigere Werte deuten auf eine höhere Recheneffizienz hin, während stabile Trainingszeiten über die Durchläufe hinweg eine verbesserte Reproduzierbarkeit und Trainingkonsistenz anzeigen. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Datensatz	Modalitäten	Anzahl der Proben	Sprache	Emotions-/Sentiment-Labels
CH-SIMS34	Video, Audio, Text	2.281 Videosegmente	Chinesisch	Multimodale und unimodale Sentiment-Labels (negativ, neutral, positiv)
CMU-MOSEI35	Video, Audio, Text	~23.453 annotierte Clips	Englisch	Labels zur Sentiment- und Emotionsintensität (kontinuierlich und kategorisch)

Tabelle 1: Datensatzbeschreibung. Zusammenfassung der in dieser Studie verwendeten Datensätze, Modalitäten, Anzahl der Stichproben, Sprache sowie Emotions- und Stimmungskennzeichnungen für die Datensätze CH-SIMS und CMU-MOSEI.

Komponente	Spezifikation
Programmier-Framework	Python mit PyTorch
Visueller Merkmalsextraktor	Vision Transformer (ViT)
Audiomerkmal-Extraktor	Wav2Vec 2.0
Textmerkmal-Extraktor	RoBERTa
Fusionsstrategie	Graphbasiertes multimodales Attention-Netzwerk
Merkmalsdimension	768 pro Modalität
Trainings-Optimizer	Adam
Lernrate	1,00E-04
Batch-Größe	16
Hardware	NVIDIA-GPU (z. B. RTX-Serie)
Evaluierungsdatensätze	CH-SIMS, CMU-MOSEI
Latente Dimension	2,56E+02
Einbettungsdimension	768
Aktivierungsfunktion	ReLU
Optimizer	Adam
Lernrate	1,00E-04
Batch-Größe	32
Epochen	100
Frühzeitiges Stoppen	Aktiviert
Verlustfunktion	Klassifizierung + Rekonstruktion + Konsistenz

Tabelle 2: Simulationsumgebung. Experimenteller Aufbau und Implementierungsdetails der Simulationsumgebung, wie Modellspezifikationen, Merkmale, Optimierer und verwendete Hardware.

Methode	CH-SIMS-Genauigkeit (%)	CMU-MOSEI-Genauigkeit (%)
LSTM (frühe/späte Fusion)	72,84 ± 1,12	70,35 ± 1,26
TFN	74,91 ± 0,98	72,68 ± 1,10
LMF	76,23 ± 0,85	74,12 ± 0,94
Adaptive-Graph	78,46 ± 0,73	76,89 ± 0,81
Vorgeschlagene Methode	81,72 ± 0,61	79,94 ± 0,69

Tabelle 3: Bewertung der Genauigkeit der vorgeschlagenen Methode im Vergleich zu Baseline-Verfahren auf den Datensätzen CH-SIMS und CMU-MOSEI. Die Ergebnisse werden als Mittelwert ±± Standardabweichung erhalten von fünf unabhängige Experimentdurchläufe (n = 5) unter Verwendung unterschiedlicher Zufalls-Seed-Initialisierungen. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten.

Methode	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Early/Late Fusion)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Vorgeschlagene Methode	0.298 ± 0.007	0.341 ± 0.008

Tabelle 4: Ergebnis des mittleren absoluten Fehlers. Die Ergebnisse werden als Mittelwert ±± Standardabweichung erhalten von fünf unabhängige Experimentdurchläufe (n = 5) unter Verwendung unterschiedlicher Zufalls-Seed-Initialisierungen. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen der jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten. Vergleich des MAE zur Vorhersage kontinuierlicher Emotionsintensitäten mittels des vorgeschlagenen Frameworks und baseline-Verfahren auf beiden Datensätzen.

Modellvariante	Genauigkeit (%)	F1-Score
Vollmodell	81,72 ± 0,61	0,823 ± 0,008
Ohne Entwirrung	78,94 ± 0,74	0,791 ± 0,010
Ohne Graphenfusion	77,88 ± 0,81	0,776 ± 0,011
Ohne visuelle Abbildung	80,11 ± 0,66	0,807 ± 0,009
Einfache Fusion	74,91 ± 0,98	0,742 ± 0,013

Tabelle 5: Ergebnis der Ablationsstudie mit Basismethoden. Die Ergebnisse werden als Mittelwert ±± Standardabweichung erhalten von fünf unabhängige Experimentdurchläufe (n = 5) unter Verwendung unterschiedlicher Zufalls-Seed-Initialisierungen. Alle Methoden wurden anhand identischer Trainings-, Validierungs- und Testpartitionen ihrer jeweiligen Datensätze evaluiert, um einen fairen Vergleich zu gewährleisten. Vergleich der Leistung zwischen den Modellvarianten, der die Wirksamkeit des Lernens aus entkoppelten Repräsentationen, der graphbasierten Fusion und des visuellen Abbildungsmoduls zeigt.

Zusatzdatei 1: Algorithmus 1 und Algorithmus 2.Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene visuelle Abbildungsrahmen für multimodale Emotionseigenschaften auf den Datensätzen CH-SIMS und CMU-MOSEI die derzeitigen Techniken zur multimodalen Emotionserkennung übertrifft. Im Vergleich zu Early- und Late-Fusion-Modellen wie EF-LSTM und TFN erzielt die vorgeschlagene Methode höhere Genauigkeit und F1-Scores, was ihre Robustheit bei der Verarbeitung unterschiedlicher emotionaler Informationen belegt. Die Verbesserung der Methode ist auf die entkoppelte Emotionsrepräsentation zurückzuführen, die modenspezifisches Rauschen unterdrückt und die Emotionskonsistenz über die visuellen, audio und Textmoden hinweg sicherstellt³⁶.

Kürzlich haben transformerbasierte multimodale Modelle wie Adaptive Multimodal Transformers³⁷ und MIAR³⁸ beeindruckende Ergebnisse bei der Modellierung von intermodalen Abhängigkeiten gezeigt. Diese Modelle konzentrieren sich jedoch hauptsächlich auf die Vorhersage und verfügen nicht über Mechanismen, die eine interpretierbare Analyse auf der Ebene der Merkmale ermöglichen. Im Gegensatz dazu kombiniert das vorgeschlagene System eine graphbasierte intermodale Aufmerksamkeit mit einem visuellen Abbildungsmodul, wodurch eine transparente Analyse der Modalitäts- und emotionalen Interaktionen ermöglicht wird. Dieser Aspekt fehlt derzeit in der Literatur, in der emotionale Schlussfolgerungen als Black-Box-Prozess behandelt werden.

Der vorgeschlagene Rahmen zeigte eine konsistente Leistung auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI. Obwohl der Rahmen potenzielle Anwendungen in der intelligenten Mensch-Maschine-Interaktion, der Gesundheitsüberwachung, adaptiven Lernumgebungen und anderen emotionserkennenden Systemen haben könnte, wurde die Methode in der vorliegenden Studie nur unter kontrollierten Benchmark-Bedingungen evaluiert. Es erfolgte keine Echtzeitanwendung, keine Benutzeroberflächenbewertung, kein Usability-Test und keine Evaluation an menschlichen Probanden. Daher bleibt die praktische Wirksamkeit des Rahmens in operationellen Umgebungen noch zu untersuchen. Zukünftige Arbeiten werden sich auf anwendungsorientierte Evaluierungen, nutzerzentrierte Studien, Latenzanalysen, die Bewertung des Speicherverbrauchs sowie die Leistung bei Echtzeitinteraktionen konzentrieren.

Darüber hinaus belegen die Leistungsverbesserungen über verschiedene kulturell und sprachlich vielfältige Datensätze hinweg die Gültigkeit des vorgeschlagenen Frameworks. Im Gegensatz zu früheren Arbeiten, die an einem einzelnen Datensatz oder einem spezifischen Interaktionsszenario validiert wurden, zeigt das vorgeschlagene Framework eine robuste Leistungsfähigkeit über Sprachen, Sprecher und emotionale Ausdrucksformen hinweg. Daher eignet sich das vorgeschlagene Framework besonders gut für praktische intelligente Interaktionssysteme, die eine genaue Emotionserkennung und nachvollziehbare Entscheidungsfindung erfordern.

Die Interpretierbarkeit des vorgeschlagenen Frameworks wurde durch eine visualisierungsbasierte Analyse der erlernten multimodalen Repräsentationen bewertet. Insbesondere latente Emotionseinbettungen, kreuzmodale Aufmerksamkeitskarten, Modali­itätsinteraktionsgraphen und zeitliche Emotionsverläufe wurden untersucht, um Einblicke in den Entscheidungsprozess des Modells und die Beiträge der einzelnen Modalitäten zu gewinnen. Ziel des Visualisierungsmoduls ist es, Transparenz zu erhöhen, indem Wechselwirkungen auf der Merkmalsebene und emotionale Dynamiken beobachtbar gemacht werden. Formale Metriken zur Interpretierbarkeit, Bewertungen der Aufmerksamkeits-Treue sowie Benutzerstudien wurden jedoch in der vorliegenden Arbeit nicht einbezogen. Die berichteten Vorteile hinsichtlich der Interpretierbarkeit sollten daher als visualisierungsbasierte Hinweise verstanden werden und nicht als quantitativ validierte Erklärbarkeitsmaße.

Aus theoretischer Sicht leistet diese Forschung folgende Beiträge zum multimodalen affektiven Computing: Sie schlägt eine systematische Methode zur Modellierung von Emotionen vor, die klar zwischen emotionspezifischen und modalitätsspezifischen Repräsentationen unterscheidet. Indem der vorgeschlagene Ansatz emotionale Konsistenz über Modalitäten hinweg in einem gemeinsamen latenten Raum sicherstellt, trägt er somit zur Theorie des Repräsentationslernens in multimodalen Systemen bei. Die Einbindung graphbasierter Attention-Mechanismen formalisiert zudem die Abhängigkeiten zwischen den verschiedenen Modalitäten bei der Emotionsäußerung weiter.

Aus praktischer Sicht ist das vorgeschlagene Framework für die intelligente Interaktionsgestaltung und emotionssensible Benutzeroberflächen äußerst vorteilhaft. Das visuelle Abbildungsmodul im vorgeschlagenen Framework ermöglicht es Systementwicklern, die Auswirkungen verschiedener Modalitäten auf die Emotionsvorhersage zu verstehen, was für Systementwickler von großer Bedeutung ist. Das vorgeschlagene Framework ist äußerst nützlich für Anwendungen wie affektive Gesprächsagenten, adaptive Lernsysteme, Schnittstellen zur Gesundheitsüberwachung und Plattformen zur Bewertung der Nutzererfahrung.

Der vorgeschlagene Ansatz weist jedoch einige Einschränkungen auf. Die Verwendung von Graph-Attention-Mechanismen und Transformer-Encodern erhöht die Komplexität, was bei Geräten mit begrenzten Kapazitäten problematisch sein könnte. Zudem blendet die vorliegende Studie andere physiologische Signale wie EEG und Eye-Tracking aus, um sich stattdessen auf visuelle, audio- und textbasierte Modalitäten zu konzentrieren. Die rechnerische Effizienz des vorgeschlagenen Frameworks für den Einsatz in Echtzeit wurde nicht spezifisch bewertet, obwohl es eine wettbewerbsfähige Vorhersageleistung und verbesserte Visualisierungsfähigkeiten erzielte. Künftige Untersuchungen werden die Leistung im Einsatz in realen intelligenten Interaktionsszenarien, die Inferenzverzögerung, Durchsatz, Speicherverbrauch sowie Techniken zur Modellkompression analysieren. Um die Genauigkeit der Emotionsmodellierung und die Reaktionsfähigkeit der Interaktion weiter zu verbessern, wird zukünftige Forschung auf die Entwicklung leichtgewichtiger Modelle, Echtzeit-Optimierungsverfahren und die Einbindung zusätzlicher Modalitäten abzielen. Die Leistung bei Echtzeitanwendung wurde nicht evaluiert, und die Verwendung von Transformer-Encodern sowie graphbasierten Attention-Methoden erhöht die rechnerische Komplexität. Zur Validierung der Methodik kamen lediglich die Benchmark-Datensätze CH-SIMS und CMU-MOSEI zum Einsatz, was zu datensatzspezifischen Verzerrungen führen und die Übertragbarkeit auf andere Bereiche, Sprachen und Nutzergruppen einschränken könnte. Außerdem berücksichtigt die aktuelle Studie keine physiologischen Signale wie EEG oder Eye-Tracking-Daten, sondern konzentriert sich ausschließlich auf visuelle, audio- und textuelle Modalitäten. Obwohl detaillierte Beschreibungen der Implementierung und der Simulationsumgebung die Reproduzierbarkeit verbessert haben, sind der Quellcode und vortrainierte Modelle derzeit nicht öffentlich zugänglich.

In dieser Arbeit wird ein neuartiges visuelles Abbildungs-Framework für das multimodale Lernen emotionaler Merkmale zur intelligenten Interaktionsgestaltung verwendet. Die vorgeschlagene Methode integriert eine End-to-End-Repräsentationslernung auf Basis von Transformatoren, eine entkoppelte Emotionsmodellierung sowie eine graphbasierte, multimodale Aufmerksamkeit, um eine hohe Vorhersagegenauigkeit und Interpretierbarkeit zu erreichen. Experimente anhand der Datensätze CH-SIMS und CMU-MOSEI zeigen, dass das vorgeschlagene Framework bei Genauigkeit und F1-Score die derzeit besten multimodalen Modelle zur Emotionserkennung übertrifft. Noch wichtiger ist, dass die vorgeschlagene Lösung zur visuellen Abbildung die Lücke zwischen Emotionserkennung und Interaktionsstrategie schließt und eine neue Richtung für die Entwicklung interpretierbarer, interaktionsbewusster Systeme im Bereich des multimodalen affektiven Rechnens eröffnet.

Um eine interpretierbare, intelligente Interaktionsgestaltung zu unterstützen, wurde in dieser Studie ein neuartiges visuelles Abbildungs-Framework zur Erfassung multimodaler Emotionsmerkmale vorgestellt. Das vorgeschlagene System integriert erfolgreich Emotionserkennung und Interpretierbarkeit in einer einzigen Architektur, indem es transformerbasierte multimodale Merkmalsextraktion, entkoppelte Lernverfahren für Emotionsrepräsentationen, graphbasierte, multimodale Aufmerksamkeitsfusion und visuelle Abbildungsmethoden kombiniert. Neben klaren visuellen Darstellungen der Modalitätsbeiträge, der multimodalen Interaktionen und der zeitlichen Emotionsdynamik zeigte die experimentelle Evaluation auf den Benchmark-Datensätzen CH-SIMS und CMU-MOSEI eine verbesserte Leistung gegenüber repräsentativen Baseline-Verfahren über mehrere Metriken hinweg, darunter Genauigkeit (Accuracy), Präzision (Precision), Sensitivität (Recall), F1-Score und mittlerer absoluter Fehler (Mean Absolute Error, MAE). Allerdings umfasst diese Studie keine Untersuchungen zur realen Anwendung, nutzerzentrierte Evaluierungen, quantitative Bewertungen der Erklärbarkeit oder die Einbindung physiologischer Modalitäten, da sie auf die Evaluation an zwei Benchmark-Datensätzen beschränkt ist. Zudem können Umgebungen mit begrenzten Ressourcen aufgrund der hohen Rechenkosten der Transformer-Encoder und der graphbasierten Aufmerksamkeitsverfahren vor Herausforderungen stehen. Während zukünftige Arbeiten sich auf umfassendere Validierungen über verschiedene Datensätze, die Integration zusätzlicher Modalitäten, Nutzbarkeitsstudien, die reproduzierbare Veröffentlichung von Ressourcen sowie die Optimierung für Echtzeitanwendungsszenarien konzentrieren werden, zeigt das vorgeschlagene Framework insgesamt das Potenzial einer interpretierbaren multimodalen Emotionsanalyse für Anwendungen im Bereich Affective Computing und intelligente Interaktion.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Adam	PyTorch-Optimierer-Bibliothek	https://pytorch-optimizers.readthedocs.io/en/latest/ (Lernrate = 1 × 10-4)	Parameteroptimierung während des Modelltrainings
CH-SIMS	Ursprüngliches Datensatz-Repository	Neueste öffentliche Version	Benchmark-Datensatz zur chinesischen multimodalen Sentiment-/Emotionsanalyse
CMU-MOSEI	CMU Multimodal SDK Repository	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Neueste öffentliche Version)	Benchmark-Datensatz zur multimodalen Sentiment- und Emotionserkennung
Entkoppelter Emotions-Encoder	Eigene Implementierung	https://pytorch-geometric.readthedocs.io/en/latest/(Dualer Encoder-Aufbau)	Trennung von emotions- und modalitätsspezifischen latenten Repräsentationen
Graphbasierte multimodale Aufmerksamkeitsschicht	Eigene Implementierung	Mehrfache Aufmerksamkeitsfusion	Lernen feingranularer emotionaler Abhängigkeiten zwischen Modalitäten
Graph Attention Network (GAT)	PyTorch Geometric	Mehrfacher GAT (https://pytorch-geometric.readthedocs.io/en/latest/)	Modellierung von cross-modalen emotionalen Beziehungen und adaptiver Merkmalsfusion
Matplotlib	Matplotlib-Projekt	3.7+	Erstellung von Diagrammen und visuellen Analysen
NetworkX	NetworkX-Projekt	3.0+	Erstellung und Visualisierung von cross-modalen Interaktionsgraphen
NVIDIA-GPU	NVIDIA Corporation	CUDA-fähige GPU	Beschleunigung des Trainings von Transformer- und graphbasierten neuronalen Netzen
Prinzipale Komponentenanalyse (PCA)	Scikit-learn	sklearn.decomposition.PCA	Anfängliche Reduktion hochdimensionaler Emotions-Embeddings
Python	Python Software Foundation	3.8+	Zentrale Programmiersprache zur Implementierung des multimodalen Emotionsanalyse-Frameworks
PyTorch	PyTorch Foundation	2.0+	Entwicklung, Training und Optimierung tiefer neuronaler Netze
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, 768-dim Embeddings)	Extraktion kontextueller linguistischer und semantischer Emotionsrepräsentationen
Seaborn	Seaborn-Projekt	0.12+	Erstellung von Aufmerksamkeits-Heatmaps und statistischen Visualisierungen
t-verteilte stochastische Nachbarn-Einbettung (t-SNE)	Scikit-learn	scikit-learn.org (Perplexität = 30, Iterationen = 1000)	Visualisierung latenter Emotionscluster und -verläufe
Ubuntu Linux	Canonical Ubuntu	20.04 LTS oder neuer	Experimentelle Ausführungsumgebung
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, 768-dim Embeddings	Extraktion emotionsbezogener visueller Repräsentationen aus Videobildern
Wav2Vec 2.0	Meta AI Research	Basis-Modell, 768-dim Embeddings	Extraktion kontextueller akustischer und sprachlicher Emotionsmerkmale