Visuele mapping van multimodale emotiekenmerken voor intelligent interactieontwerp

Samenvatting

Het werk stelt een end-to-end multimodaal raamwerk voor voor emotieanalyse dat gebruikmaakt van transformer-encoders, ontkoppelde emotierepresentaties en grafiekgebaseerde cross-modale aandacht met visuele mapping om de nauwkeurigheid van emotieherkenning over twee datasets te verbeteren.

Samenvatting

Door machines in staat te stellen menselijke affectieve toestanden te begrijpen, te interpreteren en daarop te reageren, is de visuele mapping van multimodale emotiekenmerken essentieel voor het ontwerp van intelligente interfaces. Desondanks richten huidige algoritmen voor multimodale emotiedetectie zich primair op predictieve prestaties, waardoor er weinig inzicht wordt geboden in interpreteerbaarheid, interactiebewustzijn of cross-modale interacties op kenmerkniveau. Dit werk introduceerde een raamwerk voor de visuele mapping van multimodale emotieaspecten dat interactiegeoriënteerde visualisatie, interpreteerbaar representatieleerproces en emotiepredictie combineert. Zonder gebruik te maken van handmatig gecreëerde kenmerken, werden transformer-gebaseerde encoders gebruikt om hoogwaardige emotie-embeddings uit tekstuele, audio- en visuele modaliteiten te extraheren. Om de robuustheid te verbeteren, werden emotiespecifieke en modaliteitsspecifieke informatie gescheiden met behulp van een techniek voor ontkoppeld representatieleerproces. Daarnaast werd een grafiekgebaseerd cross-modaal attentienetwerk ontwikkeld om adaptieve attentieweging te gebruiken voor het simuleren van subtiele emotionele relaties tussen modaliteiten. Er werd een multi-view visuele mapping-module ontwikkeld om temporele emotietrajecten, cross-modale attentieverdelingen en latente emotie-embeddings weer te geven om de transparantie te verhogen. De Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) dataset en de Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS) werden gebruikt om het voorgestelde raamwerk te evalueren. Volgens de experimentele resultaten bood het voorgestelde raamwerk een verbeterde interpreteerbaarheid op kenmerkniveau en interactiebewuste visualisatie, terwijl het consistent beter presteerde dan representatieve baseline-technieken op het gebied van nauwkeurigheid, F1-score, correlatie en gemiddelde absolute fout. Bovendien faciliteerde de visuele mapping-module de kwalitatieve interpretatie van multimodale emotierepresentaties, cross-modale interacties en temporele emotiedynamiek, wat interactiebewuste visualisatie en analyse ondersteunde.

Inleiding

Het vermogen om menselijke sentimenten correct te identificeren en te begrijpen is cruciaal geworden voor het verbeteren van de interactie tussen mens en machine. Naast dat het essentieel is voor het verbeteren van de mens-computerinteractie, heeft emotieanalyse het potentieel om een reeks vakgebieden te revolutioneren, waaronder pre-diagnostische medische diagnostiek¹, gedragsanalyse in het klaslokaal², psychologische monitoring van patiënten³, vermoeidheidsdetectie in voertuigen⁴ en intelligent beheer in smart home-omgevingen⁵. Recente ontwikkelingen in affective computing en deep learning⁶ hebben de interesse vergroot in het creëren van real-time systemen die de complexiteit van menselijke emoties kunnen vastleggen.

Veel huidige methoden vertrouwen hoofdzakelijk op unimodale gegevens, zoals tekstuele, grafische of auditieve signalen^7,8,9. Deze benaderingen schieten herhaaldelijk tekort bij het detecteren van subtiele signalen, zoals sarcasme of contextspecifieke nuances. Onderzoek is verschoven naar multimodale emotie-evaluatie, waarbij complementaire gegevens uit meerdere bronnen worden geïntegreerd om deze beperkingen te overwinnen^10,11,12. De voordelen van het samenvoegen van meerdere modaliteiten zijn aangetoond door basismodellen zoals early fusion-long short-term memory (EF-LSTM)13, light and FM deep neural networks (LF-DNN)¹⁴, tensor fusion networks (TFN) en low-rank multimodale fusiebenaderingen. De meeste van deze benaderingen vertrouwen echter op offline kenmerkgeneratie en zijn niet geschikt voor dynamische situaties in de echte wereld.

Om rekening te houden met emotionele toestanden, zijn onderzoek en toepassingen voor multimodale emotie-identificatie de afgelopen tien jaar gegroeid¹⁵. Een van de meest uitdagende en significante onderzoeksgebieden van dit moment is de continue monitoring van emotionele toestanden met behulp van diverse gegevensbronnen¹⁶. Het concept van multimodaliteit ontstond heel natuurlijk met de opkomst van een dergelijk gevarieerd kennissysteem, en dit heeft geleid tot vele vorderingen in de toepassing van emoties binnen domeinen zoals affectieve informatica, mens-computerinteractie (HCI), leren, videogames, consumentenservice, medische zorg, evaluatie van de gebruikerservaring (UX), enz. Het is echter niet altijd eenvoudig geweest om emotieherkenningstechnieken toe te passen bij UX-evaluaties.

Een van de belangrijkste redenen om zich te richten op multimodale herkenning in plaats van unimodale methoden is het inherente nadeel van het vertrouwen op een enkele informatiebron. Unimodale systemen voor emotiedetectie kunnen een lagere nauwkeurigheid vertonen door ontbrekende of onduidelijke gegevens, terwijl MER-schema's betrouwbaarder zijn en een vollediger en grondiger begrip van expressieve toestanden bieden door meerdere gegevensbronnen te integreren¹⁷. Zo is gezichtstaal alleen mogelijk niet voldoende om gevoelens nauwkeurig te classificeren, vooral wanneer de gebaren complex of onduidelijk zijn. Het combineren van gezichtsuitdrukkingen met andere vormen van communicatie, zoals taal of fysieke aanwijzingen, kan echter de nauwkeurigheid van de herkenning van gevoelens verhogen.

Er is uitgebreid onderzoek gedaan naar emotieherkenning via verschillende modaliteiten. Vroege studies richtten zich op het identificeren van onderscheidende kenmerken uit verschillende modaliteiten, zoals grafische, akoestische of tekstgebaseerde input. Hoewel het steeds duidelijker wordt dat de integratie van diverse modaliteiten gebalanceerde emotionele informatie kan bieden, wat leidt tot een betrouwbaardere en nauwkeurigere detectie van sentiment. Dit segment bespreekt de belangrijkste vorderingen in enkelvoudige en multimodale emotieanalyse, met de nadruk op basisbenaderingen, hun tekortkomingen en de rationale voor onze methode.

Het initiële onderzoek naar emotieherkenning richtte zich hoofdzakelijk op een enkele modaliteit. Op het visuele gebied leidde baanbrekend onderzoek tot de categorisering van prototypische gezichtsbewegingen²⁰. Latere ontwikkelingen omvatten technieken voor het vastleggen van temporele dynamiek, zoals visuele beweging²¹ en hidden Markov-modellen²², terwijl gezichtsreacties werden onderverdeeld in actie-eenheden met behulp van het Facial Action Coding System (FACS)²³. LSTMs en convolutionele neurale netwerken (CNN's) zijn succesvol ingezet om betekenisvolle kenmerken rechtstreeks uit ruwe audiosignalen te extraheren; methodologieën voor audio-gebaseerde emotie-identificatie zijn geëvolueerd van conventionele signaalverwerking naar deep learning²⁴. De extractie van contextuele sentimentsignalen bij tekstgebaseerde emotieanalyse is sterk verbeterd door recurrente neurale netwerken (RNN's) met attention-mechanismen en, recenter, door transformer-gebaseerde modellen. Ondanks hun prestaties zijn unimodale technieken intrinsiek niet in staat om de complexiteit van menselijke ervaringen nauwkeurig weer te geven, omdat ze de aanvullende informatie missen die in andere modaliteiten aanwezig is.

Enkele modellen op basis van attention-mechanismen, zoals het DialogXL-model25, werden in 2021 voorgesteld om omgevingsgegevens op langere termijn te verzamelen op het gebied van sentimentidentificatie in gesprekken. Kim et al.²⁶ introduceerden in 2021 het EmoBERTa-model om de nauwkeurigheid van ERC te verhogen. Dit model maakt gebruik van sprekergegevens om de kenmerken van sprekers in gesprekken en hun interacties met elkaar te verbeteren. In 2022 presenteerden Li et al.²⁷ de CoG-BART-methode. Deze organisatie maakt gebruik van supervised contrastive learning om het vermogen van het model om relevante gegevens te interpreteren te verbeteren. Er moet worden opgemerkt dat supervised learning een aanzienlijke hoeveelheid gelabelde gegevens vereist.

Een typisch voorbeeld van dergelijk werk is het Multimodal Interaction-Aware Representation (MIAR) framework²⁸, dat feature-interactietokens en contrastieve uitlijning gebruikt om de generalisatie over modaliteiten te verbeteren. MIAR verbetert de modaliteitsuitlijning en behaalt sterke prestaties over meerdere datasets; het richt zich echter primair op voorspellende nauwkeurigheid zonder visuele mapping te adresseren. Op soortgelijke wijze legt het Cross-Attentional Audio-Visual Fusion model²⁹ effectief fijnmazige audio-visuele interacties vast voor de voorspelling van valentie en arousal, maar is beperkt tot twee modaliteiten en mist visualisatiemogelijkheden. Temporele modelleringsbenaderingen gebaseerd op LSTM-netwerken en autoencoder-fusie leggen de temporele dynamiek van emoties succesvol vast, maar bieden beperkt inzicht in modaliteitsinteracties en de geleerde emotionele representaties. Recentelijk hebben transformer-gebaseerde methoden, zoals het Transformer-based Multimodal Fusion Network (TMFN)³⁰, sterke prestaties aangetoond op CMU-MOSI en CMU-MOSEI via verbeterde multimodale fusie en contrastief leren. Desalniettemin blijven deze benaderingen primair prestatiegedreven en bieden ze beperkte ondersteuning voor uitlegbaarheid, interpretatie op feature-niveau en interactiegeoriënteerde visualisatie.

Om de integratie van tekstuele, akoestische en visuele gegevens te verbeteren, zijn verschillende multimodal emotion recognition-technieken voorgesteld. Hoewel vroege fusion-technieken zoals EF-LSTM en LF-DNN niet in staat waren om complexe cross-modale interacties vast te leggen, toonden zij wel de voordelen aan van het gebruik van multimodale informatie voor sentiment- en emotieanalyse. Hoewel de TFN de prestaties op benchmark-datasets zoals CMU-MOSI en CMU-MOSEI verbeterde en expliciete modellering van inter-modale interacties introduceerde, belemmerden de beperkte interpreteerbaarheid en de hoge computationele complexiteit het nut ervan. Om de modaliteitsuitlijning en dynamische feature-fusie te verbeteren, hebben modernere technieken zoals MIAR, cross-attentional fusion-modellen, TMFN en adaptieve multimodale transformers gebruikgemaakt van transformer-topologieën en attention-mechanismen. Deze methoden richtten zich primair op de predictieve prestaties en boden weinig inzicht in emotionele representaties op feature-niveau en cross-modale afhankelijkheden, ondanks het behalen van concurrerende resultaten op gangbare evaluatiemetrieken zoals nauwkeurigheid, F1-score en de gemiddelde absolute fout. Bovendien hebben weinig studies visualisatietechnieken ontwikkeld die latente emotie-embeddings, attention-distributies en temporele emotiedynamiek kunnen onthullen, of hebben zij grafiekgebaseerde modellering van inter-modale interacties geïntegreerd. De voorgestelde aanpak incorporeert multi-view visuele mapping, grafiekgebaseerde cross-modale attention-fusie en disentangled representation learning om deze tekortkomingen te overwinnen en de prestaties van multimodal emotion recognition te verbeteren.

Op soortige wijze stelt de Adaptive Multimodal Transformer³² uitwisselingsgebaseerde fusie voor om adaptief ruisgevoelige of ontbrekende modale informatie te beperken, waardoor de prestaties van de sentimentclassificatie worden verbeterd. Hoewel deze aanpak discrepanties in de distributie van modale informatie effectief kan aanpakken, is het ontwerp taakspecifiek voor sentimentanalyse en biedt het beperkt inzicht in de geleerde emotionele representaties. Een andere belangrijke bijdrage is het Multimodal Fusion Model³³, dat CNN's, multiplicatieve LSTM's en transformer-gebaseerde attention integreert voor real-time multimodale emotieherkenning. Het model voert een volledige fusie uit op video-, audio- en tekstmodaliteiten en vertoont robuuste herkenningsprestaties. Desalniettemin richt het zich, net als andere bestaande modellen, primair op de voorspellende nauwkeurigheid en mist het expliciete kenmerken voor visualisatie en interactie-georiënteerde interpreteerbaarheid.

Concluderend kan worden gesteld dat, hoewel de huidige state-of-the-art benaderingen voor multimodale emotieherkenning aanzienlijk succes hebben geboekt bij het vastleggen van cross-modale interacties en het verbeteren van de voorspellingsnauwkeurigheid, de meeste hiervan gericht zijn op herkenninggestuurde taken. Er is weinig aandacht besteed aan de gebieden van interpreteerbaarheid op kenmerkniveau, het visualiseren van emotionele representaties in de beeldruimte en het integreren van het voorgestelde raamwerk voor intelligent interactieontwerp. Met deze uitdagingen in gedachten is het voorgestelde raamwerk geïntroduceerd.

De meeste huidige methoden richten zich primair op het verbeteren van de predictieve prestaties, terwijl ze weinig interpreteerbaarheid bieden van de geleerde emotionele representaties en cross-modale interacties, ondanks aanzienlijke vooruitgang in multimodale emotieherkenning^28,29. Complexe interacties tussen tekstuele, akoestische en visuele modaliteiten zijn vaak moeilijk te modelleren voor huidige fusiestrategieën, vooral wanneer er sprake is van modaliteitsverschillen en informatiegebrek ^28,31. Hoewel transformer-gebaseerde ontwerpen en aandachtmechanismen het representatieleerproces hebben verbeterd, worden hun transparantie en interpreteerbaarheid vaak beperkt door het gebrek aan een expliciete scheiding tussen emotiespecifieke en modaliteitsspecifieke informatie^31,32,33. Daarnaast hebben slechts enkele studies onderzoek gedaan naar grafiekgebaseerde modellering van intermodale interacties of visualisatiekaders ontwikkeld die temporele emotiedynamiek, aandachtverdelingen en emotie-embeddings kunnen onthullen. Deze tekortkomingen tonen de noodzaak aan van een interpreteerbaar multimodaal raamwerk voor intelligente mens-machine-interactie dat interactiegeoriënteerde visuele mapping combineert met krachtig cross-modaal leren.

Dit werk presenteert een interpreteerbaar raamwerk voor de visuele mapping van multimodale emotieaspecten in het ontwerp van intelligente interfaces. Zonder de noodzaak van handmatig gecreëerde kenmerken maakt het systeem gebruik van end-to-end deep learning om hoogwaardige emotionele representaties te extraheren uit tekstuele, audio- en visuele modaliteiten. Cross-modale emotionele interacties worden gemodelleerd met behulp van een grafiekgebaseerd attention-fusie-mechanisme dat emotie-specifieke en modaliteits-specifieke informatie scheidt, waardoor ontward representatieleer mogelijk wordt en de interpreteerbaarheid en robuustheid verbeteren. Daarnaast is er een multi-view visualisatiemodule ontwikkeld om temporele emotiedynamiek, cross-modale attention-patronen en emotie-embeddings weer te geven. De effectiviteit en geschiktheid van het voorgestelde raamwerk in intelligente mens-machine interactiesystemen worden geëvalueerd via validatie op benchmark-datasets voor multimodale emotieherkenning.

Dit werk biedt een uniek raamwerk voor de visuele mapping van multimodale emotieaspecten dat verder gaat dan traditionele voorspellingsgerichte benaderingen om de gebrekkige modellering van cross-modale interacties en de beperkte interpreteerbaarheid in huidige multimodale emotie-identificatiesystemen te overwinnen. Binnen een enkele architectuur combineert de voorgestelde benadering transformer-gebaseerd multimodaal representatie-leren, ontklitte emotie-bewuste feature-modellering, graafgebaseerde cross-modale attention-fusie en interactiegeoriënteerde visualisatie. Het raamwerk scheidt emotiespecifieke en modaliteitsspecifieke representaties duidelijk om de interpreteerbaarheid, robuustheid en cross-modale consistentie te verbeteren, in tegenstelling tot huidige benaderingen die zich voornamelijk concentreren op classificatieprestaties. Daarnaast wordt een graafgebaseerd attention-mechanisme gepresenteerd om adaptieve modellering van inter-modale interacties mogelijk te maken door fijnmazige emotionele interafhankelijkheid tussen tekstuele, audio- en visuele modaliteiten vast te leggen. Er is een multi-view visuele mapping-module ontwikkeld om de transparantie te vergroten door temporele emotietrajecten, cross-modale attention-patronen en latente emotie-embeddings te onthullen, die intuïtieve inzichten bieden in het besluitvormingsproces van het model. Naast het bieden van verbeterde visualisatie en interpreteerbaarheid van multimodale emotionele dynamiek, toonde experimentele evaluatie op de CH-SIMS en CMU-MOSEI benchmark-datasets concurrerende prestaties in termen van nauwkeurigheid, F1-score, gemiddelde absolute fout en correlatie.

Protocol

Het voorgestelde werk beoogt het ontwerp van intelligente interactie te verbeteren door een interpreteerbaar raamwerk aan te bieden voor de visuele mapping van multimodale emotiekenmerken. In dit werk zijn de publiek toegankelijke databanken CH-SIMS en CMU-MOSEI gebruikt. Beide datasets zijn verkregen uit hun officiële bronnen en zijn gebruikt in overeenstemming met de gebruiksrichtlijnen, onderzoekstandaarden en licentievoorwaarden die door hun respectievelijke makers zijn vastgesteld. De multimodale inhoud van de datasets, waaronder tekst-, audio- en videgegevens, is eerst verzameld en geannoteerd door de datasetleveranciers in overeenstemming met hun geautoriseerde deelnemersvergunningen en protocollen voor gegevensverzameling. Er was in deze studie geen sprake van directe menselijke interactie, geen werving van nieuwe deelnemers en geen verzameling van persoonlijk identificeerbare informatie. Elke analyse is uitgevoerd met gebruik van publiek beschikbare onderzoeksdatasets. Bijgevolg vereiste onze secundaire data-analyse geen verdere ethische goedkeuring of toetsing door een Institutional Review Board (IRB). De studie is uitgevoerd in overeenstemming met de toepasselijke institutionele normen die het gebruik van publiek beschikbare datasets, ethische onderzoeksprocedures en geldende richtlijnen voor datagebruik reguleren.

Een grafiekgebaseerd cross-modaal aandachtmechanisme werd ingezet om emotiekarakterisaties over modaliteiten heen te leren, waarbij emotie- of modaliteitsspecifieke kenmerken werden gebruikt om het begrip te verbeteren. Een component voor multi-view visuele mapping wordt gebruikt om real-time emotiebewust interactief ontwerp te verbeteren, en de efficiëntie hiervan wordt geschat voor emotieherkenning. De resultaten tonen aan dat de voorgestelde methode zowel de interpreteerbaarheid als de efficiëntie verbetert voor emotiebewuste intelligente gebruikersinterfaces in de echte wereld. Figuur 1 toont de architecturale workflow van het voorgestelde werk. Figuur 1 toont de volledige workflow van het voorgestelde visuele mapping-raamwerk voor multimodale emotiekenmerk-learning in de context van intelligente interactiesystemen. De workflow begint met drie gesynchroniseerde inputmodaliteiten, namelijk tekst, audio en video, die respectievelijk complementaire emotionele informatie vastleggen uit de linguïstische, prosodische en gelaatsuitdrukkingsmodaliteiten. Een modaliteitsspecifieke transformer-encoder verwerkt elke modaliteit om hoogwaardige representaties van de ruwe inputgegevens te verkrijgen. De representaties worden vervolgens ingevoerd in een module voor ontkoppeld representatie-learning, waar de emotiespecifieke embeddings worden ontkoppeld van de modaliteitsspecifieke kenmerken om consistentie in de geleerde emoties over heterogene gegevensbronnen te waarborgen. De emotiespecifieke embeddings van elke modaliteit worden vervolgens samengevoegd door een grafiekgebaseerd cross-modaal attentienetwerk, dat de intermodale emotionele afhankelijkheden modelleert en dynamische belangrijkheidgewichten aan elke modaliteit toewijst op basis van de interactiecontext. Ten slotte biedt het raamwerk zowel emotieclassificatie-outputs als interactie-inzichten, wat transparante emotiebewuste besluitvorming en adaptief intelligent interactie-ontwerp faciliteert.

Multimodale gegevensverwerving

De CH-SIMS- en CMU-MOSEI-datasets zijn twee bestaande multimodale datasets in het publieke domein waarin multimodale informatie is verzameld, zoals gesynchroniseerde video, audio en tekst. De CH-SIMS-dataset bestaat uit multimodale onderzoeken van Chinese personen, inclusief 2.281 videosegmenten, afgeleid van meerdere videosegmenten uit films, televisieseries en varietéshows. Studies naar de multimodale analyse van emoties met behulp van multimodale data worden aantrekkelijker en haalbaarder door de toevoeging van bijbehorende audio en tekst aan deze videosegmenten. Een van de grootste multimodale datasets voor het onderzoek naar opinies, gevoelens en emoties is daarentegen de CMU-MOSEI-dataset, die is samengesteld uit meer dan 23.000 videoclips van zinnen uitgesproken door meer dan 1.000 sprekers over uiteenlopende onderwerpen. De dataset is willekeurig verdeeld in subsets voor training (70%), validatie (15%) en testen (15%), waarbij de klassendistributie is behouden.

Tekstuele transcripties, audiosignalen en videoframes worden verkregen en via tijdstempels uitgelijnd om op een fijnmazig temporeel niveau overeen te komen. Integratie op frameniveau zorgt ervoor dat de voorgestelde mechanismen voor representatie-leren en graafgebaseerde fusie gezamenlijk emotionele inhoud uit visuele expressies, vocale tonen en linguïstische inhoud kunnen modelleren en benutten. Effectieve extractie van intermodale emotionele dynamiek wordt mogelijk gemaakt door dit type multimodale acquisitietechniek, wat essentieel is voor het ontwerp van intelligente interactie en begrijpelijke visuele mapping.

Tabel 1 presenteert de belangrijkste structuren van de multimodale emotiedatasets die zijn gebruikt in de voorgestelde methode. Om een breder scala aan gerelateerde gevoelens te verkrijgen, zoals gesproken woorden, stemintonaties en gezichtsuitdrukkingen, integreren CH-SIMS en CMU-MOSEI video-, audio- en tekstmodaliteiten uit deze datasets. Bovendien is er in CH-SIMS een beperkt aantal dataprofielen beschikbaar, wat een grondige analyse van modaliteitsinteracties en emotievariatie in China mogelijk maakt. Aan de andere kant is de CMU-MOSEI-dataset belangrijker voor het evalueren van de robuustheid van het representation learning en de bijbehorende visualisatiealgoritmen die in dit werk worden behandeld, aangezien deze een grote hoeveelheid gegevens bevat over verschillende talen, onderwerpen en geannoteerde emotieniveaus. Daarnaast vermindert het, in vergelijking met eerder onderzoek, de moeilijkheden bij het selecteren van informatie tijdens het testen van modellen.

Multimodale preprocessing en synchronisatie

De tijdstempel-annotaties van de CH-SIMS- en CMU-MOSEI-datasets werden gebruikt om tekstuele, auditieve en visuele modaliteiten te synchroniseren, waardoor consistent multimodal representatieleerproces werd gewaarborgd. Elke uiting fungeerde als de fundamentele analyse-eenheid en werd gekoppeld aan overeenkomstige audio- en videosegmenten binnen hetzelfde tijdsinterval. De uitlijning werd op het niveau van de uiting uitgevoerd. Het transcript werd onderverdeeld in segmenten op basis van de start- en eindtijdstempels van elke uiting. De correspondentie tussen transcript, audio en beeld werd vastgesteld door de overeenkomstige videoframes en audiosignalen te extraheren die binnen hetzelfde tijdsinterval vielen. Terwijl audiosegmenten werden verwerkt met Wav2Vec 2.0 om akoestische representaties te produceren, werden visuele frames uit het videosegment bemonsterd met een vooraf vastgestelde frequentie en gecodeerd met de Vision Transformer (ViT). De RoBERTa-encoder werd gebruikt om tekstuele embeddings te genereren uit de transcripten van de uitingen. Temporele synchronisatie werd bereikt door alle modaliteitskenmerken uit te lijnen op één uitingsgrens, aangezien de drie modaliteiten kenmerksequenties van variërende lengtes produceerden. Er werd gebruikgemaakt van een formaat met een vaste lengte om sequenties van variërende lengtes te normaliseren. Langere sequenties werden ingekort tot de maximaal toegestane sequentielengte, terwijl kortere sequenties werden aangevuld met nulwaarden (zero-padding). Tijdens de training werden attention masks gebruikt om aangevulde elementen te scheiden van legitieme kenmerkposities. Modaliteitsspecifieke embeddings werden geprojecteerd in een gemeenschappelijke latente ruimte vóór de fusie om de verschillende sequentielengtes over de modaliteiten heen te overbruggen. Dit garandeerde dimensionale consistentie en stelde het op grafen gebaseerde attention-mechanisme in staat om succesvol cross-modaal interactie-leren te faciliteren. Om de datakwaliteit en de integriteit van de synchronisatie te waarborgen, werden monsters met corrupte bestanden, ontbrekende annotaties of onvolledige modaliteitsinformatie uitgesloten van de studies.

Kenmerkextractie op basis van Transformers

Een deep learning-methode wordt gebruikt om op een end-to-end manier hoogwaardige, emotiebewuste kenmerkrepresentaties te leren uit informatie over meerdere modaliteiten, zoals beeld, audio en tekst, nadat de multimodale gegevens zijn uitgelijnd en de benodigde voorbewerking is uitgevoerd. Door een transformer-encoder te gebruiken om intrinsiek discriminerende kenmerkrepresentaties uit ruwe multimodale gegevens te leren, elimineert de voorgestelde methode de noodzaak voor feature engineering. Om consistentie te bevorderen tussen de datasets die in de voorgestelde aanpak worden gebruikt, wordt voor elke modaliteit een embedding van vaste grootte geleerd. Zo worden er 768-dimensionale kenmerkembeddings geleerd voor elk van de individuele modaliteiten, waaronder de beeld-, audio- en tekstmodaliteiten, die gezamenlijk een uniforme kenmerkruimte vormen die in de gehele aanpak wordt gebruikt; in het bijzonder een methode voor kenmerkextractie die wordt toegepast op zowel de voorgestelde CH-SIMS-dataset als de CMU-MOSEI-dataset om hoogwaardige kenmerken te leren uit gegevens van verschillende groottes.

Visuele modaliteit: Vision transformer voor emotiegevoelige frame-embeddings

Een Vision Transformer (ViT-Base) model werd gebruikt om visuele informatie uit videoframes te extraheren om emotie-relevante ruimtelijke representaties te verkrijgen. Voordat de kenmerken werden geëxtraheerd, werden de frames van elk videosegment geschaald naar (224 × 224) pixels en bemonsterd met regelmatige tijdsintervallen. Met een patch-grootte van 16 × 16 pixels produceert de ViT-Base architectuur een reeks visuele tokens die worden verwerkt door 12 transformer-encoderlagen. De verkregen representaties op frameniveau werden geprojecteerd in een 768-dimensionale embedding-ruimte met behulp van een vooraf getraind ViT-model als visuele backbone. De embeddings op frameniveau werden geaggregeerd via mean pooling om de uiteindelijke visuele representatie voor elk segment te creëren. Tijdens de training werden beeldnormalisatie en gangbare augmentatiemethoden, zoals random cropping en horizontaal spiegelen, gebruikt om de generalisatie te verbeteren. Het voorgestelde multimodale fusieraamwerk werd vervolgens gebruikt om deze visuele embeddings te combineren met tekstuele en auditieve representaties.

Om de temporele dynamiek in emoties te behouden, worden videovoorbeelden uit de CH-SIMS- en CMU-MOSEI-datasets uniform gesampled voor de visuele modaliteit. De frames van elke video, , kunnen worden opgesplitst in N secties van vaste grootte, die vervolgens worden afgeplat en invers worden overgedragen naar een latente embeddingruimte met dimensie . Er wordt een reeks gecreëerd door positionele embeddings en een leerbaar groeperingstoken toe te voegen:

   (1)

waarbij  staat voor de positionele codering en  de patch-embeddingmatrix is.

Gestapelde transformer-encoderlagen, bestaande uit feed-forward netwerken en multi-head self-attention, worden gebruikt om de ingebedde patchsequentie te verwerken. De transformatie op laag l wordt beschreven als:

   (2)

   (3)

Om de emotiebewuste visuele kenmerkvector te verkrijgen, wordt de output die gelijk is aan de class token geëxtraheerd als de kenmerkvector . Om consistente visuele emotie-representaties te realiseren ondanks verschillen in taal en inhoud over datasets heen, worden frame-level embeddings van elk videosegment gecombineerd om gezichtsuitdrukkingen en de evolutie van emoties vast te leggen.

Audiomodaliteit met behulp van Wav2Vec 2.0 voor prosodie en semantische akoestische embeddings Contextuele spraak-embeddings werden gegenereerd met een vooraf getrainde Wav2Vec 2.0-encoder als akoestische basis. Een akoestische kenmerkvector met een vaste lengte voor elke zin werd verkregen door de output van de hidden representations te aggregeren middels mean pooling. Het Wav2Vec 2.0-model werd gebruikt om akoestische representaties uit audiosignalen te extraheren om contextuele en emotie-relevante spraakkenmerken vast te leggen. Vóór de kenmerkextractie werden de audio-opnamen genormaliseerd en opnieuw bemonsterd naar 16 kHz. Om synchronisatie tussen de tekstuele en visuele modaliteiten te waarborgen, werd elk audiofragment op uitingniveau geïsoleerd met behulp van de tijdstempelgrenzen uit de annotaties van de dataset. De vooraf getrainde akoestische encoder werd tijdens de modeltraining aangepast om taakspecifieke adaptatie te verbeteren, waardoor de afgeleide representaties de emotionele aspecten van de spraaksignalen nauwkeuriger konden weergeven. Vervolgens werden grafiekgebaseerde cross-modale attention-fusie en disentangled representation learning uitgevoerd met behulp van de uiteindelijke audio-embeddings.

In de audiomodaliteit wordt Wav2Vec-2.0 gebruikt om spraaksignalen te modelleren die zijn afgeleid van de initiële spraakinformatie in de CH-SIMS- en CMU-MOSEI-datasets, waarbij audio-kenmerken die gerelateerd zijn aan emotie direct worden geëxtraheerd. Voor elk invoerspraaksignaal bestaat er een convolutionele kenkeencodering :

   (4)

waarbij Z staat voor prosodische kenmerken op laag niveau, zoals melodie, toon en energie. Een contextnetwerk op basis van een transformer is nuttig voor de bovengenoemde structuren en representeert tijdgebaseerde afhankelijkheden over lange afstand:

   (5)

Prosodische en semantische akoestische gegevens, die essentieel zijn voor het uitdrukken van emoties, zijn opgenomen in deze contextuele akoestische representaties. Een audio-embedding van een specifieke lengte wordt gecreëerd door middel van een temporele pooling-procedure:

   (6)

Het ontwerp vermijdt het gebruik van akoestische kenmerken zoals MFCC's en bereikt robuustheid door simpelweg representaties uit golfvormen te extraheren, gebruikmakend van Engelse spraakgegevens van CMU-MOSEI en Chinese spraakgegevens van CH-SIMS.

Tekstmodaliteit met behulp van RoBERTa voor contextuele emotie-embeddings

Voor de tekstuele modaliteit is de deep bidirectional transformer, RoBERTa, toegepast op de spraaktranscripten van de twee datasets om contextuele semantiek en affectieve betekenis te genereren. RoBERTa-gebaseerde transformer-encoders werden gebruikt om tekstuele representaties uit de transcriptgegevens te extraheren, zodat contextuele semantische en emotionele informatie kon worden vastgelegd. Een vooraf getraind RoBERTa-model werd gebruikt voor de Engelstalige CMU-MOSEI-dataset, terwijl een Chinese RoBERTa-variant werd gebruikt voor de Chinese CH-SIMS-dataset om beter rekening te houden met taal-specifieke linguïstische kenmerken. De tekstvoorverwerking omvatte tokenisatie met behulp van de bijbehorende RoBERTa-tokenizer voor elke taal en tekstnormalisatie. Om consistente batchverwerking te waarborgen, werden inputsequenties omgezet in token-embeddings en vervolgens aangevuld of ingekort tot een vooraf bepaalde maximale sequentielengte. In overeenstemming met het RoBERTa-inputformaat werden speciale classificatie- en scheidingstokens geïntroduceerd. Een tekstuele embedding met een vaste lengte werd verkregen door de gecontextualiseerde token-representaties die door de transformer-encoder waren gegenereerd, te aggregeren met behulp van de uiteindelijke [CLS]-equivalente zinrepresentatie. Om de geleerde representaties aan te passen aan de taak van emotieherkenning, werden de vooraf getrainde RoBERTa-encoders verfijnd via multimodale training. Het voorgestelde multimodale fusieraamwerk werd vervolgens gebruikt om de tekstuele embeddings te versmelten met de audio- en visuele kenmerken.

De token-embeddings en positionele coderingen kunnen voor elke getokeniseerde invoer worden gecombineerd, , om de invoerrepresentatie te creëren in de diepe bidirectionele transformatietechniek die bekend staat als

   (7)

Deze vorm wordt weergegeven via de lagen van de L-transformer, die self-attention gebruikt om de contextuele afhankelijkheden tussen woorden te ontdekken:

  (8)

De contextuele emotie-embedding wordt verkregen met behulp van de uiteindelijke verborgen toestand van het classificatietoken:

   (9)

Sentimentpolariteit, intense emoties en bijbehorende implicaties zijn voorbeelden van emotiegerelateerde linguïstische kenmerken die door deze embedding zullen worden weergegeven. RoBERTa maakt taalagnostische modellering eenvoudiger. Hierdoor kan het systeem dezelfde embedding-grootte gebruiken voor zowel Engelse teksten uit de CMU-MOSEI-dataset als Chinese teksten uit de CH-SIMS-dataset.

Drie modaliteitspecifieke kenmerkvectoren van 768 dimensies, respectievelijk voor de visuele f_v, audio f_a en tekstuele f_t modaliteiten, worden geëxtraheerd via de voorgestelde stap voor diepe kenmerkrepresentatie-learning. In het ontwerp van de intelligente interactie vormen deze geleerde representaties een uniforme multimodale kenmerkruimte die dient als basis voor visuele mapping op kenmerkniveau, grafiekgebaseerde cross-modale fusie en ontwarde representatie-learning.

Ontvlecht representatie-leren

Na het aanleren van een diepe kenmerkrepresentatie kan aanvullende verwerking van de multimodale kenmerkvectoren uit de visuele, auditieve en tekstuele modaliteiten leiden tot een gescheiden emotiebeschrijving. Indien de modaliteitspecifieke kenmerkembeddings van de auditieve, visuele en tekstuele modaliteiten die in de vorige stap zijn gebruikt worden weergegeven als f_v, f_a en f_t, respectievelijk, zodanig dat  en , is het doel van deze stap om alle modaliteitskenmerken te factoriseren in twee verschillende latente weergaven, welke de emotieweergaven omvatten na rekening te hebben gehouden met de eerdere semantiek van elk van de verschillende modaliteiten.

Dit wordt bereikt door elke modaliteitskenmerk, f_m , in twee parallelle projectienetwerken te voeden: een emotie-encoder  en een modaliteits-encoder , waarbij de twee coderingen worden gegenereerd.

  (10)

Waarbij  de latente eigenschap gekoppeld aan de emotie wordt voorgesteld door  , wat een latente eigenschap voorstelt die specifiek is voor een modaliteit. Hierdoor kunnen emotiespecifieke embeddings herhaaldelijk communiceren met een ruimte over meerdere inputs, waaronder audio, visueel en tekst, terwijl de unieke structurele gegevens die geassocieerd zijn met elke modaliteit behouden blijven.

Een effectieve scheiding wordt afgedwongen door reconstructie met onafhankelijkheidsbeperkingen. De reconstructie van het oorspronkelijke modaliteitskenmerk wordt gegeven door:

  (11)

waarbij  een decoder-netwerk is. Het reconstructieverlies behoudt de volgende gegevens:

   (12)

Bovendien beperkt orthogonaliteit, of decorrelatie, tussen emotie en modaliteitspecifieke weergaven vaak de overlap van informatie:

   (13)

Door deze doelstellingen te bereiken, kan het model emotie-representaties aanleren die betrouwbaar, begrijpelijk en resistent zijn tegen modaliteitsvariabiliteit. Latere grafiekgebaseerde cross-modale fusie en visuele mapping-kenmerken, met name voor het ontwerp van intelligente interactie, zijn sterk afhankelijk van interpreteerbare, gestructureerde emotie-representaties.

Consistentie van emoties over verschillende modaliteiten

De toevoeging van emotieconsistentie verbetert duidelijk de effectiviteit van de fusie tussen de modaliteiten. Dit komt doordat fusiestrategieën geen rekening meer hoeven te houden met grote verschillen tussen de twee representaties, aangezien de modaliteitsspecifieke emotie-embeddings een latente ruimte delen. De gecombineerde illustratie van de twee emoties wordt als volgt beschreven . Gewogen fusie zal stabieler zijn wanneer emotiespecifieke representaties consistent zijn, omdat variaties tussen signalen van verschillende modaliteiten geen invloed meer zullen hebben op het resultaat.

   (14)

Door het afdwingen van semantische uitlijning van emotionele informatie, worden discrepanties tussen modaliteiten geminimaliseerd en wordt gewaarborgd dat de emotieperceptie consistent blijft, ongeacht de modaliteit die wordt gebruikt om deze te uiten. Bijgevolg wordt een samenhangende en affectieve representatieruimte gecreëerd door het projecteren van emotionele signalen verkregen uit spraaksignalen, gezichtsuitdrukkingen en linguïstische inhoud.

Impact op cross-modale fusie

Crossmodale fusie wordt effectiever wanneer emotionele consistentie over de modaliteiten heen wordt geïntroduceerd. Fusiemechanismen hoeven niet langer grote gaten in de intermodale representatie te overbruggen, omdat de emotie-specifieke embeddings zijn uitgelijnd in een gemeenschappelijke latente ruimte. De gefuseerde emotierepresentatie is als volgt gedefinieerd:

  (15)

Waarbij  α_m het gewicht vertegenwoordigt van de aandacht die aan modaliteit m wordt gegeven. De gewogen fusie wordt stabieler en begrijpelijker wanneer emotie-specifieke representaties consistent zijn, aangezien het fusieresultaat complementair emotioneel bewijs laat zien in plaats van tegenstrijdige modaliteitssignalen.

Wiskundig gezien is het verlagen van de  variantie tussen verschillende emotiespecifieke representatietypen in relatie tot  gelijk aan:

   (16)

waarbij  de gemiddelde emotie-expressie vertegenwoordigt. Een verminderde variantie zorgt ervoor dat de inputmodaliteiten worden gewogen op basis van hun exacte emotionele significantie in plaats van modaliteitsruis, wat leidt tot een verbeterde convergentie van het netwerk en een nauwkeurigere beoordeling van de aandacht.

Het uiteindelijke leerdoel van ontvlochten emotievisualisaties is om fragmentatie, reconstructie en emotie-uniformiteit te combineren:

   (17)

welke twee hyperparameters, λ₁ en λ₂, de relatie tussen cross-modale emotiebetrouwbaarheid en dissociatie beheersen. Het voorgestelde model verkrijgt modaliteits-invariante, interpreteerbare en fuseerbare emotionele representaties om dit te bereiken, met een nadruk op het bieden van een solide basis voor latere graafgebaseerde fusie en representatie op kenmerkeniveau in het ontwerp van intelligente interfaces.

Graafgebaseerde cross-modale aandachtfusie

Een graafgebaseerd cross-modaal attentienetwerk werd gebruikt om fijnmazige emotionele relaties tussen modaliteiten te simuleren. Om de informatiestroom over modaliteiten te faciliteren, werd een volledig verbonden multimodale graaf gebouwd, waarbij elke modaliteitsspecifieke embedding (tekst, audio en visueel) werd weergegeven als een graafknooppunt. Modaliteitsrelaties werden gebruikt om de graaf-adherentiematrix vast te stellen, die vervolgens werd verbeterd via een leerbare attentiemethode. Er werd een gedeelde latente ruimte gecreëerd door de outputs van verschillende attention heads te concateneren en te projecteren. Een uniforme multimodale emotierepresentatie werd vervolgens gegenereerd door knooppuntrepresentaties te aggregeren met behulp van attention-weighted pooling. De voorspellings- en visualisatiemodules voor interactiebewuste analyse en emotieherkenning ontvingen vervolgens deze gefuseerde representatie. De graaf-fusiemodule had een verborgen representatiedimensie van 256 en twee graaf-attentielagen, elk met acht attention heads. Om het relatieve belang van naburige modaliteiten vast te stellen, werden attentiecoëfficiënten tussen verbonden knooppunten berekend en gestandaardiseerd met behulp van de softmax-functie. Elke graaf-attentielaag werd gevolgd door laagnormalisatie, residuele verbindingen en een dropout-rate van 0,2 om de trainingsstabiliteit te verhogen en overfitting te verminderen. Na het concateneren en projecteren van de outputs van verschillende attention heads op een gemeenschappelijke latente ruimte, werden de knooppuntrepresentaties gecombineerd tot één enkele multimodale emotie-embedding met behulp van attention-weighted pooling. Daarna werd de gefuseerde representatie gebruikt voor multi-view visuele mapping en emotievoorspelling.

Diverse cross-modale interacties werden vastgelegd met behulp van multi-head graph attention. De softmax-functie werd gebruikt om de attention-coëfficiënten tussen verbonden knopen voor elke knoop te normaliseren. Om de trainingsstabiliteit te verhogen en overfitting te voorkomen, werden de gestapelde graph-attention-lagen van de graph-fusiemodule gevolgd door residual connections, layer normalization en dropout-regularisatie.

Laten we de termen  individueel beschouwen als de representaties die overeenkomen met de specifieke emoties die zijn verzameld via de visuele, audio- en tekstmodaliteiten; elke component bevindt zich binnen de gedeelde latente ruimte . De modellen voor de modaliteitsknopen maken gebruik van een notatie voor de graaf , waarbij de knopen van de verzameling  overeenkomen met de drie modaliteitsknopen zelf, om de emotionele afhankelijkheden die gedeeld worden tussen de verschillende modaliteitsrepresentaties expliciet te versterken.

Nadat er aan elke knoop in de graaf een emotiespecifieke kenmerkvector is toegewezen, hebben we:

   (18)

In tegenstelling tot traditionele fusiemethoden, die gebruikmaken van vooraf bepaalde of vaste fusiegewichten, leert de voorgestelde methode adaptieve randgewichten op basis van hun significantie en onderlinge afhankelijkheden, zowel over kanalen als over emotionele situaties heen.

Een Graph Attention Network (GAT) wordt gebruikt voor cross-modale fusie. Er wordt een attentiecoëfficiënt berekend voor elke node i en de naburige nodes, d.w.z. node j:

   (19)

Het emotionele effect van het overschakelen van modus j naar modaliteit i wordt gemeten door de genormaliseerde gewichten α_ij.

Vervolgens wordt het gefuseerde uiterlijk van elke modaliteitsknooppunt berekend als een gewogen groepering van zijn buren:

   (20)

waarbij de activeringsfunctie  niet-lineair is. Uiteindelijk worden de bijgewerkte kenmerken van elke knoop gecombineerd om een globale gefuseerde emotie-representatie te verkrijgen:

   (21)

Het is een nuttige techniek voor interpreteerbare emotiemodellering en daaropvolgende visuele mapping, omdat het complementaire informatie uit verschillende modaliteiten vastlegt terwijl de complexe inter-modale relaties behouden blijven.

Algoritme 1 (Aanvullend Bestand 1) biedt het algemene schema voor het uitvoeren van de graafgebaseerde crossmodale fusie. In eerste instantie wordt er een graaf gemaakt waarbij de emotiespecifieke kenmerken gekoppeld zijn aan elk van de visuele, audio- en tekstuele modaliteiten. Vervolgens worden de attentiescores voor de node-paren van elke graaf berekend, welke de combinatie van emotionele afhankelijkheid vertegenwoordigen. Deze attentiescores worden daarna genormaliseerd om de relatieve bijdrage van elke modaliteit aan de opgegeven emotionele context aan te geven, waardoor het leren van de attentiegewichten mogelijk wordt. De algemene emotie-embedding wordt in de laatste fase gegenereerd door de kenmerken geassocieerd met de nodes van de graaf te aggregeren. In deze zin vertoont de algemene fusie van de multimodale kenmerken gekoppeld aan de opgegeven emoties door het algoritme potentie op het gebied van aanpasbaarheid, interpreteerbaarheid en contextuele intelligentie.

Figuur 2 toont de structuur en werking van het voorgestelde cross-modale attentienetwerk voor multimodale sentimentfusie. De emotiespecifieke embeddings, die onafhankelijk zijn afgeleid voor de tekst-, auditieve en videomodialiteiten, worden in eerste instantie door modaliteitsniveau-attentiemechanismen geleid die het relatieve belang van linguïstische, vocale en gelaatsinformatie voor een gegeven emotionele context leren. De attentie-gewogen representaties van de modaliteiten worden vervolgens gecombineerd om een uniforme emotie-embedding te vormen, waarin de attentiematrix de inter-modale afhankelijkheden en interactiesterktes vastlegt. De door het netwerk geleerde attentiematrix moduleert dynamisch de bijdragen van de modaliteiten, waardoor het netwerk zich kan concentreren op de sterkste instructieve modaliteit terwijl ruisgevoelige, minder informatieve modaliteiten worden genegeerd. De gefuseerde emotierepresentatie maakt een nauwkeurige emotieherkenning en een fijnmazige analyse van emotionele toestanden zoals neutraal, omhelzing en bezorgdheid mogelijk.

Visuele mapping-module

Met behulp van de sectie voor visuele mapping, die specifiek hiervoor is ontwikkeld, kan een intelligente interactie-ontwerper de uniforme representatie van de emotionele toestand, op basis van de grafiek, omzetten in een visuele vorm die begrijpelijk en gemakkelijk te interpreteren is na het cross-modale fusieproces.

Om de latente emotionele representaties beter inzichtelijk te maken, werden dimensiereductietechnieken gebruikt om de geleerde multimodale emotie-embeddings te visualiseren. Na het reduceren van de kenmerkdimensie met behoud van het grootste deel van de variantie middels Principal Component Analysis (PCA), werden de embeddings geprojecteerd in een tweedimensionale ruimte voor weergave met t-distributed Stochastic Neighbor Embedding (t-SNE). Voor t-SNE werd een perplexity-waarde van 30, een learning rate van 200 en 1.000 optimalisatie-iteraties gebruikt. Emotiespecifieke clusters en modaliteitsrelaties werden gevisualiseerd met behulp van de verkregen projecties. De genormaliseerde cross-modale attention-gewichten, verkregen via het graafgebaseerde attention-netwerk, werden gebruikt om attention-heatmaps te maken. De relatieve bijdragen van tekstuele, audio- en visuele modaliteiten tijdens de emotievoorspelling zijn in deze heatmaps afgebeeld. De geleerde attention-coëfficiënten werden als randgewichten gebruikt om cross-modale interactiegrafen te creëren, wat een visuele inspectie van intermodale relaties en de informatiestroom binnen het fusieraamwerk mogelijk maakte. Emotietraject-plots werden gemaakt door de ontwikkeling van latente emotie-embeddings over opeenvolgende uitingen te monitoren om de temporele emotionele dynamiek te onderzoeken. Deze trajecten werpen licht op hoe emotionele toestanden en modaliteitsbijdragen in de loop van de tijd evolueren. Matplotlib en Scikit-learn zijn de twee Python-pakketten die zijn gebruikt voor het maken van alle visualisaties. Om de interpreteerbaarheid, clustervorming, modaliteitsbijdragen en temporele emotiedynamiek te evalueren, werden kwalitatieve analyses uitgevoerd op de embedding-visualisaties, interactiegrafen en attention-heatmaps.

Laat de variabele   de gefuseerde representatie van de emotionele toestand door de graph attention network-functie representeren. In tegenstelling tot de visualisatie op outputniveau van de plots van de emotionele toestand, is het hoofddoel van de module om de representaties van de emotionele toestand en de bijbehorende gewichten van het aandachtmechanisme om te zetten in een begrijpelijke visuele vorm.

Met behulp van de geleerde α_ji wordt een attention heatmap gemaakt om de bijdrage van elke modaliteit visueel te onderzoeken. De binnenkomende attention-gewichten worden vervolgens bij elkaar opgeteld om een samengestelde belangrijkheidsscore voor elke modaliteit te bepalen:

    (22)

waarbij s_i de relatieve emotionele bijdrage van modaliteit I vertegenwoordigt. Om te helpen bij het maken van een attention-heatmap worden de verkregen waarden genormaliseerd en gekoppeld aan een kleurenkaart, waardoor de gebruiker gemakkelijk de prominente modaliteit op verschillende tijdstappen of interactieve toestanden kan identificeren. Via diverse visuele, auditieve of tekstuele inputmodaliteiten helpt een dergelijke interface de gebruiker te begrijpen hoe het aandachtmechanisme van het systeem werkt.

De geleerde graaf is specifiek gemodelleerd als een "gewogen interactiegraaf" om de cross-modale afhankelijkheid van menselijke emoties weer te geven. De modaliteit zelf wordt weergegeven door elke knoop in de graaf, en de sterkte van de interacties met betrekking tot menselijke emoties wordt weergegeven door gewichten in de vorm van α_ji op de zijden die hen verbinden. De bovenstaande gewogen graaf illustreert de intensiteit van menselijke emotionele interacties. De definitie van i en j is:

   (23)

Dankzij deze gewichten worden de lijndikte of transparantie van de grafiekvisualisatie correct weergegeven. Dit maakt het gemakkelijker om te begrijpen hoe de modaliteiten met elkaar interageren. Met behulp van cross-modale interactiegrafieken kan de ontwerper beter begrijpen hoe emotionele indicatoren interageren tijdens het fusieproces.

De gefuseerde emotie-embeddings  op verschillende tijdstappen worden gereduceerd tot een lager-dimensionale ruimte met behulp van een dimensionaliteitsreductie-algoritme zoals PCA of t-SNE om de evolutie van temporele emoties weer te geven:

   (24)

waarbij de projectiefunctie wordt weergegeven door . Het ontstaan van 2D/3D-emotietrajecten, die emotieovergangen, intensiteiten en stabiliteit in interacties tonen, kan worden geïnterpreteerd als een intuïtieve weergave van de evolutie van emotionele toestanden over tijd. Deze aspecten kunnen worden gebruikt voor intelligente interactie, besluitvorming en real-time monitoring.

In tegenstelling tot conventionele emotiesystemen, die enkel koppelingen maken naar specifieke klassen of scores, richt dit systeem zich op het aantonen van hoe menselijke emoties daarbinnen worden gevormd. Het maakt het besluitvormingsproces inzichtelijk door visualisaties van tussenliggende kenmerken te bieden, waaronder wegingsfactoren, interacties tussen modellen en de bijbehorende paden. Hierdoor kan de gebruiker begrijpen hoe elke factor — visueel, vocaal of linguïstisch — invloed heeft op het genereren van de respons op menselijke emoties.

Het koppelen van emoties aan begrijpelijke vormen via visuele representaties kan zo de kloof overbruggen tussen emotieanalyse met behulp van deep learning-methoden en de integratie daarvan in het ontwerp van intelligente interfaces. De gegevens die met beide benaderingen zijn verzameld, kunnen vervolgens worden gebruikt om nauwkeurigere gebruikersinterfaces te creëren. De voorgestelde aanpak kan interactieontwerpers dus essentiële informatie bieden om preciezere gebruikersinterfaces te ontwikkelen. Met andere woorden: het begrip van emoties wordt een zeer actief onderdeel van interactieontwerp. De nauwkeurigheid kan alleen toenemen wanneer emotiebegrip actief wordt geïntegreerd in het interactieontwerp.

De module voor visuele mapping maakt verklaarbaarheid mogelijk op verschillende, onderling verbonden manieren: verklaarbaarheid op kenmerkniveau onthult de onderliggende representaties van emotie die door het DNN zijn gecreëerd, waardoor we de semantiek kunnen begrijpen die wordt gebruikt om elk met emotie gerelateerd kenmerk te beschrijven; verklaarbaarheid op modaliteitsniveau gebruikt gegevens uit de interactiegrafieken en de visuele attention-heatmaps om te beschrijven hoe elke modaliteit — visueel, audio of tekstueel — bijdraagt aan de beslissingen om emoties uit te drukken; en tot slot stellen de trajecten die voortvloeien uit de emotie-embedding ons in staat om te begrijpen hoe elke visuele en tekstuele modaliteit in de loop van de tijd verandert vanuit een dynamisch interactieperspectief. Raadpleeg hiervoor Algoritme 2 (Supplementary File 1).

De gefuseerde multimodale emotionele kenmerken worden via het voorgestelde visuele mapping-algoritme 2 omgezet in visueel significante representaties voor intelligent interactie-ontwerp. De graafgebaseerde multimodale attentiegewichten worden gebruikt om verschillen tussen de visuele, auditieve en tekstuele inputelementen bij elke tijdstap te kwantificeren. Deze verschillen worden vervolgens gekoppeld aan visuele representaties om, middels heatmap-visuele elementen, de belangrijkste bronnen die de emoties beïnvloeden te accentueren. Om een inzichtelijk beeld te geven van de interactie tussen de inputelementen en om de emotionele evolutie gegenereerd door de multimodale inputelementen over te brengen, worden vervolgens paarsgewijze interactiesterktes berekend om de multimodale interactiegewichten te creëren. Tegelijkertijd wordt een weergave van de emotionele evolutie gecreëerd door de gefuseerde emotionele elementen die in de loop van de tijd zijn verzameld, naar een laag-dimensionale ruimte te mappen om een continue evolutie van het emotionele element te produceren.

Emotievoorspelling en interactiefeedback

De uitkomst van de gefuseerde emotierepresentatie, weergegeven als , wordt vervolgens gebruikt als functie voor zowel interactie-feedback als emotievoorspelling. Bovendien wordt emotievoorspelling beschreven als een multitask-model bestaande uit een regressietaak voor de herkenning van continue emotie-intensiteit en een classificatietaak voor discrete emotieherkenning. Het volgende softmax-gebaseerde classificatiemodel wordt gebruikt voor discrete emotieherkenning:

   (25)

waarbij  de verwachte kansen voor de emotieklasse vertegenwoordigt en W_c  en b_c leerbare beperkingen zijn. Het cross-entropieverlies wordt gebruikt om het classificatiedoel te verbeteren:

  (26)

waarbij y_k het ground-truth label is, en K het aantal emotieklassen. Een regressietak wordt parallel gebruikt om de emotie-intensiteit te schatten, wat resulteert in een voorspelling van diverse continue affectieve attributen, waaronder valentie en arousal. Geef dit de volgende definitie:

   (27)

waarbij de verwachte score voor emotie-intensiteit wordt aangegeven door . Er wordt gebruikgemaakt van de mean-squared error loss om de regressietaak te verbeteren:

   (28)

In het algemeen worden de twee taken gecombineerd in het predictiedoel:

   (29)

waarbij de doelstellingen van regressie en classificatie worden gebalanceerd door λ. Dit suggereert een dynamische aanpassing van de visualisatiemodule op basis van de geïdentificeerde emotionele toestand om dit type interactiebewuste feedback mogelijk te maken. De interactiecontext op een gegeven tijdstip t wordt weergegeven door c_t. De respons van de visualisatiemodule wordt gegeven door:

    (30)

waarbij de visualisatie-adaptatiefunctie wordt weergegeven door . Dit maakt het mogelijk om de modaliteits-heatmaps, interactiegrafieken en emotietrajecten in real-time aan te passen op basis van verwachte veranderingen en emoties. Dit geeft aan dat het systeem aanzienlijke ondersteuning biedt voor feedback, naast het goede resultaat bij de voorspelling van de emotionele toestand.

Resultaten

Dit werk valideert het voorgestelde visuele mapping-framework voor multimodale emotiekenmerken op het gebied van zowel interactiebewuste interpreteerbaarheid als voorspellende prestaties, met gebruik van twee benchmark-datasets, CH-SIMS en CMU-MOSEI. Volgens de experimentele resultaten presteert de voorgestelde methode consistent beter dan huidige multimodale emotieherkenningstechnieken over een verscheidenheid aan metrieken, waaronder correlatie, nauwkeurigheid, F1-score en de gemiddelde absolute fout (MAE). De ontkoppelde emotie-representatie, het graafgebaseerde cross-modale fusiemechanisme en de end-to-end deep representation learning-strategie dragen allen bij aan deze verbetering door een stabielere en semantisch beter afgestemde emotiemodellering mogelijk te maken. De voorgestelde methode biedt rijkere inzichten op kenmerkniveau via visuele mapping, wat verder gaat dan kwantitatieve winst en het gemakkelijker maakt om de bijdragen van modaliteiten en emotionele dynamiek te begrijpen. Ondanks verschillen in taal, culturele expressie en datasetgrootte wordt de bovengenoemde prestatiewinst consistent waargenomen in beide datasets, wat de sterke generalisatiecapaciteit van het voorgestelde framework aantoont.

De openbare datasets CH-SIMS en CMU-MOSEI voor multimodale emoties worden gebruikt in het voorgestelde werk. De CH-SIMS-dataset bestaat uit 2.281 videoclips uit films, tv-drama's en variety shows. Gesynchroniseerde tekst-, audio- en visuele gegevens zijn beschikbaar in CH-SIMS. Zowel unimodale als multimodale sentimentlabels zijn ingedeeld in de categorieën positief, neutraal en negatief. De grote Engelse multimodale dataset genaamd CMU-MOSEI bevat ongeveer 23.453 geannoteerde videoclips met meer dan 1.000 sprekers die een breed scala aan onderwerpen bespreken. Deze dataset bevat zowel continue annotaties van emotie-intensiteit, zoals valentie en arousal, als categorische emotielabels. Door ondersteuning voor een verscheidenheid aan linguïstische, culturele en emotionele omstandigheden, versterkt experimenteren met deze twee datasets middels het voorgestelde raamwerk de robuustheid en betrouwbaarheid. Tabel 2 toont de details van de simulatieomgeving.

De belangrijkste experimentele en implementatie-instellingen die zijn gebruikt om het voorgestelde raamwerk te beoordelen, zijn samengevat in deze simulatieomgeving. Om een uniforme dimensie van kenmerken over tekst-, audio- en visuele modaliteiten te waarborgen, worden transformer-gebaseerde encoders uniform toegepast. Er wordt gebruikgemaakt van een graafgebaseerd aandachtmechanisme voor cross-modale fusie, waardoor adaptief leren van intermodale afhankelijkheden met betrekking tot emotionele toestanden mogelijk is.

Het voorgestelde raamwerk extraheert tekstuele, auditieve en visuele representaties met behulp van transformer-gebaseerde modaliteitencoders. Volledig verbonden lagen met ReLU-activatie projecteren de modaliteitsspecifieke embeddings naar een gedeelde latente ruimte. Vervolgens worden aparte emotiespecifieke en modaliteitsspecifieke encoders, elk met twee volledig verbonden lagen en niet-lineaire activatie en normalisatie, gebruikt om ontwarde representaties te leren. De latente representaties worden geprojecteerd naar een 256-dimensionale kenmerkruimte, waarin informatie voor elke modaliteit en emotie afzonderlijk wordt geleerd. Om modaliteitsinformatie te behouden en een efficiënte ontwarring te bevorderen, worden reconstructiedecoders gebruikt. Voorafgaand aan de multimodale fusie en predictie modelleert de graafgebaseerde cross-modale aandachtmodule emotionele afhankelijkheden tussen modaliteiten met behulp van de latente representaties. Het netwerk werd getraind met de Adam-optimizer met een initiële leerfrequentie van 1 × 10⁻⁴ en een batchgrootte van 32. Early stopping werd toegepast op basis van het validatieverlies om overfitting te voorkomen. De totale objectieffunctie bestond uit classificatie-, reconstructie- en representatieconsistentieverliezen, elk gewogen door afstelbare hyperparameters. De training van het model werd uitgevoerd voor maximaal 100 epochs, en het best presterende model op de validatieset werd behouden voor testen.

Het voorgestelde raamwerk werd geëvalueerd met behulp van classificatiemetrieken, waaronder nauwkeurigheid (Accuracy), precisie (Precision), recall en de F1-score, samen met regressiemetrieken zoals de gemiddelde absolute fout (Mean Absolute Error, MAE). Precisie, recall en de F1-score werden berekend met macro-averaging om rekening te houden met de klassenonbalans over de emotiecategorieën. Voor de classificatie-experimenten werden de vooraf gedefinieerde emotie-/sentimentlabels van de CH-SIMS- en CMU-MOSEI-datasets gebruikt als ground-truth klassen. Voor sentimentvoorspelling op basis van regressie dienden de continue sentimentintensiteitsscores van de datasets als doelvariabelen. Confusiematrices werden gegenereerd om de voorspellingsprestaties per klasse en misclassificatiepatronen te analyseren met een betrouwbaarheidsinterval van 95%. Om de robuustheid te waarborgen, werd elk experiment 5 keer herhaald met verschillende willekeurige initialisaties, en de gerapporteerde resultaten komen overeen met de gemiddelde prestatie ±± standaarddeviatie over alle runs. Statistische significantie werd beoordeeld met behulp van passende procedures voor hypothesetesten, en betrouwbaarheidsintervallen werden berekend waar van toepassing. De trainingstijd werd gemeten als de totale verstreken tijd die nodig was voor convergentie van het model op het gespecificeerde hardwareplatform.

Een aantal representatieve basismodellen, waaronder early fusion en late fusion, kan worden vergeleken met de voorgestelde methode. TFN, LSTM-gebaseerde methoden, low-rank multimodale fusiemodellen, adaptieve multimodale transformers en nieuwe cross-modale attention-gebaseerde architecturen. Deze baselines weerspiegelen geavanceerde technieken die zich primair richten op het verbeteren van de nauwkeurigheid van emotieherkenning via diverse fusiemethoden. Het voorgestelde framework met disentangled representation learning en graafgebaseerde fusie verbetert de interpreteerbaarheid en interactiebewustzijn in tegenstelling tot deze methoden, die zich hoofdzakelijk concentreren op voorspellingen op outputniveau. LSTM Fusion, TFN, Low-Rank Multimodal Fusion (LMF), Adaptive-Graph en transformer-gebaseerde technieken zijn voorbeelden van basismodellen die zijn geïmplementeerd met behulp van hun officiële repositories of publiek toegankelijke referentie-implementaties. De oorspronkelijke hyperparameterinstellingen van de auteurs werden gebruikt wanneer deze beschikbaar waren. Alle opnieuw getrainde baselines werden beoordeeld met behulp van dezelfde dataset-splits, preprocessingsmethoden, optimalisatieparameters en evaluatiecriteria om een eerlijke vergelijking te waarborgen. De vergelijkingstabellen identificeren duidelijk de relevante referenties voor gegevens die rechtstreeks uit eerdere publicaties zijn afgeleid.

Nauwkeurigheid

De nauwkeurigheid van de discrete emotieclassificatie is gemeten voor zowel CH-SIMS als CMU-MOSEI; de trend in nauwkeurigheid verschilt echter afhankelijk van de kenmerken van de twee datasets. Omdat CH-SIMS een middelgrote dataset is met een gelijk aantal sentimentcategorieën en zorgvuldig voorbewerkte videoclips, is de nauwkeurigheid hoog, wat suggereert dat het model subtiele multimodale emotionele informatie met weinig ruis kan vastleggen. Echter is het accuraat classificeren van emoties uitdagend omdat CMU-MOSEI een grootschalige dataset is met sprekers van diverse achtergronden. Daarom geeft de nauwkeurigheid op de CMU-MOSEI-dataset, naast het vermogen van het model om sentiment te identificeren, een indicatie van het vermogen om te generaliseren en bestand te zijn tegen een verscheidenheid aan interactiescenario's. De verbetering in nauwkeurigheid over de twee datasets laat zien dat de voorgestelde benadering goed generaliseert over datasets met verschillende talen, groottes en niveaus van emotionele complexiteit.

De classificatienauwkeurigheden van de voorgestelde aanpak en andere gangbare baselines op de CH-SIMS en CMU-MOSEI datasets zijn weergegeven in Tabel 3. Zoals in Tabel 3 te zien is, behaalde het voorgestelde raamwerk de hoogste nauwkeurigheid op zowel de CH-SIMS als de CMU-MOSEI datasets, waarmee het de sterkste baseline (Adaptive-Graph) met respectievelijk ongeveer 3,3% en 3,1 procentpunt overtrof. Lagere waarden voor de standaarddeviatie duiden bovendien op een grotere stabiliteit over herhaalde experimentele runs. Traditionele LSTM-fusieaanpakken hebben een lagere nauwkeurigheid vanwege hun beperkte vermogen om complexe cross-modale relaties vast te leggen. TFN en LMF verbeteren de classificatienauwkeurigheid door cross-modale relaties te modelleren.

F1-score

Bij problemen met emotieclassificatie wordt de balans tussen recall en precisie gemeten met de F1-score. Voor multimodale datasets voor emotieclassificatie, die waarschijnlijk een ongelijk aantal klassen hebben, is deze maatstaf daarom geschikter. Bij emotieclassificatietaken wordt de balans tussen recall en precisie gemeten met de F1-score. Aangezien multimodale datasets voor emotieclassificatie naar verwachting ongebalanceerd zijn, is de F1-score meer passend. Hoe beter het model in staat is om emotieklassen te detecteren, hoe hoger de F1-score.

Figuur 3 illustreert de evaluatie van de F1-score van de voorgestelde techniek ten opzichte van de baselines op de CH-SIMS-dataset. De laagste F1-score van de LSTM-gebaseerde baseline onthult het beperkte vermogen hiervan om complexe cross-modale emotionele relaties te modelleren. De F1-scores die zijn behaald door de beoordeelde technieken op de CH-SIMS-dataset worden vergeleken in Figuur 3. Zoals aangetoond, presteren geavanceerdere graafgebaseerde en transformer-gebaseerde structuren routinematig beter dan meer conventionele fusiegebaseerde methoden. Het LSTM-model scoorde het laagst met een F1-score van 0,71, gevolgd door TFN (0,74) en LMF (0,76). De F1-score werd verder verhoogd naar 0,79 met behulp van Adaptive-Graph, wat de waarde van het modelleren van intermodale verbindingen aantoont. Met een F1-score van 0,82 presteerde het voorgestelde framework 3,8% beter dan Adaptive-Graph, 7,9% beter dan LMF, 10,8% beter dan TFN en 15,5% beter dan LSTM. Deze resultaten tonen aan dat het voorgestelde graafgebaseerde cross-modale aandachtsmechanisme en het disentangled representatieleren complementaire emotionele informatie over tekstuele, audio- en visuele modaliteiten effectiever vastleggen, wat leidt tot betere classificatieprestaties.

De relatieve trends zijn consistent, hoewel alle methoden een lichte daling in de F1-score vertonen in vergelijking met CH-SIMS, zoals weergegeven in Figuur 4. De bevindingen laten een gestage verbetering in prestaties zien, van traditionele fusiemethoden naar grafiekgebaseerde multimodale leerstrategieën. De modellen met de laagste F1-score waren LSTM (0,69), TFN (0,72) en LMF (0,74). De prestaties van het Adaptive-Graph model stegen naar 0,77, wat aantoont hoe goed cross-modale verbindingen gemodelleerd kunnen worden. Het voorgestelde raamwerk presteerde beter dan alle andere benaderingen en behaalde de hoogste F1-score van 0,80. De verbetering ten opzichte van de sterkste baseline, Adaptive-Graph, demonstreert de bijdragen van het voorgestelde ontkoppelde emotierepresentatie-leren en het grafiekgebaseerde cross-modale aandachtmechanisme bij het vastleggen van complementaire emotionele signalen over textuele, akoestische en visuele modaliteiten. Deze resultaten tonen aan dat het voorgestelde raamwerk voor multimodale emotieherkenning betrouwbaar en efficiënt is. De voorgestelde benadering vertoont een significante verbetering ten opzichte van zowel de grafiekgebaseerde benadering als de conventionele fusiemethode, wat het sterke generalisatievermogen van de methode verder bevestigt. De verbetering van de F1-score op de CMU-MOSEI dataset demonstreert dat de voorgestelde benadering een gebalanceerde prestatie bij emotieclassificatie kan bereiken, zelfs in luidruchtige, diverse omgevingen.

Precisie

In intelligente communicatiesystemen is precisie cruciaal, omdat een onjuist emotioneel signaal de gebruikerservaring kan verslechteren. De verhouding tussen nauwkeurig voorspelde instanties van een specifieke emotie en het totaal aantal gevallen dat als die emotie werd geprojecteerd, staat bekend als de precisie. Omdat de ontwarde emotie-representaties minder ruis bevatten en minder vatbaar zijn voor misclassificatie in de modaliteit, presteert het voorgestelde model beter dan de baselinemodellen op de CH-SIMS dataset in Figuur 5.

De nauwkeurigheid die is behaald door verschillende multimodale emotieherkenningstechnieken op de CH-SIMS en CMU-MOSEI datasets wordt vergeleken in Figuur 5. Naarmate modellen overstappen van traditionele fusiegebaseerde technieken naar geavanceerdere grafiekgebaseerde architecturen, neemt de precisie gestaag toe. Het voorgestelde raamwerk behaalde de maximale precisie van 0,82 op de CH-SIMS dataset, waarbij de precisie steeg van 0,71 voor LSTM naar 0,74, 0,76 en 0,79 voor respectievelijk TFN, LMF en Adaptive-Graph. Op de CMU-MOSEI dataset steeg de precisie van 0,69 voor LSTM naar 0,72, 0,74 en 0,77 voor respectievelijk TFN, LMF en Adaptive-Graph. De voorgestelde benadering behaalde de hoogste precisie van 0,80. Het voorgestelde raamwerk verhoogde de precisie met ongeveer 3,8% op CH-SIMS en 3,9% op CMU-MOSEI in vergelijking met de sterkste baseline (Adaptive-Graph). Deze resultaten tonen aan dat het voorgestelde disentangled representation learning en het grafiekgebaseerde cross-modale aandachtmechanisme succesvol fout-positieve voorspellingen verminderen door complementaire emotionele informatie uit tekstuele, akoestische en visuele modaliteiten vast te leggen. De impact van irrelevante modaliteiten wordt verder gematigd door de grafiekgebaseerde cross-modale aandacht. De toegenomen diversiteit van sprekers en linguïstische expressies in het CMU-MOSEI corpus zorgt ervoor dat de precisie voor alle modellen licht daalt.

Recall

Bij taken voor emotieherkenning is recall — een maatstaf voor het vermogen van een model om emotionele instanties die tot een specifieke klasse behoren correct te categoriseren — cruciaal, omdat een gebrek aan emotionele informatie de kwaliteit van de interactie negatief kan beïnvloeden. Een hogere recall-waarde suggereert dat het model minder fout-negatieven en meer werkelijke emotionele expressies identificeert. Recall kan worden beschouwd als een maatstaf voor de efficiëntie waarmee emotionele informatie wordt geëxtraheerd uit tekstuele, auditieve en visuele modaliteiten in de context van multimodale emotieanalyse.

Het voordeel van de voorgestelde techniek ten opzichte van de basisbenaderingen op de CH-SIMS en CMU-MOSEI datasets wordt getoond in de recall-vergelijking in Figuur 6. Naarmate modellen evolueren van conventionele fusiegebaseerde methoden naar meer geavanceerde graafgebaseerde multimodale structuren, laten de resultaten consistent winst in recall zien. De recall op de CH-SIMS dataset steeg van 0,70 voor LSTM naar respectievelijk 0,73, 0,75 en 0,78 voor TFN, LMF en Adaptive-Graph; de maximale recall van 0,82 werd behaald door het voorgestelde raamwerk. De voorgestelde benadering behaalde de beste recall van 0,80 op de CMU-MOSEI dataset, waarbij de recall steeg van 0,68 voor LSTM naar respectievelijk 0,71, 0,73 en 0,76 voor TFN, LMF en Adaptive-Graph. Het voorgestelde raamwerk produceerde relatieve verbeteringen van ongeveer 5,1% op CH-SIMS en 5,3% op CMU-MOSEI in vergelijking met de sterkste basislijn (Adaptive-Graph). Deze resultaten tonen aan dat door het vastleggen van complementaire emotionele signalen over tekstuele, akoestische en visuele modaliteiten, het voorgestelde ontkoppelde representatie-leren en het graafgebaseerde cross-modale aandachtsmechanisme succesvol het aantal fout-negatieve voorspellingen vermindert, waardoor de identificatie van emotieklassen in beide datasets wordt verbeterd. Omdat traditionele methoden een beperkt vermogen hebben om complexe cross-modale relaties te modelleren, hebben zij de neiging lagere recall-waarden te hebben. Door modaliteitsrelaties explicieter te modelleren, behalen TFN en LMF matige winst. Door de gestructureerde relaties tussen de modaliteiten te simuleren, heeft de Adaptive-Graph methode de recall verder verbeterd. Voor beide datasets behaalt de voorgestelde methode de hoogste recall, wat duidt op een beter vermogen om emotionele instanties in verschillende interactiescenario's te detecteren. De verbetering is sterker zichtbaar in de grootschalige CMU-MOSEI dataset, wat de robuustheid en generalisatie van het voorgestelde raamwerk demonstreert.

Gemiddelde absolute fout (MAE)

De gemiddelde absolute fout (Mean Absolute Error, MAE) wordt gebruikt om de prestaties van continue voorspellingstaken voor emotie-intensiteit te beoordelen, zoals de voorspelling van valentie of arousal. In tegenstelling tot nauwkeurigheid weerspiegelt MAE beter de nabijheid van de voorspelde emotionele intensiteit tot de werkelijke emotionele toestand. Dit is de reden waarom MAE geschikter is voor datasets zoals CH-SIMS en CMU-MOSEI, die over continue affectieve labels beschikken. Een lagere MAE-waarde duidt op een grotere nauwkeurigheid bij de voorspelling van de emotie-intensiteit.

De vergelijking van de MAE tussen het voorgestelde raamwerk en de baseline-benaderingen op de CH-SIMS en CMU-MOSEI datasets wordt weergegeven in Tabel 4. Traditionele fusiemethoden op basis van LSTM vertonen over het algemeen hogere MAE-waarden vanwege hun beperkte vermogen om complexe multimodale emotionele afhankelijkheden te modelleren. TFN en LMF kunnen de MAE verlagen door multimodale interacties te modelleren, en de Adaptive-Graph benadering reduceert deze verder door modaliteitsgrafiekrelaties te leren. Het voorgestelde raamwerk behaalt de kleinste MAE over beide datasets, wat duidt op een nauwkeurigere schatting van de emotie-intensiteit. Het is vermeldens waard dat de verbetering significanter is op de CMU-MOSEI dataset, waar de grootschalige datavariabiliteit en sprekercondities de predictietaak uitdagender maken.

Confusiematrix voor de CH-SIMS-dataset

De basismethoden van early fusion LSTM en TFN vertonen aanzienlijke verwarring tussen de klassen neutrale en positieve emoties, afgaande op de verwarringsmatrices voor de CH-SIMS-dataset. Dit suggereert dat deze methoden niet erg goed zijn in het identificeren van subtiele multimodale emotionele expressies. Aan de andere kant vertoont de voorgestelde methode duidelijk een sterke diagonale dominantie, met zeer weinig elementen buiten de diagonaal, waardoor de scheidbaarheid van klassen wordt verbeterd. Het ontwarde emotie-leermechanisme van de voorgestelde methode zorgt voor een consistente representatie van emoties over modaliteiten heen, en de graph-fusiebenadering verbetert het onderscheid tussen nauw verwante sentimentklassen. Figuur 7A–E toont de verwarringsmatrix voor de CH-SIMS-dataset met verschillende basismethoden.

Confusiematrix voor de CMU-MOSEI-dataset

Het voorgestelde raamwerk maakt gebruik van modaliteits-invariante emotie-embeddings en adaptieve aandachtsgewichten om de misclassificatiegraad aanzienlijk te verlagen, in het bijzonder voor emotioneel ambigue inputs. Dit bevestigt dat het voorgestelde raamwerk goed functioneert in een verscheidenheid aan grootschalige multimodale interactiescenario's. Vanwege de omvang van de dataset, de variatie tussen sprekers en de continue aard van de sentimentlabels, vertonen de CMU-MOSEI-confusiematrices een hogere algemene misclassificatiegraad. De baseline-methoden laten een aanzienlijke mate van verwarring zien tussen verschillende emotiecategorieën. Figuur 8A–E toont de confusiematrix voor de CMU-MOSEI-dataset met verschillende baseline-methoden.

Trainingstijd per epoch

De computationele trade-offs van geavanceerde multimodale fusietechnieken worden geaccentueerd door de vergelijking van de trainingstijd per epoch. Vanwege de transformer-encoders en graph-attention-mechanismen vereist het voorgestelde model iets meer trainingstijd dan de eenvoudige fusiebenaderingen, maar deze toename is niet onhaalbaar. Het voorgestelde framework vertoonde sterke prestaties op benchmarkdatasets voor multimodale emotieanalyse en toont potentieel voor integratie in intelligente mens-machine-interactiesystemen. De geschiktheid voor real-time implementatie is echter in de huidige studie niet geëvalueerd en vereist verder onderzoek via analyses van latentie, doorvoer, geheugen en implementatie. Opvallend is dat de verbeterde convergentiestabiliteit en de superieure voorspellende prestaties en interpreteerbaarheid de extra computationele kosten rechtvaardigen. Figuur 9 toont het resultaat van de trainingstijd per epoch voor de voorgestelde methode.

Ablatiestudie

Om de invloed van elk belangrijk element in het voorgestelde raamwerk te bepalen, zoals de visuele mappingmodule, de graafgebaseerde crossmodale fusie en de ontwarde emotierepresentatie, is een ablatiestudie uitgevoerd. Om de impact te begrijpen, werd elk element één voor één verwijderd. Volgens de experimentele resultaten verbetert de graaffusiestrategie de modellering van crossmodale afhankelijkheden, en de bijdrage van de ontwarde emotierepresentatie is het belangrijkst voor de stabiliteit van de prestaties. De ondersteunende rol van de visuele mappingmodule wordt bevestigd door de geringe impact op de prestaties wanneer deze wordt verwijderd. De resultaten van de ablatiestudie onder dezelfde trainings- en evaluatiecondities worden weergegeven in Tabel 5. De grootste verslechtering van de prestaties werd waargenomen na het verwijderen van de graafgebaseerde crossmodale attentiemodule, waardoor de nauwkeurigheid afnam van 81,72% naar 77,88% en de F1-score van 0,823 naar 0,776. Dit onderstreept het belang van het modelleren van complexe intermodale interacties. De rol van de module voor ontward representatieleren bij het aanleren van robuuste emotiespecifieke representaties werd aangetoond door het feit dat verwijdering ervan de nauwkeurigheid met 2,78 procentpunt en de F1-score met 0,032 verlaagde. Het belangrijkste voordeel van de visuele mappingmodule is interpreteerbaarheid in plaats van classificatienauwkeurigheid, wat blijkt uit de enigszins kleinere daling in voorspellingsprestaties na verwijdering ervan. De configuratie Basic Fusion presteerde het slechtst, wat aantoont dat de beste prestaties bij multimodale emotieherkenning de gecombineerde invloed van alle voorgestelde modules vereisen.

BESCHIKBAARHEID VAN GEGEVENS:

De datasets die in deze studie zijn gebruikt, zijn publiek beschikbare benchmarkdatasets. De CMU-MOSEI-dataset wordt verstrekt door de Carnegie Mellon University Multimodal SDK en is beschreven in Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208), met toegang via https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. De CH-SIMS-dataset is beschreven in Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) en is publiek toegankelijk via bronnen die door de auteurs zijn verstrekt, waaronder https://github.com/thuiar/MMSA. Alle experimenten zijn uitgevoerd met de officiële versies van deze datasets. De ruwe geëxtraheerde gegevens, verwerkte databestanden, preprocessing-outputs, train-/validatie-/testpartities, afgeleide kenmerkrepresentaties en implementatiedetails ter ondersteuning van de bevindingen van deze studie zijn publiek beschikbaar in de Zenodo-repository op https://doi.org/10.5281/zenodo.21124921.

Figuur 1: Schematisch diagram van het voorgestelde raamwerk voor visuele mapping van multimodale emotiekenmerken.Conceptuele illustratie van de algehele architectuur, met weergave van multimodale kenmerkextractie, disentangled representation learning, grafiekgebaseerde cross-modale attention-fusie en visuele mapping-componenten voor interpreteerbare multimodale emotieanalyse.. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Schematisch stroomdiagram van het voorgestelde computationele protocol.
Conceptuele weergave van de volledige verwerkingspipeline, inclusief de fasen voor datasetverwerving, preprocessing, modaliteitsspecifieke kenmerkextractie, multimodale fusie, visualisatie en emotievoorspelling Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Vergelijking van de F1-score prestaties op de CH-SIMS dataset. Gemiddelde F1-score waarden verkregen uit vijf onafhankelijke experimentele runs (n = 5) met verschillende willekeurige seed-initialisaties. Foutenbalken vertegenwoordigen ±± één standaarddeviatie (SD). Hogere F1-score waarden duiden op een betere emotieclassificatieprestatie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Vergelijking van de F1-score prestaties op de CMU-MOSEI dataset. Gemiddelde F1-score waarden verkregen uit vijf onafhankelijke experimentele runs (n = 5) met verschillende random seed initialisaties. Foutenbalken vertegenwoordigen ±± één standaarddeviatie (SD), en de bijbehorende gemiddelde ±± SD waarden worden boven elk datapunt weergegeven. Hogere F1-score waarden duiden op betere emotieclassificatieprestaties. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Vergelijking van de precisie op de CH-SIMS en CMU-MOSEI datasets. Gemiddelde precisiescores behaald door LSTM, TFN, LMF, Adaptive-Graph en het voorgestelde framework over vijf onafhankelijke experimentele runs (n = 5). Foutenbalken vertegenwoordigen ±± één standaarddeviatie (SD), berekend uit herhaalde runs met verschillende random seed-initialisaties. Het voorgestelde framework behaalt de hoogste precisie op beide datasets, wat een verbeterde discriminatie van emotieklassen aantoont door effectief multimodaal feature-leren en grafiekgebaseerde cross-modale fusie. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Vergelijking van de recall op de CH-SIMS en CMU-MOSEI datasets. Gemiddelde recall-scores behaald door LSTM, TFN, LMF, Adaptive-Graph en het voorgestelde framework over vijf onafhankelijke experimentele runs (n = 5). Foutenbalken geven ±± één standaarddeviatie (SD) aan, afgeleid uit herhaalde experimenten. Het voorgestelde framework behaalt consistent de hoogste recall op beide datasets, wat wijst op een superieur vermogen om multimodale emotionele informatie vast te leggen en fout-negatieve voorspellingen te verminderen. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7: Confusiematrix voor dataset CH-SIMS met verschillende basismethoden. Rijen komen overeen met de ground-truth emotieklassen en kolommen komen overeen met de voorspelde klassen. Celwaarden representeren het percentage monsters genormaliseerd ten opzichte van elke werkelijke klasse. De confusiematrix is berekend met behulp van de apart gehouden testpartitie van CH-SIMS. Hogere percentages op de diagonaal duiden op een betere herkenningsnauwkeurigheid voor de betreffende emotiecategorie. Confusiematrices van (A) Early fusion LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph, en (E) voorgestelde methode op de CH-SIMS dataset. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8: Confusiematrix voor de CMU-MOSEI-dataset met diverse baseline-methoden. De rijen vertegenwoordigen de werkelijke emotielabels en de kolommen de voorspelde labels. De waarden zijn gerapporteerd als klasse-genormaliseerde percentages op de CMU-MOSEI-testset. De matrix illustreert zowel correct geclassificeerde monsters (diagonale elementen) als verwarring tussen emotiecategorieën (niet-diagonale elementen). Confusiematrix op CMU-MOSEI (A) Early fusion LSTM, (B) TFN, (C) LMF, (D) Adaptive Graph, en (E) Voorgestelde methode op de CMU-MOSEI-dataset. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 9. Vergelijking van de trainingstijd per epoch op benchmark multimodale emotiedatasets.
Gemiddelde trainingstijd per epoch verkregen uit vijf onafhankelijke experimentele runs (n = 5) voor de CH-SIMS en CMU-MOSEI datasets onder identieke hardware- en softwareinstellingen. Foutbalken representeren ±± één standaarddeviatie (SD) berekend uit herhaalde experimenten met verschillende random seed initialisaties. Lagere waarden duiden op een hogere computationele efficiëntie, terwijl stabiele trainingstijden over de runs heen wijzen op een verbeterde reproduceerbaarheid en trainingsconsistentie. Klik hier om een grotere versie van deze figuur te bekijken.

Dataset	Modaliteiten	Aantal monsters	Taal	Emotie-/sentimentlabels
CH-SIMS34	Video, audio, tekst	2.281 videosegmenten	Chinees	Multimodale en unimodale sentimentlabels (negatief, neutraal, positief)
CMU-MOSEI35	Video, audio, tekst	~23.453 geannoteerde clips	Engels	Sentiment- en emotie-intensiteitslabels (continu en categorisch)

Tabel 1: Beschrijving van de dataset. Samenvatting van de in deze studie gebruikte datasets, modaliteiten, aantal monsters, taal, emotie-/sentimentlabels voor de CH-SIMS- en CMU-MOSEI-datasets.

Component	Specificatie
Programmeerframework	Python met PyTorch
Visuele kenmerkextractor	Vision Transformer (ViT)
Audio kenmerkextractor	Wav2Vec 2.0
Tekst kenmerkextractor	RoBERTa
Fusiestrategie	Graafgebaseerd cross-modaal attentienetwerk
Kenmerkdimensie	768 per modaliteit
Trainingsoptimizer	Adam
Leersnelheid	1.00E-04
Batchgrootte	16
Hardware	NVIDIA GPU (bijv. RTX-serie)
Evaluatiedatasets	CH-SIMS, CMU-MOSEI
Latente dimensie	2.56E+02
Embedding-dimensie	768
Activatiefunctie	ReLU
Optimizer	Adam
Leersnelheid	1.00E-04
Batchgrootte	32
Epochs	100
Early Stopping	Ingeschakeld
Verliesfunctie	Classificatie + Reconstructie + Consistentie

Tabel 2: Simulatieomgeving. Experimentele opstelling en implementatiedetails van de simulatieomgeving, zoals modelspecificaties, kenmerken, optimizer en gebruikte hardware.

Methode	CH-SIMS nauwkeurigheid (%)	CMU-MOSEI Nauwkeurigheid (%)
LSTM (vroege/late fusie)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptieve-Grafiek	78.46 ± 0.73	76.89 ± 0.81
Voorgestelde methode	81.72 ± 0.61	79.94 ± 0.69

Tabel 3: Evaluatie van de nauwkeurigheid van de voorgestelde methode met baseline-technieken op de CH-SIMS en CMU-MOSEI datasets. De resultaten worden gerapporteerd als gemiddelde ±± standaarddeviatie, verkregen uit vijf onafhankelijke experimentele runs (n = 5) met verschillende initialisaties van willekeurige seeds. Alle methoden werden geëvalueerd met identieke trainings-, validatie- en testpartities van hun respectieve datasets om een eerlijke vergelijking te garanderen.

Methode	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (vroege/late fusie)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Voorgestelde methode	0.298 ± 0.007	0.341 ± 0.008

Tabel 4: Resultaat van de gemiddelde absolute fout. Resultaten worden gerapporteerd als gemiddelde ±± standaarddeviatie, verkregen uit vijf onafhankelijke experimentele runs (n = 5) met verschillende willekeurige seed-initialisaties. Alle methoden werden geëvalueerd met identieke trainings-, validatie- en testpartities van hun respectieve datasets om een eerlijke vergelijking te garanderen. Vergelijking van de MAE voor de voorspelling van continue emotie-intensiteit met gebruik van het voorgestelde raamwerk en baseline-benaderingen op beide datasets.

Modelvariant	Nauwkeurigheid (%)	F1-score
Volledig model	81.72 ± 0.61	0.823 ± 0.008
Zonder ontwarring	78.94 ± 0.74	0.791 ± 0.010
Zonder graaffusie	77.88 ± 0.81	0.776 ± 0.011
Zonder visuele mapping	80.11 ± 0.66	0.807 ± 0.009
Basis Fusie	74.91 ± 0.98	0.742 ± 0.013

Tabel 5: Resultaat van de ablatiestudie met baseline-methoden. Resultaten worden weergegeven als gemiddelde ±± standaarddeviatie verkregen uit vijf onafhankelijke experimentele runs (n = 5) met verschillende initialisaties van random seeds. Alle methoden zijn geëvalueerd met identieke trainings-, validatie- en testpartities van hun respectievelijke datasets om een eerlijke vergelijking te waarborgen. Vergelijking van de prestaties tussen modelvarianten, waarbij de effectiviteit van het leren van ontwarde representaties, graafgebaseerde fusie en de visuele mapping-module wordt aangegeven.

Aanvullend bestand 1: Algoritme 1 en Algoritme 2.Klik hier om dit bestand te downloaden.

Discussie

De experimentele resultaten tonen aan dat het voorgestelde visual mapping-framework voor multimodale emotiekenmerken over de CH-SIMS- en CMU-MOSEI-datasets beter presteert dan huidige technieken voor multimodale emotieherkenning. Vergeleken met early en late fusion-modellen, zoals EF-LSTM en TFN, behaalt de voorgestelde techniek een hogere nauwkeurigheid en hogere F1-scores, wat de robuustheid bij het verwerken van diverse emotionele informatie aantoont. De verbetering van de methode kan worden toegeschreven aan de ontwarde emotievoorstelling, die modaliteitspecifieke ruis onderdrukt en emotieconsistentie waarborgt over de visuele, audio- en tekstmodaliteiten³⁶.

Onlangs hebben transformer-gebaseerde multimodale modellen, zoals Adaptive Multimodal Transformers³⁷ en MIAR³⁸, indrukwekkende resultaten laten zien bij het modelleren van cross-modale afhankelijkheden. Desondanks zijn deze modellen primair gericht op voorspelling en missen ze mechanismen om interpreteerbaarheid op kenmerkniveau te ondersteunen. In tegenstelling hiermee combineert het voorgestelde systeem grafiekgebaseerde cross-modale aandacht met een visuele mappingmodule, waardoor een transparante analyse van modaliteits- en emotionele interacties mogelijk wordt. Dit is een cruciaal aspect dat momenteel ontbreekt in de literatuur, waar emotionele inferentie wordt behandeld als een black-box-proces.

Het voorgestelde raamwerk vertoonde een consistente prestatie over de benchmarkdatasets CH-SIMS en CMU-MOSEI. Hoewel het raamwerk potentiële toepassingen kan hebben in intelligente mens-machineinteractie, gezondheidsmonitoring, adaptieve leeromgevingen en andere emotiebewuste systemen, evalueerde de huidige studie de methode uitsluitend onder gecontroleerde benchmarkcondities. Er is geen sprake geweest van implementatie in de praktijk, beoordeling van de gebruikersinterface, bruikbaarheidsstudie of evaluatie met menselijke proefpersonen. Daarom moet de praktische effectiviteit van het raamwerk in operationele omgevingen nog worden onderzocht. Toekomstig werk zal zich richten op implementatiegerichte evaluaties, gebruikersgerichte studies, latentieanalyse, beoordeling van het geheugengebruik en interactieprestaties in real-time.

Bovendien tonen de prestatieverbeteringen in diverse culturele en linguïstische datasets de validiteit van het voorgestelde raamwerk aan. In tegenstelling tot eerdere werken die zijn gevalideerd op basis van een enkele dataset of een specifiek interactiescenario, vertoont het voorgestelde raamwerk robuuste prestaties over verschillende talen, sprekers en emotionele expressies heen. Daarom is het voorgestelde raamwerk zeer geschikt voor praktische intelligente interactiesystemen die een nauwkeurige emotieherkenning en interpreteerbare besluitvorming vereisen.

De interpreteerbaarheid van het voorgestelde framework werd beoordeeld via visualisatiegebaseerde analyse van de geleerde multimodale representaties. Specifiek werden latente emotie-embeddings, cross-modale attention-kaarten, modaliteitsinteractiegrafieken en temporele emotietrajecten onderzocht om inzicht te krijgen in het besluitvormingsproces van het model en de bijdragen van de modaliteiten. Het doel van de visuele mapping-module is om de transparantie te vergroten door het mogelijk maken van observaties van interacties op kenmerkniveau en emotionele dynamiek. Formele interpreteerbaarheidsmetrieken, evaluaties van attention-faithfulness en gebruikersstudies waren echter niet opgenomen in het huidige werk. Daarom moeten de gerapporteerde voordelen op het gebied van interpreteerbaarheid worden geïnterpreteerd als visualisatiegebaseerd bewijs en niet als kwantitatief gevalideerde verklaarbaarheidsmaten.

Vanuit een theoretisch standpunt levert dit onderzoek de volgende bijdragen aan multimodale affectieve computing: het stelt een systematische methode voor voor het modelleren van emoties die een duidelijk onderscheid maakt tussen emotiespecifieke en modaliteitsspecifieke representaties. Door emotionele consistentie over modaliteiten heen te garanderen in een gemeenschappelijke latente ruimte, bevordert het voorgestelde raamwerk hiermee de theorie van representatieleer in multimodale systemen. De integratie van grafiekgebaseerde attentiemechanismen formaliseert bovendien de afhankelijkheden tussen de verschillende modaliteiten bij het uiten van emoties.

Vanuit een praktisch perspectief is het voorgestelde raamwerk zeer nuttig voor intelligent interactie-ontwerp en emotiegevoelige gebruikersinterfaces. De visuele mappingmodule in het voorgestelde raamwerk stelt systeemontwerpers in staat om het effect van verschillende modaliteiten op emotievoorspelling te begrijpen, wat van groot belang is voor systeemontwerpers. Het voorgestelde raamwerk is zeer waardevol voor toepassingen zoals affectieve conversationele agenten, adaptieve learningsystemen, interfaces voor gezondheidsmonitoring en platforms voor de evaluatie van gebruikerservaringen.

Het voorgestelde raamwerk kent echter enkele beperkingen. Het gebruik van grafiek-attentiemechanismen en transformer-encoders verhoogt de complexiteit, wat problematisch kan zijn voor apparaten met beperkte capaciteiten. Bovendien negeert de huidige studie andere fysiologische signalen, zoals EEG en eye-tracking, om zich te concentreren op visuele, audio- en tekstmodaliteiten. De computationele efficiëntie van het voorgestelde raamwerk voor real-time implementatie is niet specifiek beoordeeld, ondanks het feit dat het concurrerende voorspellingsprestaties en verbeterde visualisatiemogelijkheden behaalde. Toekomstig onderzoek zal de implementatieprestaties in real-world intelligente interactiecontexten, inferentievertraging, doorvoer, geheugenverbruik en modelcompressietechnieken onderzoeken. Om de nauwkeurigheid van emotiemodellering en de responsiviteit van interacties verder te verbeteren, zal toekomstig onderzoek zich richten op de ontwikkeling van lichtgewicht modellen, real-time optimalisatie technieken en de integratie van aanvullende modaliteiten. De real-time implementatieprestaties zijn niet beoordeeld, en de inclusie van transformer-encoders en grafiekgebaseerde attentiemethoden verhoogt de rekencomplexiteit. Alleen de CH-SIMS en CMU-MOSEI benchmark-datasets werden gebruikt om de methodologie te valideren, wat dataset-specifieke biases kan introduceren en de generaliseerbaarheid naar andere domeinen, talen en gebruikerspopulaties kan beperken. Daarnaast bevat de huidige studie geen fysiologische signalen zoals EEG- of eye-trackinggegevens; in plaats daarvan is de focus gelegd op visuele, audio- en tekstuele modaliteiten. Hoewel grondige beschrijvingen van de implementatie en de simulatieomgeving de reproduceerbaarheid hebben verbeterd, zijn de broncode en vooraf getrainde modellen momenteel niet publiekelijk beschikbaar.

In dit werk wordt een nieuw visueel mapping-raamwerk voor multimodale emotie-kenmerklering gebruikt voor intelligent interactie-ontwerp. De voorgestelde methode integreert end-to-end transformer-gebaseerde representatieleer, ontwarde emotiemodellering en graafgebaseerde cross-modale aandacht om een hoge voorspellende nauwkeurigheid en interpreteerbaarheid te bereiken. Experimenten op de CH-SIMS en CMU-MOSEI datasets tonen aan dat het voorgestelde raamwerk beter presteert dan state-of-the-art multimodale emotieherkenningsmodellen wat betreft nauwkeurigheid en F1-score. Belangrijker nog is dat de voorgestelde visuele mapping-oplossing de kloof tussen emotieherkenning en interactiestrategie overbrugt en een nieuwe richting biedt voor het ontwerp van interpreteerbare, interactiebewuste multimodale affectieve computingsystemen.

Om een interpreteerbaar en intelligent interactieontwerp te faciliteren, introduceerde deze studie een nieuw visueel mapping-framework voor het leren van multimodale emotiekenmerken. Het voorgestelde systeem integreert succesvol emotiedetectie en interpreteerbaarheid binnen een enkele architectuur door het combineren van transformer-gebaseerde multimodale kenmerkextractie, ontkoppeld leren van emotierepresentaties, graafgebaseerde cross-modale attentiefusie en visuele mapping-methoden. Naast het bieden van duidelijke visuele representaties van modaliteitsbijdragen, cross-modale interacties en temporele emotiedynamiek, toonde de experimentele evaluatie op de CH-SIMS en CMU-MOSEI benchmark-datasets verbeterde prestaties ten opzichte van representatieve baselinemethoden over verschillende metrieken, waaronder Accuracy, Precision, Recall, F1-score en Mean Absolute Error (MAE). Deze studie is echter beperkt tot evaluaties op twee benchmark-datasets en bevat geen deployment-studies in de echte wereld, gebruikersgerichte evaluaties, kwantitatieve beoordelingen van de uitlegbaarheid en de integratie van fysiologische modaliteiten. Bovendien kunnen omgevingen met beperkte middelen tegen problemen aanlopen vanwege de computationele kosten van transformer-encoders en graafgebaseerde attentieprocessen. Hoewel toekomstig werk zich zal concentreren op uitgebreidere validatie over diverse datasets, integratie van aanvullende modaliteiten, bruikbaarheidsstudies, het vrijgeven van reproduceerbare bronnen en optimalisatie voor real-time deployment-scenario's, toont het voorgestelde framework over het algemeen het potentieel van interpreteerbare multimodale emotieanalyse voor affectieve computing en intelligente interactietoepassingen.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Adam	PyTorch Optimizer Library	https://pytorch-optimizers.readthedocs.io/en/latest/ (Learning Rate = 1 × 10-4)	Parameteroptimalisatie tijdens modeltraining
CH-SIMS	Originele Dataset Repository	Laatste Publieke Release	Benchmark-dataset voor Chinese multimodale sentiment- en emotieanalyse
CMU-MOSEI	CMU Multimodal SDK Repository	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Laatste Publieke Release)	Benchmark-dataset voor multimodale sentiment- en emotieherkenning
Disentangled Emotion Encoder	Custom Implementatie	https://pytorch-geometric.readthedocs.io/en/latest/(Dual Encoder Architectuur)	Scheiding van emotiespecifieke en modaliteitsspecifieke latente representaties
Graph Attention Network (GAT)	PyTorch Geometric	Multi-head GAT (https://pytorch-geometric.readthedocs.io/en/latest/)	Modellering van cross-modale emotionele relaties en adaptieve feature-fusie
Graph-Based Cross-Modal Attention Layer	Custom Implementatie	Multi-Head Attention Fusion	Leren van fijnmazige emotionele afhankelijkheden tussen modaliteiten
Matplotlib	Matplotlib Project	3.7+	Genereren van plots en visuele analyses
NetworkX	NetworkX Project	3.0+	Constructie en visualisatie van cross-modale interactiegrafen
NVIDIA GPU	NVIDIA Corporation	CUDA-compatibele GPU	Versnelling van training van transformers en graph neural networks
Principal Component Analysis (PCA)	Scikit-learn	sklearn.decomposition.PCA	Initiële reductie van hoog-dimensionale emotie-embeddings
Python	Python Software Foundation	3.8+	Kernprogrammeertaal voor de implementatie van het multimodale emotieanalyse-framework
PyTorch	PyTorch Foundation	2.0+	Ontwikkeling, training en optimalisatie van diepe neurale netwerken
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, 768-dim embeddings)	Extractie van contextuele linguïstische en semantische emotierepresentaties
Seaborn	Seaborn Project	0.12+	Genereren van attention heatmaps en statistische visualisaties
t-distributed Stochastic Neighbor Embedding (t-SNE)	Scikit-learn	scikit-learn.org (Perplexity = 30, Iteraties = 1000)	Visualisatie van latente emotieclusters en trajecten
Ubuntu Linux	Canonical Ubuntu	20.04 LTS of later	Experimentele uitvoeringsomgeving
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, 768-dim embeddings	Extractie van emotiegevoelige visuele representaties uit videoframes
Wav2Vec 2.0	Meta AI Research	Base Model, 768-dim embeddings	Extractie van contextuele akoestische en spraakemotie-features