Mappatura visiva delle caratteristiche emotive multimodali per la progettazione di interazioni intelligenti

Sommario

Lo studio propone un framework end-to-end per l'analisi multimodale delle emozioni che sfrutta codificatori transformer, rappresentazioni delle emozioni disincagliate e un'attenzione intermodale basata su grafi con mappatura visiva, al fine di migliorare l'accuratezza del riconoscimento delle emozioni su due dataset.

Abstract

Rendendo possibile alle macchine comprendere, interpretare e reagire agli stati affettivi umani, la mappatura visiva dei tratti emozionali multimodali risulta fondamentale per la progettazione di interfacce intelligenti. Tuttavia, gli attuali algoritmi di rilevamento delle emozioni multimodali si concentrano principalmente sulle prestazioni predittive, offrendo scarse informazioni riguardo all'interpretabilità, alla consapevolezza delle interazioni o alle interazioni incrociate tra modalità a livello di caratteristiche. Questo studio introduce un framework per la mappatura visiva degli aspetti emotivi multimodali che combina visualizzazione orientata all'interazione, apprendimento interpretabile di rappresentazioni e previsione delle emozioni. Senza ricorrere a caratteristiche create manualmente, encoder basati su trasformatori sono stati utilizzati per estrarre embedding emotivi ad alto livello dalle modalità testuale, audio e visiva. Per migliorare la robustezza, le informazioni specifiche per l'emozione e quelle specifiche per la modalità sono state separate mediante una tecnica di apprendimento di rappresentazioni disinnescate. Inoltre, è stata sviluppata una rete grafica di attenzione multimodale per simulare, attraverso un pesatura adattiva dell'attenzione, le relazioni emotive sottili tra le diverse modalità. È stato creato un modulo di mappatura visiva multivista per rappresentare traiettorie temporali delle emozioni, distribuzioni di attenzione incrociata tra modalità e embedding latenti delle emozioni, al fine di aumentare la trasparenza. Il framework proposto è stato valutato utilizzando il dataset Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) e il Chinese Multimodal Sentiment Analysis Dataset (CH-SIMS). I risultati sperimentali indicano che il framework proposto offre una maggiore interpretabilità a livello di caratteristiche e una visualizzazione consapevole delle interazioni, superando costantemente le tecniche di riferimento rappresentative in termini di accuratezza, F1-score, correlazione ed errore assoluto medio. Inoltre, il modulo di mappatura visiva ha facilitato l'interpretazione qualitativa delle rappresentazioni emotive multimodali, delle interazioni incrociate tra modalità e della dinamica temporale delle emozioni, sostenendo la visualizzazione e l'analisi consapevole dell'interazione.

Introduzione

La capacità di identificare correttamente e comprendere il sentimento umano è diventata fondamentale per migliorare l'interazione tra esseri umani e macchine. Oltre a essere essenziale per migliorare l'interazione uomo-computer, l'analisi delle emozioni ha il potenziale di rivoluzionare diversi settori, tra cui la diagnosi medica pre-diagnostica¹, l'analisi del comportamento in ambito scolastico², il monitoraggio psicologico dei pazienti³, l'identificazione della fatica nei veicoli⁴ e la gestione intelligente negli ambienti domestici intelligenti⁵. I recenti sviluppi nel campo del computing affettivo e dell'apprendimento profondo⁶ hanno accresciuto l'interesse verso la creazione di sistemi in tempo reale in grado di cogliere la complessità delle emozioni umane.

Molti metodi attuali si basano principalmente su dati unimodali, come segni testuali, grafici o auditivi^7,8,9. Questi approcci non riescono ripetutamente a rilevare segnali raffinati come l'ironia o le sfumature specifiche del contesto. La ricerca si è spostata verso una valutazione multimodale delle emozioni, che integra dati complementari provenienti da più fonti per superare tali limitazioni^10,11,12I vantaggi della fusione di più modalità sono stati dimostrati da modelli di base come l'early fusion-long short-term memory (EF-LSTM)13 e le reti neurali profonde leggere e FM (LF-DNN)¹⁴, reti di fusione tensoriale (TFN) e approcci di fusione multimodale a rango ridotto. Tuttavia, la maggior parte di questi approcci si basa sulla generazione offline di caratteristiche e non è adatta a situazioni dinamiche e reali.

Per tenere conto degli stati emotivi, negli ultimi dieci anni la ricerca e le applicazioni nel campo dell'identificazione multimodale delle emozioni sono notevolmente cresciute¹⁵. Uno degli ambiti di ricerca più complessi e significativi al giorno d'oggi è il monitoraggio continuo degli stati emotivi mediante l'utilizzo di diverse fonti di dati¹⁶. L'idea di multimodalità è emersa in modo del tutto naturale con lo sviluppo di un sistema così variegato di conoscenze, portando a numerosi progressi nell'applicazione delle emozioni in settori come il calcolo emotivo, l'interazione uomo-macchina (HCI), l'apprendimento, i videogiochi, il servizio al consumatore, l'assistenza medica, la valutazione dell'esperienza utente (UX), ecc. Tuttavia, non è sempre stato semplice applicare le tecniche di riconoscimento delle emozioni nella valutazione dell'esperienza utente.

Uno dei motivi principali per cui è preferibile concentrarsi sul riconoscimento multimodale piuttosto che sui metodi unimodali risiede negli svantaggi intrinseci del dipendere da un'unica fonte informativa. I sistemi di rilevamento delle emozioni unimodali possono presentare un'accuratezza inferiore a causa di dati mancanti o poco chiari, mentre gli schemi di riconoscimento multimodale (MER) risultano più affidabili e offrono una comprensione più completa e articolata degli stati espressivi integrando più fonti di dati¹⁷. Ad esempio, il linguaggio facciale da solo potrebbe non essere sufficiente per classificare con precisione le emozioni, specialmente quando i gesti sono complessi o ambigui. Tuttavia, combinando le espressioni facciali con altre forme di comunicazione, come il linguaggio verbale o i segnali fisici, è possibile aumentare l'accuratezza nel riconoscimento delle emozioni.

Sono state condotte numerose ricerche sul riconoscimento delle emozioni in diverse modalità. Gli studi iniziali si sono concentrati sull'identificazione di caratteristiche distintive provenienti da modalità differenti, come input grafici, acustici o basati su testo. Tuttavia, sta diventando sempre più evidente che l'integrazione di diverse modalità può fornire informazioni emotive bilanciate, portando a un rilevamento del sentiment più affidabile e preciso. Questo segmento esamina i principali progressi nell'analisi emotiva unimodale e multimodale, concentrandosi sugli approcci di base, sui loro limiti e sulla giustificazione del nostro metodo.

Lo studio iniziale sul riconoscimento delle emozioni si è concentrato principalmente su una singola modalità. Nell'ambito visivo, ricerche pionieristiche hanno portato alla categorizzazione dei movimenti facciali prototipici²⁰. Successivi progressi hanno incluso tecniche per catturare la dinamica temporale, come il movimento visivo²¹ e i modelli markoviani nascosti²², mentre le risposte facciali sono state suddivise in unità d'azione mediante il Facial Action Coding System (FACS)²³. Le reti neurali ricorrenti a lunga memoria a breve termine (LSTM) e le reti neurali convoluzionali (CNN) sono state utilizzate con successo per estrarre caratteristiche significative direttamente da segnali audio grezzi; le metodologie per l'identificazione delle emozioni basate sull'audio sono evolute dal tradizionale processamento del segnale all'apprendimento profondo²⁴. L'estrazione di segnali di sentimento contestuale nell'analisi delle emozioni basata sul testo è stata notevolmente potenziata da reti neurali ricorrenti (RNN) dotate di meccanismi di attenzione e, più recentemente, da modelli basati su trasformatori. Nonostante i loro risultati, le tecniche unimodali sono intrinsecamente incapaci di rappresentare con precisione le complessità vissute dalle persone, poiché mancano delle informazioni supplementari presenti in altre modalità.

Alcuni modelli basati su meccanismi di attenzione, come il modello DialogXL25, sono stati proposti nel 2021 per raccogliere dati ambientali a lungo termine nel campo dell'identificazione del sentiment nelle conversazioni. Kim et al.²⁶ hanno introdotto il modello EmoBERTa nel 2021 per aumentare l'accuratezza dell'ERC. Questo modello utilizza dati relativi ai parlanti per migliorare le caratteristiche dei parlanti nelle conversazioni e le loro interazioni reciproche. Nel 2022, Li et al.²⁷ ha presentato il metodo CoG-BART. L'organizzazione utilizza un apprendimento contrastivo supervisionato per migliorare la capacità del modello di interpretare dati rilevanti. Va notato che l'apprendimento supervisionato richiede una quantità sostanziale di dati etichettati.

Un esempio tipico di tali lavori è il framework Multimodal Interaction-Aware Representation (MIAR)²⁸, che utilizza token di interazione delle caratteristiche e allineamento contrastivo per migliorare la generalizzazione tra le diverse modalità. MIAR migliora l'allineamento delle modalità e raggiunge prestazioni elevate su più dataset; tuttavia, si concentra principalmente sull'accuratezza predittiva senza affrontare il mapping visivo. Analogamente, il modello di fusione audio-visiva con attenzione incrociata²⁹ cattura efficacemente interazioni audio-visive finemente dettagliate per la previsione di valenza ed eccitamento, ma è limitato a due sole modalità e non dispone di capacità di visualizzazione. Gli approcci di modellazione temporale basati su reti LSTM e fusione con autoencoder riescono a catturare con successo la dinamica temporale delle emozioni, ma offrono informazioni limitate sulle interazioni tra modalità e sulle rappresentazioni emotive apprese. Più di recente, metodi basati su trasformatori come la Transformer-based Multimodal Fusion Network (TMFN)³⁰ hanno dimostrato ottime prestazioni su CMU-MOSI e CMU-MOSEI grazie a una fusione multimodale avanzata e all'apprendimento contrastivo. Tuttavia, questi approcci rimangono principalmente orientati alle prestazioni e offrono un supporto limitato per la spiegabilità, l'interpretazione a livello di caratteristiche e la visualizzazione orientata alle interazioni.

Per migliorare l'integrazione di dati testuali, acustici e visivi, sono state proposte diverse tecniche di riconoscimento delle emozioni multimodali. Sebbene non siano riuscite a catturare interazioni intricate tra i diversi modi, tecniche di fusione precoce come EF-LSTM e LF-DNN hanno dimostrato i vantaggi dell'uso di informazioni multimodali per l'analisi del sentiment e delle emozioni. Sebbene il TFN abbia migliorato le prestazioni su dataset di riferimento come CMU-MOSI e CMU-MOSEI e abbia introdotto una modellizzazione esplicita delle interazioni inter-modali, la sua limitata interpretabilità e la complessità computazionale elevata ne hanno ostacolato l'utilità. Per migliorare l'allineamento modale e la fusione dinamica delle caratteristiche, tecniche più recenti come MIAR, modelli di fusione con attenzione incrociata, TMFN e trasformatori multimodali adattivi hanno utilizzato topologie basate sui trasformatori e meccanismi di attenzione. Questi metodi si sono concentrati principalmente sulle prestazioni predittive, offrendo poche informazioni sulle rappresentazioni emotive a livello di caratteristiche e sulle dipendenze inter-modali, nonostante abbiano ottenuto risultati competitivi su metriche di valutazione comuni come accuratezza, F1-score ed errore assoluto medio. Inoltre, pochi studi hanno sviluppato tecniche di visualizzazione in grado di rivelare embedding latenti delle emozioni, distribuzioni dell'attenzione e dinamiche temporali delle emozioni, oppure hanno integrato modellizzazioni basate su grafi per le interazioni inter-modali. L'approccio proposto integra mappatura visiva multi-vista, fusione con attenzione inter-modale basata su grafi e apprendimento di rappresentazioni disaccoppiate per superare questi limiti e migliorare le prestazioni nel riconoscimento delle emozioni multimodali.

Allo stesso modo, l'Adaptive Multimodal Transformer³² propone una fusione basata sullo scambio per attenuare in modo adattivo informazioni modali rumorose o mancanti, migliorando così le prestazioni nella classificazione del sentiment. Sebbene questo approccio possa affrontare efficacemente le discrepanze nella distribuzione delle informazioni modali, la sua progettazione è specifica per l'analisi del sentiment e fornisce informazioni limitate sulle rappresentazioni emotive apprese. Un altro contributo significativo è il Multimodal Fusion Model³³, che integra CNN, LSTM moltiplicativi e meccanismi di attenzione basati su transformer per il riconoscimento multimodale delle emozioni in tempo reale. Il modello esegue una fusione completa delle modalità video, audio e testo e mostra prestazioni robuste nella riconoscibilità. Tuttavia, come altri modelli esistenti, si concentra principalmente sull'accuratezza predittiva e presenta caratteristiche esplicite limitate per la visualizzazione e l'interpretabilità orientata all'interazione.

In conclusione, sebbene gli attuali approcci all'avanguardia per il riconoscimento multimodale delle emozioni abbiano ottenuto notevoli successi nel catturare le interazioni cross-modalità e nel migliorare l'accuratezza delle previsioni, la maggior parte di essi si concentra su compiti guidati dal riconoscimento. Aree come l'interpretabilità a livello di caratteristiche, la visualizzazione delle rappresentazioni emotive nello spazio dell'immagine e l'integrazione del framework proposto per la progettazione di interazioni intelligenti hanno ricevuto poca attenzione. È proprio tenendo presenti queste sfide che viene introdotto il framework proposto.

La maggior parte dei metodi attuali si concentra principalmente sul miglioramento delle prestazioni predittive, offrendo tuttavia scarsa interpretabilità delle rappresentazioni emotive apprese e delle interazioni cross-modali, nonostante i notevoli progressi nel riconoscimento multimodale delle emozioni^28,29. Le interazioni complesse tra le modalità testuale, acustica e visiva risultano spesso difficili da modellare per le attuali strategie di fusione, specialmente in presenza di discrepanze tra le modalità e carenze informative ^28,31. Sebbene le architetture basate sui transformer e i meccanismi di attenzione abbiano migliorato l'apprendimento delle rappresentazioni, la loro trasparenza e interpretabilità risultano spesso ridotte dall'assenza di una separazione esplicita tra informazioni specifiche dell'emozione e informazioni specifiche della modalità^31,32,33. Inoltre, solo un numero limitato di studi ha esplorato la modellazione basata su grafi delle interazioni intermodali o sviluppato framework di visualizzazione in grado di rivelare la dinamica temporale delle emozioni, le distribuzioni dell'attenzione e gli embedding emotivi. Questi limiti evidenziano la necessità di un framework multimodale interpretabile per l'interazione intelligente uomo-macchina, che unisca un mappatura visiva orientata all'interazione con un apprendimento cross-modale robusto.

Questo lavoro presenta un framework interpretabile per la mappatura visiva di aspetti emotivi multimodali nella progettazione di interfacce intelligenti. Senza la necessità di caratteristiche create manualmente, il sistema utilizza un apprendimento profondo end-to-end per estrarre rappresentazioni emotive di alto livello da modalità testuale, audio e visiva. Le interazioni emotive cross-modalità sono modellate mediante un meccanismo di fusione basato sull'attenzione grafica che separa informazioni specifiche dell'emozione e informazioni specifiche della modalità, consentendo un apprendimento di rappresentazioni disgiunte e migliorando l'interpretabilità e la robustezza. Inoltre, viene creato un modulo di visualizzazione multivista per mostrare la dinamica temporale delle emozioni, i pattern di attenzione cross-modali e gli embedding emotivi. L'efficacia e l'idoneità del framework proposto nei sistemi di interazione uomo-macchina intelligenti viene valutata attraverso la validazione su dataset di riferimento per il riconoscimento emotivo multimodale.

Questo studio propone un framework innovativo per la mappatura visiva degli aspetti multimodali delle emozioni, superando gli approcci tradizionali orientati alla previsione e affrontando le limitazioni legate alla scarsa modellizzazione delle interazioni cross-modali e all’interpretabilità ridotta nei sistemi attuali di riconoscimento delle emozioni multimodali. All’interno di un’unica architettura, l’approccio proposto integra l’apprendimento della rappresentazione multimodale basato su transformer, la modellizzazione di caratteristiche disincagliate sensibili alle emozioni, la fusione dell’attenzione cross-modale basata su grafi e una visualizzazione orientata alle interazioni. A differenza degli approcci attuali, focalizzati principalmente sulle prestazioni di classificazione, il framework separa chiaramente le rappresentazioni specifiche dell’emozione da quelle specifiche della modalità, migliorando così interpretabilità, robustezza e coerenza cross-modale. Inoltre, viene introdotto un meccanismo di attenzione basato su grafi per consentire una modellizzazione adattativa delle interazioni inter-modali, catturando le interdipendenze emotive finemente dettagliate tra le modalità testuale, audio e visiva. Viene sviluppato un modulo di mappatura visiva multivista per aumentare la trasparenza, rivelando traiettorie temporali delle emozioni, schemi di attenzione cross-modale e incorporamenti latenti delle emozioni, fornendo così informazioni intuitive sul processo decisionale del modello. Oltre a offrire una visualizzazione e un’interpretabilità migliorate della dinamica emotiva multimodale, la valutazione sperimentale sui dataset di riferimento CH-SIMS e CMU-MOSEI ha mostrato prestazioni competitive in termini di accuratezza, punteggio F1, errore assoluto medio e correlazione.

Protocollo

Il lavoro proposto mira a migliorare la progettazione dell'interazione intelligente offrendo un framework interpretabile per la mappatura visiva delle caratteristiche emotive multimodali. I database CH-SIMS e CMU-MOSEI, accessibili al pubblico, sono stati utilizzati in questo lavoro. Entrambi i dataset sono stati ottenuti dalle loro fonti ufficiali e utilizzati nel rispetto delle linee guida d'uso, degli standard di ricerca e delle condizioni di licenza stabilite dai rispettivi creatori. Il contenuto multimodale dei dataset, comprensivo di dati testuali, audio e video, è stato inizialmente raccolto e annotato dai fornitori dei dataset conformemente alle autorizzazioni ottenute dai partecipanti e ai protocolli di raccolta dati. Nello studio non è avvenuta alcuna interazione diretta con soggetti umani, non è stato effettuato il reclutamento di nuovi partecipanti e non sono state raccolte informazioni identificabili personalmente. Tutte le analisi sono state condotte utilizzando dataset di ricerca pubblicamente disponibili. Di conseguenza, la nostra analisi secondaria dei dati non ha richiesto ulteriori approvazioni etiche né revisione da parte di un comitato etico istituzionale (IRB). Lo studio è stato condotto nel rispetto delle norme istituzionali appropriate che regolano l'uso di dataset pubblicamente disponibili, le procedure di ricerca etica e le politiche applicabili sull'utilizzo dei dati.

È stato impiegato un meccanismo di attenzione cross-modale basato su grafi per apprendere caratterizzazioni emotive attraverso diverse modalità, utilizzando caratteristiche specifiche per l'emozione o per la modalità al fine di migliorare la comprensione. Un componente di mappatura visiva multivista viene utilizzato per potenziare la progettazione interattiva in tempo reale sensibile alle emozioni, e la sua efficienza è stimata per il riconoscimento delle emozioni. I risultati mostrano che il metodo proposto migliora sia l'interpretabilità che l'efficienza delle interfacce utente intelligenti sensibili alle emozioni nel mondo reale. Figura 1 mostra il flusso architetturale del lavoro proposto. Figura 1 illustra l'intero flusso di lavoro del framework di mappatura visiva suggerito per l'apprendimento delle caratteristiche emotive multimodali nel contesto dei sistemi di interazione intelligente. Il flusso inizia con tre modalità di ingresso sincronizzate, ovvero testo, audio e video, che acquisiscono informazioni emotive complementari rispettivamente dalle modalità linguistica, prosodica ed espressione facciale. Un codificatore transformer specifico per ciascuna modalità elabora ogni modalità per ottenere rappresentazioni di alto livello dei dati grezzi in ingresso. Le rappresentazioni vengono quindi inviate a un modulo di apprendimento delle rappresentazioni disinnescate, in cui gli embedding specifici per l'emozione vengono separati dalle caratteristiche specifiche della modalità, garantendo coerenza nelle emozioni apprese attraverso fonti di dati eterogenee. Gli embedding specifici per l'emozione di ciascuna modalità vengono quindi aggregati da una rete di attenzione cross-modale basata su grafi, che modella le dipendenze emotive inter-modalità e assegna pesi dinamici di importanza a ciascuna modalità in base al contesto d'interazione. Infine, il framework fornisce sia output di classificazione emotiva sia informazioni sull'interazione, facilitando decisioni trasparenti sensibili alle emozioni e una progettazione adattiva dell'interazione intelligente.

Acquisizione di dati multimodali

I dataset CH-SIMS e CMU-MOSEI sono due dataset multimodali esistenti di pubblico dominio che hanno raccolto informazioni multimodali, come video, audio e testo sincronizzati. Il dataset CH-SIMS comprende esami multimodali di persone di lingua cinese, inclusi 2.281 segmenti video, derivati da diversi segmenti provenienti da film, serie televisive e programmi di varietà. L'aggiunta di audio e testo corrispondenti a questi segmenti video rende più interessante e fattibile lo studio dell'analisi multimodale delle emozioni mediante dati multimodali. Tuttavia, uno dei più ampi dataset multimodali per l'esame di opinioni, sentimenti ed emozioni è il dataset CMU-MOSEI, raccolto da oltre 23.000 clip video di frasi pronunciate da più di 1.000 oratori su una varietà di argomenti. Il dataset è stato suddiviso casualmente in sottoinsiemi di training (70%), validazione (15%) e test (15%), preservando la distribuzione delle classi.

Trascrizioni testuali, segnali audio e fotogrammi video vengono acquisiti e allineati temporalmente in modo da corrispondere a un livello temporale fine. L'integrazione a livello di fotogramma garantisce che i meccanismi proposti di apprendimento della rappresentazione e di fusione basata su grafi possano modellare e sfruttare congiuntamente il contenuto emotivo derivante da espressioni visive, toni vocali e contenuti linguistici. L'estrazione efficace delle dinamiche emotive intermodali è resa possibile da questa tecnica di acquisizione multimodale, fondamentale per la progettazione di interazioni intelligenti e per una mappatura visiva comprensibile.

Tabella 1 presenta le strutture principali dei dataset multimodali sulle emozioni utilizzati nel metodo proposto. Per ottenere un ampio spettro di sentimenti correlati, come parole parlate, intonazioni della voce ed espressioni facciali, CH-SIMS e CMU-MOSEI integrano modalità video, audio e testo provenienti da questi dataset. Inoltre, il numero limitato di campioni disponibili in CH-SIMS permette un'analisi approfondita delle interazioni tra modalità e delle variazioni emotive in ambito cinese. D'altro canto, il dataset CMU-MOSEI risulta più importante per valutare la robustezza degli algoritmi di apprendimento delle rappresentazioni e delle tecniche di visualizzazione trattati in questo studio, poiché comprende una grande quantità di dati in diverse lingue, soggetti e livelli emotivi annotati. In aggiunta, rispetto alle ricerche precedenti, riduce le difficoltà nella selezione delle informazioni durante i test dei modelli.

Preelaborazione e sincronizzazione multimodali

Le annotazioni temporali dei dataset CH-SIMS e CMU-MOSEI sono state utilizzate per sincronizzare le modalità testuale, uditiva e visiva, garantendo un apprendimento coerente della rappresentazione multimodale. Ogni enunciato fungeva da unità fondamentale di analisi ed era associato a segmenti audio e video corrispondenti nello stesso intervallo temporale. L'allineamento è stato eseguito a livello di enunciato. La trascrizione è stata suddivisa in segmenti in base ai timestamp di inizio e fine di ciascun enunciato. La corrispondenza tra trascrizione, audio e video è stata stabilita estraendo i fotogrammi video e i segnali audio corrispondenti che rientravano nello stesso intervallo temporale. Mentre i segmenti audio sono stati elaborati utilizzando Wav2Vec 2.0 per produrre rappresentazioni acustiche, i fotogrammi visivi del segmento video sono stati campionati a una frequenza predeterminata e codificati utilizzando il Vision Transformer (ViT). L'encoder RoBERTa è stato utilizzato per creare embedding testuali a partire dalle trascrizioni degli enunciati. La sincronizzazione temporale è stata ottenuta allineando tutte le caratteristiche delle modalità a un singolo confine dell'enunciato, poiché le tre modalità producevano sequenze di caratteristiche di lunghezza variabile. È stato utilizzato un formato a lunghezza fissa per normalizzare le sequenze di lunghezza variabile. Le sequenze più lunghe sono state accorciate alla lunghezza massima consentita, mentre le sequenze più brevi sono state completate con zeri. Durante l'addestramento, sono state utilizzate maschere di attenzione per separare gli elementi aggiunti per il padding dalle posizioni legittime delle caratteristiche. Gli embedding specifici per ciascuna modalità sono stati proiettati in uno spazio latente comune prima della fusione, al fine di superare le diverse lunghezze delle sequenze tra le modalità. Ciò ha garantito coerenza dimensionale e ha permesso al meccanismo di attenzione basato su grafi di facilitare un efficace apprendimento dell'interazione cross-modale. Per preservare la qualità dei dati e l'integrità della sincronizzazione, sono stati esclusi dagli studi i campioni con file corrotti, annotazioni mancanti o informazioni incomplete sulle modalità.

Estrazione di caratteristiche basata su Transformer

Un metodo di apprendimento profondo viene utilizzato per apprendere rappresentazioni di caratteristiche di alto livello consapevoli delle emozioni a partire da informazioni provenienti da più modalità, come visione, audio e testo, in modo end-to-end, dopo l'allineamento dei dati multimodali e ogni preelaborazione necessaria. Utilizzando un codificatore transformer per apprendere rappresentazioni di caratteristiche intrinsecamente discriminative a partire da dati multimodali grezzi, il metodo proposto elimina la necessità di ingegnerizzazione delle caratteristiche. Per favorire la coerenza tra i diversi dataset utilizzati nell'approccio proposto, viene appresa un'incorporazione (embedding) di dimensione fissa per ciascuna modalità. Ad esempio, vengono appresi embedding di caratteristiche di 768 dimensioni per ciascuna delle singole modalità, inclusa l'immagine, l'audio e il testo, formando collettivamente uno spazio unificato di caratteristiche utilizzato in tutto l'approccio, in particolare un approccio di estrazione di caratteristiche applicato al dataset CH-SIMS proposto e al dataset CMU-MOSEI per apprendere caratteristiche di alto livello da dati di dimensioni diverse.

Modalità visiva: Vision transformer per incorporamenti di frame consapevoli delle emozioni

È stato utilizzato un modello Vision Transformer (ViT-Base) per estrarre informazioni visive dai fotogrammi video al fine di ottenere rappresentazioni spaziali rilevanti per le emozioni. Prima dell'estrazione delle caratteristiche, i fotogrammi di ciascun segmento video sono stati ridimensionati a (224 × 224) pixel e campionati a intervalli temporali regolari. Utilizzando una dimensione di patch di 16 × 16 pixel, l'architettura ViT-Base produce una serie di token visivi elaborati da 12 livelli encoder del transformer. Le rappresentazioni a livello di fotogramma ottenute sono state proiettate in uno spazio di embedding a 768 dimensioni mediante un modello ViT preaddestrato utilizzato come backbone visivo. Gli embedding a livello di fotogramma sono stati aggregati mediante media pooling per creare la rappresentazione visiva finale di ciascun segmento. Durante l'addestramento, sono state applicate normalizzazione delle immagini e comuni tecniche di aumento, come il ritaglio casuale e il ribaltamento orizzontale, per migliorare la capacità di generalizzazione. Successivamente, è stato utilizzato il framework proposto di fusione multimodale per combinare questi embedding visivi con rappresentazioni testuali e uditive.

Per mantenere le dinamiche temporali nell'emozione, i campioni video dai dataset CH-SIMS e CMU-MOSEI verranno sottoposti a campionamento uniforme per la modalità visiva. I fotogrammi di ciascun video, , possono essere suddivisi in N sezioni di dimensioni fisse, che vengono quindi appiattite e trasformate inversamente in uno spazio di embedding latente di dimensione . Viene creata una serie aggiungendo embedding posizionali e un token di raggruppamento apprendibile:

   (1)

dove   rappresenta la codifica posizionale e   è la matrice di embedding del patch.

Vengono utilizzati strati di encoder transformer sovrapposti, composti da reti feed-forward e da auto-attribuzione multi-testa, per elaborare la sequenza di patch incorporata. La trasformazione allo strato l è descritta come:

   (2)

   (3)

Per ottenere il vettore di caratteristiche visive consapevole delle emozioni, si estrae l'output equivalente al token di classe come vettore di caratteristiche . Per affrontare rappresentazioni visive delle emozioni coerenti nonostante le differenze linguistiche e di contenuto tra i diversi dataset, gli embedding a livello di fotogramma di ciascun segmento video vengono combinati per catturare le espressioni facciali e l'evoluzione delle emozioni.

Modalità audio utilizzando Wav2Vec 2.0 per l'embeddings prosodico e semantico acustico Gli embeddings vocali contestualizzati sono stati prodotti utilizzando un codificatore Wav2Vec 2.0 preaddestrato come base acustica. Un vettore di caratteristiche acustiche di lunghezza fissa per ogni frase è stato ottenuto aggregando le rappresentazioni nascoste in uscita mediante media pooling. Il modello Wav2Vec 2.0 è stato utilizzato per estrarre rappresentazioni acustiche dai segnali audio al fine di catturare caratteristiche vocali contestuali e rilevanti per le emozioni. Prima dell'estrazione delle caratteristiche, le registrazioni audio sono state normalizzate e ricampionate a 16 kHz. Per garantire la sincronizzazione tra le modalità testuale e visiva, ogni segmento audio a livello di enunciato è stato isolato utilizzando i limiti temporali forniti dalle annotazioni del dataset. Il codificatore acustico preaddestrato è stato aggiornato durante l'addestramento del modello per migliorare l'adattamento specifico al compito, consentendo alle rappresentazioni ottenute di rappresentare in modo più accurato gli aspetti emotivi dei segnali vocali. Successivamente, sono state eseguite la fusione dell'attenzione multimodale basata su grafi e l'apprendimento di rappresentazioni disincagliate utilizzando gli embeddings audio finali.

Nella modalità audio, Wav2Vec-2.0 viene utilizzato per modellare i segnali vocali derivati dalle informazioni vocali iniziali nei dataset CH-SIMS e CMU-MOSEI, estraendo direttamente caratteristiche audio relative all'emozione. È presente una codifica convoluzionale delle caratteristiche per ogni segnale vocale in ingresso :

   (4)

dove Z indica tratti prosodici di basso livello come melodia, tono ed energia. Una rete contestuale basata su transformer è utile per le strutture sopra menzionate, in quanto rappresenta dipendenze temporali a lungo raggio:

   (5)

I dati acustici prosodici e semantici, essenziali per esprimere le emozioni, sono inclusi in queste rappresentazioni acustiche contestuali. Un'incorporazione audio di lunghezza specifica viene creata eseguendo una procedura di pooling temporale:

   (6)

Il design evita l'uso di caratteristiche acustiche come gli MFCC e raggiunge robustezza estraendo semplicemente rappresentazioni dalle forme d'onda, utilizzando dati vocali inglesi da CMU-MOSEI e dati vocali cinesi da CH-SIMS.

Modalità testuale utilizzando RoBERTa per incorporamenti contestuali delle emozioni

Per la modalità testuale, il trasformatore bidirezionale profondo RoBERTa viene applicato alle trascrizioni vocali dei due set di dati per generare semantica contestuale e significato affettivo. Gli encoder trasformatori basati su RoBERTa sono stati utilizzati per estrarre rappresentazioni testuali dai dati delle trascrizioni al fine di catturare informazioni semantiche contestuali ed emozionali. È stato utilizzato un modello RoBERTa preaddestrato per il dataset CMU-MOSEI in lingua inglese, mentre per il dataset cinese CH-SIMS è stata impiegata una variante cinese di RoBERTa, per tenere meglio conto delle caratteristiche linguistiche specifiche della lingua. La pre-elaborazione del testo ha incluso la tokenizzazione mediante il tokenizer RoBERTa appropriato per ciascuna lingua e la normalizzazione del testo. Per garantire un'elaborazione coerente per batch, le sequenze di input sono state convertite in embedding di token e successivamente riempite o tagliate fino a una lunghezza massima predeterminata. In conformità con il formato di input di RoBERTa, sono stati introdotti token speciali di classificazione e di separazione. Un embedding testuale di lunghezza fissa è stato ottenuto aggregando le rappresentazioni contestualizzate dei token prodotte dall'encoder trasformatore, utilizzando la rappresentazione finale della frase equivalente al [CLS]. Per adattare le rappresentazioni apprese al compito di riconoscimento delle emozioni, gli encoder RoBERTa preaddestrati sono stati affinati attraverso un addestramento multimodale. Successivamente, il framework proposto di fusione multimodale è stato utilizzato per unire gli embedding testuali con le caratteristiche audio e visive.

Gli embedding dei token e le codifiche posizionali possono essere combinati per ogni input tokenizzato, , per creare la rappresentazione dell'input nella tecnica di trasformazione profonda bidirezionale nota come

   (7)

Questa forma è rappresentata attraverso i livelli del trasformatore L, che utilizza l'auto-attenzione per scoprire le dipendenze contestuali tra le parole:

  (8)

L'incorporamento contestuale dell'emozione si ottiene utilizzando lo stato nascosto finale del token di classificazione:

   (9)

Polarità del sentiment, emozioni intense e implicazioni associate sono esempi di caratteristiche linguistiche legate alle emozioni che verranno rappresentate da questo embedding. RoBERTa semplifica la modellazione indipendente dal linguaggio. Ciò consente al sistema di utilizzare la stessa dimensione dell'embedding sia per i testi in inglese del dataset CMU-MOSEI che per i testi in cinese del dataset CH-SIMS.

Tre vettori di caratteristiche specifici per modalità, ciascuno di 768 dimensioni, relativi alle modalità visiva f_v, audio f_a e testuale f_t, vengono estratti tramite il passaggio proposto di apprendimento della rappresentazione delle caratteristiche profonde. Nella progettazione dell'interazione intelligente, queste rappresentazioni apprese creano uno spazio unificato di caratteristiche multimodali che costituisce la base per il mapping visivo a livello di caratteristiche, la fusione incrociata multimodale basata su grafi e l'apprendimento di rappresentazioni disaccoppiate.

Apprendimento della rappresentazione disaccoppiata

Dopo aver appreso una rappresentazione di caratteristiche profonde, un'ulteriore elaborazione dei vettori di caratteristiche multimodali provenienti dalle modalità visiva, uditiva e testuale può produrre una descrizione emotiva disgiunta. Se gli embedding di caratteristiche specifici per modalità delle modalità uditiva, visiva e testuale utilizzati nel passaggio precedente sono rappresentati da f_v, f_a e f_t, rispettivamente, in modo tale che   e , l'obiettivo di questo passaggio è fattorizzare tutte le caratteristiche modali in due rappresentazioni latenti distinte, che includono le rappresentazioni emotive tenendo conto della semantica precedente di ciascuna delle diverse modalità.

Ciò viene ottenuto fornendo a ciascuna caratteristica modale, f_m , due reti di proiezione parallele: un codificatore emotivo   e un codificatore modale , dove vengono prodotte le due codifiche.

  (10)

Dove   la caratteristica latente associata all'emozione è rappresentata da   rappresenta una caratteristica latente specifica di una modalità. Ciò consente agli embedding specifici per l'emozione di comunicare ripetutamente con uno spazio comune attraverso più input, inclusi audio, video e testo, mantenendo al contempo i dati strutturali unici associati a ciascuna modalità.

Una separazione efficace è ottenuta ricostruendo con vincoli di indipendenza. La ricostruzione della caratteristica dell'originale modalità è data da:

  (11)

dove  è una rete decoder. La perdita di ricostruzione preserva i seguenti dati:

   (12)

Inoltre, l'ortogonalità, o decorrelazione, tra emozione e rappresentazioni specifiche della modalità limita spesso la sovrapposizione di informazioni:

   (13)

Raggiungendo questi obiettivi, il modello potrebbe apprendere rappresentazioni delle emozioni affidabili, comprensibili e resistenti alla variabilità modale. Successive fusioni cross-modalità basate su grafi e caratteristiche di mappatura visiva, specialmente per la progettazione di interazioni intelligenti, dipendono fortemente da rappresentazioni emotive interpretabili e strutturate.

Coincidenza delle emozioni tra le diverse modalità

L'aggiunta della coerenza emotiva migliora chiaramente l'efficacia della fusione tra le diverse modalità. Questo avviene perché le strategie di fusione non devono compensare ampie differenze tra le due rappresentazioni, dal momento che gli embedding emotivi specifici per modalità condividono uno spazio latente. L'illustrazione combinata delle due emozioni è descritta come segue . La fusione pesata sarà più stabile quando le rappresentazioni specifiche per emozione sono coerenti, poiché le variazioni tra i segnali provenienti da diverse modalità non influenzeranno più il risultato.

   (14)

Imponendo l'allineamento semantico delle informazioni emotive, questo obiettivo riduce al minimo le discrepanze tra le diverse modalità e garantisce che la percezione delle emozioni rimanga costante indipendentemente dalla modalità utilizzata per esprimerla. Di conseguenza, viene creato uno spazio rappresentativo coerente ed affettivo proiettando gli indizi emotivi ottenuti dai segnali vocali, dalle espressioni facciali e dal contenuto linguistico.

Impatto sulla fusione intersensoriale

La fusione cross-modale diventa più efficace quando viene introdotta una coerenza emotiva tra le diverse modalità. I meccanismi di fusione non devono più compensare ampie differenze nelle rappresentazioni inter-modali, poiché gli embedding specifici per l'emozione sono allineati in uno spazio latente comune. La rappresentazione emotiva fusa è definita come segue:

  (15)

Dove α_m rappresenta il peso dell'attenzione assegnato alla modalità m. La fusione pesata diventa più stabile e comprensibile quando le rappresentazioni specifiche per l'emozione sono coerenti, poiché il risultato della fusione mostra evidenze emotive complementari piuttosto che segnali di modalità contraddittori.

Matematicamente, ridurre la  varianza tra diversi tipi di rappresentazioni specifiche per emozione in relazione a  equivale a:

   (16)

dove   rappresenta l'espressione media dell'emozione. Una varianza ridotta fa sì che le modalità di ingresso vengano pesate in base alla loro precisa rilevanza emotiva piuttosto che al rumore della modalità, garantendo una migliore convergenza della rete e una valutazione dell'attenzione più accurata.

L'obiettivo finale dell'apprendimento basato sulle visualizzazioni emotive disincagliate è combinare frammentazione, ricostruzione e uniformità emotiva:

   (17)

in cui due iperparametri, λ₁ e λ₂, controllano la relazione tra affidabilità emotiva multimodale e dissociazione. Il modello proposto acquisisce rappresentazioni emotive invarianti rispetto alla modalità, interpretabili e fusibili per raggiungere questo obiettivo, con un'enfasi particolare nel fornire una base solida per la successiva fusione basata su grafi e per la rappresentazione a livello di caratteristiche nella progettazione di interfacce intelligenti.

Fusione tramite attenzione multimodale basata su grafo

È stata utilizzata una rete grafica con attenzione cross-modale per simulare relazioni emotive finemente dettagliate tra le diverse modalità. Per facilitare il flusso di informazioni tra le modalità, è stato costruito un grafo multimodale completamente connesso, in cui ogni embedding specifico per modalità (testo, audio e video) è rappresentato come un nodo del grafo. Le relazioni tra le modalità sono state utilizzate per definire la matrice di adiacenza del grafo, successivamente migliorata mediante un metodo di attenzione apprendibile. Uno spazio latente condiviso è stato creato concatenando e proiettando gli output di diversi head di attenzione. Una rappresentazione unificata dell'emozione multimodale è stata quindi prodotta aggregando le rappresentazioni dei nodi attraverso un pooling pesato sull'attenzione. Questa rappresentazione fusa è stata poi inviata ai moduli di previsione e visualizzazione per l'analisi consapevole delle interazioni e il riconoscimento delle emozioni. Il modulo di fusione basato su grafo aveva una dimensione della rappresentazione nascosta pari a 256 e comprendeva due strati di attenzione grafica, ciascuno con otto head di attenzione. Per determinare l'importanza relativa delle modalità adiacenti, i coefficienti di attenzione tra nodi connessi sono stati calcolati e normalizzati utilizzando la funzione softmax. Ogni strato di attenzione grafica era seguito da normalizzazione dello strato, connessioni residue e un tasso di dropout pari a 0,2, al fine di aumentare la stabilità durante l'addestramento e ridurre l'overfitting. Dopo aver concatenato e proiettato gli output di diversi head di attenzione in uno spazio latente comune, le rappresentazioni dei nodi sono state combinate in un unico embedding emotivo multimodale mediante pooling pesato sull'attenzione. Successivamente, la rappresentazione fusa è stata utilizzata per la mappatura visiva multi-vista e la previsione delle emozioni.

Diverse interazioni multimodali sono state catturate utilizzando un'attenzione grafica multi-testa. La funzione softmax è stata utilizzata per normalizzare i coefficienti di attenzione tra i nodi connessi per ogni nodo. Per aumentare la stabilità dell'addestramento ed evitare l'overfitting, ai livelli di attenzione grafica impilati nel modulo di fusione grafica sono state aggiunte connessioni residue, normalizzazione del livello e regolarizzazione con dropout.

Sia, i termini   considerati singolarmente, a rappresentare le rappresentazioni corrispondenti alle emozioni specifiche raccolte attraverso le modalità visiva, audio e testuale; ciascun componente risiede all'interno dello spazio latente condiviso . I modelli per i nodi delle modalità utilizzano una notazione per il grafo , con i nodi dell'insieme   che corrispondono direttamente ai tre nodi delle modalità stesse, al fine di rafforzare esplicitamente le dipendenze emotive condivise tra le diverse rappresentazioni modali.

Dopo aver assegnato un vettore di caratteristiche specifico per l'emozione a ciascun nodo nel grafo, abbiamo:

   (18)

A differenza dei metodi di fusione tradizionali, che utilizzano pesi di fusione predeterminati o fissi, il metodo proposto apprende pesi adattivi per i collegamenti in base alla loro rilevanza e interdipendenze, sia tra i canali che tra le diverse situazioni emotive.

Una rete di attenzione su grafi (GAT) viene utilizzata per la fusione multimodale. Un coefficiente di attenzione viene calcolato per ogni nodo i e per i suoi nodi adiacenti, ossia il nodo j:

   (19)

L'effetto emotivo del passaggio dalla modalità j alla modalità i è misurato dai pesi normalizzati α_ij.

Successivamente, l'aspetto fuso di ciascun nodo modale viene calcolato come un raggruppamento pesato dei suoi vicini:

   (20)

dove la funzione di attivazione  è non lineare. Infine, le caratteristiche aggiornate di ogni nodo vengono combinate per ottenere una rappresentazione globale dell'emozione fusa:

   (21)

È una tecnica utile per la modellazione interpretabile delle emozioni e per il successivo mapping visivo, poiché acquisisce informazioni complementari da diverse modalità mantenendo al contempo le complesse relazioni inter-modali.

L'algoritmo 1 (Supplementary File 1) fornisce lo schema generale per eseguire la fusione cross-modale basata su grafi. Inizialmente, viene creato un grafo con le caratteristiche specifiche dell'emozione associate a ciascuna delle modalità visiva, audio e testuale. Successivamente, vengono calcolati i punteggi di attenzione per ogni coppia di nodi del grafo, che rappresentano la combinazione della dipendenza emotiva. I punteggi di attenzione vengono quindi normalizzati per indicare il contributo relativo di ciascuna modalità al contesto emotivo specificato, consentendo l'apprendimento dei pesi di attenzione. L'embedding generale dell'emozione viene prodotto nell'ultima fase aggregando le caratteristiche associate ai nodi del grafo. In questo senso, la fusione generale dell'algoritmo delle caratteristiche multimodali legate alle emozioni specificate mostra potenzialità in termini di adattabilità, interpretabilità e intelligenza contestuale.

Figura 2 mostra la struttura e il funzionamento della rete proposta con attenzione cross-modale per la fusione del sentiment multimodale. Gli embedding specifici per emozione, derivati in modo indipendente per le modalità testuale, audio e video, vengono inizialmente elaborati da meccanismi di attenzione a livello modale che apprendono l'importanza relativa delle informazioni linguistiche, vocali e facciali in un dato contesto emotivo. Le rappresentazioni pesate mediante attenzione delle modalità vengono quindi combinate per formare un embedding emotivo unificato, nel quale la matrice di attenzione cattura le dipendenze inter-modali e le intensità delle interazioni. La matrice di attenzione appresa dalla rete modula dinamicamente i contributi delle modalità, consentendo di concentrarsi sulla modalità più informativa ed escludere quelle rumorose o meno significative. La rappresentazione emotiva fusa permette un riconoscimento accurato delle emozioni e un'analisi fine degli stati emotivi come neutro, abbraccio e preoccupazione.

Modulo di mappatura visiva

Con l'ausilio della sezione di mappatura visiva, creata appositamente per questo scopo, un progettista intelligente di interazioni può convertire la rappresentazione unificata dello stato emotivo in una forma visiva comprensibile e facilmente fruibile dopo il processo di fusione multimodale, in base al grafico.

Per facilitare la comprensione delle rappresentazioni emotive latenti, sono state utilizzate tecniche di riduzione della dimensionalità per visualizzare gli embedding multimodali appresi per l'emozione. Dopo aver ridotto la dimensionalità delle caratteristiche mantenendo la maggior parte della varianza mediante l'analisi delle componenti principali (PCA), gli embedding sono stati proiettati in uno spazio bidimensionale per la visualizzazione, usando l'incorporamento stocastico di vicini distribuiti in forma t (t-SNE). Per t-SNE sono stati utilizzati un valore di perplessità pari a 30, un tasso di apprendimento di 200 e 1.000 iterazioni di ottimizzazione. I cluster specifici per emozione e le relazioni tra le modalità sono stati visualizzati utilizzando le proiezioni ottenute. I pesi normalizzati di attenzione incrociata ottenuti dalla rete di attenzione basata su grafi sono stati utilizzati per creare mappe termiche di attenzione. Nei grafici termici è illustrato il contributo relativo delle modalità testuale, audio e visiva durante la previsione dell'emozione. I coefficienti di attenzione appresi sono stati utilizzati come pesi degli archi per creare grafi di interazione incrociata, consentendo l'analisi visiva delle relazioni inter-modali e del flusso informativo all'interno del framework di fusione. Sono stati creati grafici delle traiettorie emotive monitorando l'evoluzione degli embedding emotivi latenti attraverso utterance successive, per esaminare la dinamica emotiva temporale. Queste traiettorie forniscono informazioni su come gli stati emotivi e i contributi delle modalità evolvono nel tempo. Tutte le visualizzazioni sono state create utilizzando pacchetti Python come Matplotlib e Scikit-learn. Per valutare l'interpretabilità, la formazione dei cluster, i contributi delle modalità e la dinamica temporale delle emozioni, sono state condotte analisi qualitative delle visualizzazioni degli embedding, dei grafi di interazione e delle mappe termiche di attenzione.

Sia   a rappresentare la rappresentazione fusa dello stato emotivo ottenuta tramite la funzione della rete di attenzione su grafi. A differenza della visualizzazione a livello di output dei grafici dello stato emotivo, l'obiettivo principale del modulo è trasformare le rappresentazioni dello stato emotivo e i pesi corrispondenti del meccanismo di attenzione in una forma visiva comprensibile.

Utilizzando i valori α_ji appresi, viene creata una mappa termica di attenzione per esaminare visivamente il contributo di ciascuna modalità. I pesi di attenzione in ingresso vengono quindi sommati per determinare un punteggio composito di importanza per ogni modalità:

    (22)

dove s_i rappresenta il contributo emotivo relativo della modalità I. Per facilitare la creazione di una mappa termica dell'attenzione, i valori ottenuti vengono normalizzati e associati a una mappa di colori che consente all'utente di identificare facilmente la modalità predominante in diversi passaggi temporali o stati interattivi. Attraverso varie modalità di input visive, uditive o testuali, un'interfaccia di questo tipo aiuta l'utente a comprendere il funzionamento del meccanismo di attenzione del sistema.

Il grafo appreso è modellato specificamente come un "grafo delle interazioni pesato" per rappresentare la dipendenza incrociata dei modi espressivi delle emozioni umane. Ogni modalità è rappresentata da un nodo del grafo, mentre l'intensità delle interazioni relative alle emozioni umane è rappresentata dai pesi, nella forma di α_ji , sugli archi che li collegano. Il grafo pesato sopra illustra l'intensità delle interazioni emotive umane. La definizione di i e j è:

   (23)

Lo spessore o la trasparenza delle linee nella visualizzazione del grafico vengono mostrati correttamente grazie a questi pesi. Ciò facilita la comprensione delle interazioni tra le diverse modalità. Il progettista può comprendere meglio come gli indicatori emotivi interagiscono durante il processo di fusione, grazie ai grafici di interazione intermodale.

Gli embedding emotivi fusi  in diversi passi temporali vengono ridotti a uno spazio di dimensione inferiore mediante un algoritmo di riduzione della dimensionalità, come PCA o t-SNE, al fine di visualizzare l'evoluzione delle emozioni nel tempo:

   (24)

dove la funzione di proiezione è rappresentata da . L'emergere di traiettorie emotive 2D/3D, che mostrano transizioni emotive, intensità e stabilità nelle interazioni, può essere interpretato come una rappresentazione intuitiva dell'evoluzione degli stati emotivi nel tempo. Questi aspetti possono essere utilizzati per l'interazione intelligente, il processo decisionale e il monitoraggio in tempo reale.

A differenza dei sistemi convenzionali di riconoscimento delle emozioni, che si limitano a fornire corrispondenze con specifiche classi o punteggi, questo sistema si concentra sulla dimostrazione di come le emozioni umane si formano al suo interno. Rivela il proprio processo decisionale offrendo visualizzazioni di caratteristiche intermedie, inclusi i fattori di ponderazione, le interazioni tra modelli e i relativi percorsi. Ciò consente all'utente di comprendere come ciascun fattore—visivo, vocale o linguistico—influenzi la generazione delle risposte alle emozioni umane.

Mappare le emozioni in forme comprensibili attraverso rappresentazioni visive può quindi colmare il divario tra l'analisi delle emozioni mediante metodi di apprendimento profondo e la loro integrazione nella progettazione di interfacce intelligenti. I dati raccolti da entrambi gli approcci possono quindi essere utilizzati per creare interfacce utente più precise. Pertanto, l'approccio proposto può fornire ai progettisti di interazioni informazioni fondamentali per sviluppare interfacce utente più accurate. In altri termini, la comprensione delle emozioni diventa una componente estremamente attiva della progettazione delle interazioni. L'accuratezza può aumentare soltanto quando la comprensione delle emozioni viene integrata attivamente nella progettazione delle interazioni.

Il modulo di mappatura visiva rende possibile la spiegabilità in diversi modi interconnessi ma distinti: la spiegabilità a livello di caratteristica rivela le rappresentazioni sottostanti delle emozioni create dalla DNN, permettendoci di comprendere la semantica utilizzata per descrivere ogni caratteristica relativa all'emozione; la spiegabilità a livello di modalità utilizza dati provenienti dai grafi di interazione e dalle mappe termiche dell'attenzione visiva per descrivere come ciascuna modalità — visiva, audio o testuale — contribuisca alle decisioni prese per esprimere emozioni; infine, le traiettorie risultanti dall'incorporamento emotivo ci permettono di comprendere come ciascuna modalità visiva e testuale cambi nel tempo da una prospettiva di interazione dinamica. Si rimanda all'Algoritmo 2 (Supplementary File 1).

Le caratteristiche emotive multimodali fuse vengono mappate in rappresentazioni visivamente significative per la progettazione di interazioni intelligenti, utilizzando l'algoritmo di mappatura visiva proposto, Algoritmo 2. I pesi dell'attenzione multimodale basati su grafi vengono utilizzati per quantificare le differenze tra gli elementi visivi, audio e testuali in ingresso a ogni passo temporale. Queste differenze vengono quindi mappate in rappresentazioni visive per evidenziare le principali fonti che influenzano le emozioni, mediante elementi visivi a mappa di calore. Per fornire una visione approfondita dell'interazione tra gli elementi in ingresso e trasmettere l'evoluzione emotiva generata dagli elementi in ingresso multimodali, vengono quindi calcolate le intensità di interazione a coppie al fine di creare i pesi di interazione multimodali. Nel frattempo, viene creata una rappresentazione dell'evoluzione emotiva mappando gli elementi emotivi fusi raccolti nel tempo in uno spazio a bassa dimensionalità, producendo così un'evoluzione continua degli elementi emotivi.

Previsione delle emozioni e feedback dell'interazione

L'esito della rappresentazione emotiva fusa, rappresentata come , viene quindi utilizzato come funzione sia per il feedback dell'interazione che per la previsione emotiva. Inoltre, la previsione emotiva è descritta come un modello multitasking costituito da un'attività di regressione per il riconoscimento dell'intensità emotiva continua e da un'attività di classificazione per il riconoscimento emotivo discreto. Per il riconoscimento emotivo discreto si utilizza il seguente modello di classificazione basato su softmax:

   (25)

dove  rappresenta le probabilità attese per le classi emotive e W_c  e b_c sono vincoli apprendibili. Si utilizza la perdita di entropia incrociata per migliorare l'obiettivo di classificazione:

  (26)

dove y_k è l'etichetta reale e K è il numero di classi emotive. Un ramo di regressione viene utilizzato per stimare l'intensità emotiva in parallelo, producendo una previsione di diversi attributi affettivi continui, inclusi valenza ed attivazione. Assegnagli la seguente definizione:

   (27)

dove il punteggio previsto di intensità emotiva è indicato da . Viene utilizzata la perdita quadratica media per migliorare l'attività di regressione:

   (28)

In generale, le due attività sono combinate nell'obiettivo di previsione:

   (29)

dove gli obiettivi della regressione e della classificazione sono bilanciati da λ. Si propone una modifica dinamica del modulo di visualizzazione in base allo stato emotivo identificato, per consentire un feedback consapevole dell'interazione. Il contesto di interazione al tempo t è rappresentato da c_t. La risposta del modulo di visualizzazione è fornita da:

    (30)

dove la funzione di adattamento della visualizzazione è rappresentata dall'. Ciò consente di aggiustare in tempo reale le mappe termiche delle modalità, i grafici di interazione e le traiettorie emotive in base ai cambiamenti e alle emozioni previsti. Questo indica che il sistema offre un sostegno significativo per il feedback, oltre a fornire prestazioni elevate nella previsione dello stato emotivo.

Risultati

Questo lavoro convalida il framework proposto di mappatura visiva per le caratteristiche emotive multimodali in termini sia di interpretabilità consapevole dell'interazione sia di prestazioni predittive, utilizzando due dataset di riferimento, CH-SIMS e CMU-MOSEI. Secondo i risultati sperimentali, l'approccio suggerito si comporta costantemente meglio rispetto alle attuali tecniche di riconoscimento emotivo multimodale in una varietà di metriche, tra cui correlazione, accuratezza, punteggio F1 e errore assoluto medio (MAE). La rappresentazione emotiva disincagliata, il meccanismo di fusione intermodale basato su grafi e la strategia di apprendimento end-to-end della rappresentazione profonda contribuiscono tutti a questo miglioramento, consentendo una modellizzazione emotiva più stabile e semanticamente allineata. L'approccio proposto fornisce informazioni più ricche a livello di caratteristiche attraverso la mappatura visiva, andando oltre i guadagni quantitativi e facilitando la comprensione dei contributi delle modalità e della dinamica emotiva. Nonostante le variazioni nella lingua, nell'espressione culturale e nelle dimensioni del dataset, il suddetto guadagno di prestazioni viene osservato costantemente in entrambi i dataset, dimostrando la forte capacità di generalizzazione del framework proposto.

Nei lavori proposti vengono utilizzati i dataset pubblici CH-SIMS e CMU-MOSEI per l'analisi delle emozioni multimodali. Il dataset CH-SIMS comprende 2.281 clip video tratti da film, serie televisive e programmi di varietà. In CH-SIMS sono disponibili dati testuali, audio e visivi sincronizzati. Le etichette di sentiment, sia unimodali che multimodali, sono classificate in categorie positive, neutre e negative. Il grande dataset multimodale in lingua inglese noto come CMU-MOSEI contiene circa 23.453 clip video annotate con oltre 1.000 speaker che discutono su una vasta gamma di argomenti. Questo dataset include sia annotazioni continue dell'intensità emotiva, come valenza e arousal, sia etichette categoriali delle emozioni. Sperimentando su questi due dataset mediante il framework proposto, si rafforza la robustezza e l'affidabilità, grazie al supporto di diverse condizioni linguistiche, culturali ed emotive. Tabella 2 mostra i dettagli dell'ambiente di simulazione.

I principali parametri sperimentali e di implementazione utilizzati per valutare il framework proposto sono riassunti in questo ambiente di simulazione. Per garantire una dimensionalità uniforme delle caratteristiche attraverso le modalità testuale, audio e visiva, vengono applicati in modo uniforme degli encoder basati su transformer. Il sistema impiega un meccanismo di attenzione basato su grafi per la fusione multimodale, consentendo un apprendimento adattivo delle dipendenze intermodali in relazione agli stati emotivi.

Il framework proposto estrae rappresentazioni testuali, uditive e visive utilizzando codificatori modali basati su transformer. Strati completamente connessi con attivazione ReLU proiettano gli embedding specifici per ogni modalità in uno spazio latente condiviso. Vengono quindi utilizzati codificatori separati per emozione e per modalità, ciascuno composto da due strati completamente connessi con attivazione non lineare e normalizzazione, per apprendere rappresentazioni disinnescate. Le rappresentazioni latenti vengono proiettate in uno spazio caratteristico di 256 dimensioni, dove le informazioni per ciascuna modalità ed emozione vengono apprese separatamente. Per mantenere le informazioni relative alla modalità e favorire una disinnescatura efficiente, vengono utilizzati decodificatori di ricostruzione. Prima della fusione multimodale e della previsione, il modulo di attenzione incrociata basato su grafo modella le dipendenze emotive tra le modalità utilizzando le rappresentazioni latenti. La rete è stata addestrata utilizzando l'ottimizzatore Adam con un tasso di apprendimento iniziale di 1 × 10⁻⁴ e una dimensione del batch di 32. È stato applicato l'arresto anticipato in base alla perdita di validazione per prevenire l'overfitting. La funzione obiettivo totale comprendeva perdite di classificazione, ricostruzione e coerenza delle rappresentazioni, ciascuna pesata da iperparametri regolabili. L'addestramento del modello è stato eseguito per un massimo di 100 epoche, e il modello con le prestazioni migliori sul set di validazione è stato mantenuto per il test.

Il framework proposto è stato valutato utilizzando metriche di classificazione, tra cui Accuratezza, Precisione, Richiamo e punteggio F1, insieme a metriche di regressione come l'Errore Assoluto Medio (MAE). Precisione, Richiamo e punteggio F1 sono stati calcolati mediante macro-media per tenere conto dello sbilanciamento tra le classi nelle categorie emotive. Per gli esperimenti di classificazione, sono state utilizzate come classi di riferimento le etichette predefinite di emozione/sentimento fornite dai dataset CH-SIMS e CMU-MOSEI. Per la previsione di sentiment basata sulla regressione, i punteggi continui di intensità del sentiment presenti nei dataset sono stati utilizzati come variabili obiettivo. Sono state generate matrici di confusione per analizzare le prestazioni di previsione per ciascuna classe e i modelli di errore di classificazione, con un intervallo di confidenza del 95%. Per garantire robustezza, ogni esperimento è stato ripetuto 5 volte utilizzando diverse inizializzazioni casuali, e i risultati riportati corrispondono alla media ±± deviazione standard delle prestazioni ottenute in tutti i tentativi. La significatività statistica è stata valutata mediante opportune procedure di verifica dell'ipotesi, e gli intervalli di confidenza sono stati calcolati laddove applicabili. Il tempo di addestramento è stato misurato come il tempo totale trascorso necessario per la convergenza del modello sulla piattaforma hardware specificata.

Un certo numero di modelli di base rappresentativi, tra cui l'early fusion e la late fusion, può essere confrontato con il metodo proposto. TFN, metodi basati su LSTM, modelli di fusione multimodale a basso rango, trasformatori multimodali adattivi e nuove architetture basate sull'attenzione intermodale. Questi modelli di base riflettono tecniche all'avanguardia che si concentrano principalmente sul miglioramento dell'accuratezza nel riconoscimento delle emozioni attraverso diversi metodi di fusione. L'apprendimento delle rappresentazioni disincagliate e la fusione basata su grafi del framework proposto migliorano l'interpretabilità e la consapevolezza delle interazioni, a differenza di questi metodi che si concentrano principalmente sulla predizione a livello di output. LSTM Fusion, TFN, Low-Rank Multimodal Fusion (LMF), Adaptive-Graph e tecniche basate su trasformatori sono esempi di modelli di base implementati utilizzando i loro repository ufficiali o implementazioni di riferimento pubblicamente accessibili. Le impostazioni originali degli iperparametri degli autori sono state utilizzate quando disponibili. Tutti i modelli di base sono stati riesaminati utilizzando le stesse suddivisioni del dataset, tecniche di pre-elaborazione, parametri di ottimizzazione e criteri di valutazione per garantire un confronto equo. Le tabelle comparative identificano chiaramente i riferimenti pertinenti per i dati derivati direttamente da pubblicazioni precedenti.

Precisione

L'accuratezza della classificazione delle emozioni discrete viene misurata sia per CH-SIMS che per CMU-MOSEI; tuttavia, l'andamento dell'accuratezza differisce in base alle caratteristiche dei due dataset. Poiché CH-SIMS è un dataset di dimensioni medie con un numero pari di categorie di sentiment e clip video accuratamente preelaborate, la sua accuratezza è elevata, suggerendo che il modello è in grado di cogliere informazioni emotive multimodali sottili con poco rumore. Tuttavia, la classificazione accurata delle emozioni risulta complessa poiché CMU-MOSEI è un dataset su larga scala con parlanti provenienti da contesti diversi. Pertanto, oltre alla capacità del modello di identificare il sentiment, l'accuratezza sul dataset CMU-MOSEI indica la sua capacità di generalizzare e resistere a una varietà di scenari di interazione. Il miglioramento dell'accuratezza nei due dataset mostra che l'approccio proposto generalizza bene attraverso dataset di lingue diverse, dimensioni diverse e livelli diversi di complessità emotiva.

Le precisioni di classificazione dell'approccio proposto e di altri baselines comuni sui dataset CH-SIMS e CMU-MOSEI sono mostrate nella Tabella 3. Come indicato nella Tabella 3, il framework proposto ha raggiunto la precisione più elevata su entrambi i dataset CH-SIMS e CMU-MOSEI, superando rispettivamente il baseline più forte (Adaptive-Graph) di circa 3,3% e 3,1 punti percentuali. Valori più bassi della deviazione standard indicano inoltre una maggiore stabilità durante ripetuti esperimenti. Gli approcci tradizionali basati su fusione LSTM presentano una precisione inferiore a causa della loro limitata capacità di catturare relazioni incrociate complesse tra modalità diverse. TFN e LMF migliorano la precisione di classificazione modellando le relazioni cross-modal.

Punteggio F1

Nei problemi di classificazione delle emozioni, l'equilibrio tra richiamo e precisione è misurato utilizzando il punteggio F1. Per i dataset di classificazione delle emozioni multimodali, che probabilmente presentano un numero disuguale di classi, tale misura risulta quindi più adatta. Nei compiti di classificazione delle emozioni, l'equilibrio tra richiamo e precisione è misurato mediante il punteggio F1. Poiché ci si aspetta che i dataset di classificazione delle emozioni multimodali siano sbilanciati, il punteggio F1 è più appropriato. Maggiore è la capacità del modello di rilevare le classi emotive, più elevato sarà il punteggio F1.

Figura 3 illustra la valutazione del punteggio F1 della tecnica proposta rispetto ai metodi di riferimento sul dataset CH-SIMS. Il punteggio F1 più basso rivela la limitata capacità del metodo di riferimento basato su LSTM di modellare relazioni emotive complesse tra modalità diverse. I punteggi F1 ottenuti dalle tecniche valutate sul dataset CH-SIMS sono confrontati in Figura 3. Come mostrato, strutture più sofisticate basate su grafi e su trasformatori superano regolarmente i metodi di fusione più tradizionali. Il modello LSTM ha ottenuto il punteggio F1 più basso, pari a 0,71, seguito da TFN (0,74) e LMF (0,76). Il punteggio F1 è stato ulteriormente aumentato a 0,79 utilizzando Adaptive-Graph, dimostrando il valore della modellazione delle connessioni inter-modali. Con un punteggio F1 di 0,82, il framework proposto ha superato Adaptive-Graph del 3,8%, LMF del 7,9%, TFN del 10,8% e LSTM del 15,5%. Questi risultati indicano che il meccanismo proposto di attenzione inter-modale basato su grafi e l'apprendimento di rappresentazioni disincagliate catturano in modo più efficace le informazioni emotive complementari tra le modalità testuale, audio e visiva, portando a prestazioni migliori nella classificazione.

Le tendenze relative sono coerenti, anche se tutti i metodi mostrano un lieve calo del punteggio F1 rispetto al CH-SIMS, come mostrato in Figura 4. I risultati mostrano un miglioramento costante delle prestazioni passando dai metodi tradizionali di fusione alle strategie di apprendimento multimodale basate su grafi. I modelli con il punteggio F1 più basso sono stati LSTM (0,69), TFN (0,72) e LMF (0,74). Le prestazioni del modello Adaptive-Graph sono aumentate fino a 0,77, dimostrando l'efficacia con cui possono essere modellate le connessioni intermodali. Il framework proposto ha superato tutti gli altri approcci, raggiungendo il punteggio F1 più alto di 0,80. Il miglioramento rispetto al baseline più forte, Adaptive-Graph, dimostra il contributo dell'apprendimento della rappresentazione emotiva disincagliata e del meccanismo di attenzione intermodale basato su grafi nel catturare segnali emotivi complementari attraverso le modalità testuale, acustica e visiva. Questi risultati mostrano che il framework proposto per il riconoscimento delle emozioni multimodali è affidabile ed efficiente. L'approccio proposto dimostra un miglioramento significativo rispetto sia all'approccio basato su grafi sia al metodo tradizionale di fusione, confermando ulteriormente la forte capacità di generalizzazione del metodo. Il miglioramento del punteggio F1 sul dataset CMU-MOSEI dimostra che l'approccio proposto può raggiungere prestazioni bilanciate nella classificazione delle emozioni anche in ambienti rumorosi e diversificati.

Precisione

Nei sistemi di comunicazione intelligenti, la precisione è fondamentale perché un segnale emotivo errato può compromettere l'esperienza dell'utente. Il rapporto tra il numero di istanze di una specifica emozione correttamente previste e il numero totale di casi classificati come tale emozione è definito precisione. Poiché le rappresentazioni delle emozioni disincagliate sono meno rumorose e meno soggette a errori di classificazione nella modalità, il modello proposto supera i modelli di riferimento nel dataset CH-SIMS in Figura 5.

L'accuratezza raggiunta da diverse tecniche di riconoscimento multimodale delle emozioni sui dataset CH-SIMS e CMU-MOSEI è confrontata nella Figura 5. Man mano che i modelli passano da tecniche tradizionali basate sulla fusione a architetture più sofisticate basate su grafi, la precisione aumenta costantemente. Il framework proposto ha raggiunto la precisione massima di 0,82 sul dataset CH-SIMS, con un incremento della precisione da 0,71 per LSTM a 0,74, 0,76 e 0,79 rispettivamente per TFN, LMF e Adaptive-Graph. Sul dataset CMU-MOSEI, la precisione è aumentata da 0,69 per LSTM a 0,72, 0,74 e 0,77 rispettivamente per TFN, LMF e Adaptive-Graph. L'approccio proposto ha raggiunto la precisione più elevata di 0,80. Il framework proposto ha aumentato la precisione di circa il 3,8% su CH-SIMS e del 3,9% su CMU-MOSEI rispetto al baseline migliore (Adaptive-Graph). Questi risultati dimostrano che, catturando informazioni emotive complementari tra le modalità testuale, acustica e visiva, il meccanismo proposto di apprendimento di rappresentazioni disincagliate e di attenzione multimodale basata su grafi riduce efficacemente le predizioni false positive. L'attenzione multimodale basata su grafi attenua ulteriormente l'impatto della modalità irrilevante. La maggiore diversità di parlanti e di espressioni linguistiche presente nel corpus CMU-MOSEI provoca un lieve calo della precisione per tutti i modelli.

Ripresa

Nei compiti di riconoscimento delle emozioni, il richiamo, una misura della capacità di un modello di classificare correttamente le istanze emotive appartenenti a una classe specifica, è fondamentale poiché la mancanza di informazioni emotive può influire negativamente sulla qualità dell'interazione. Un valore più elevato di richiamo indica che il modello identifica meno falsi negativi e un numero maggiore di espressioni emotive effettive. Il richiamo può essere considerato una misura dell'efficienza con cui le informazioni emotive vengono estratte da modalità testuali, audio e visive nel contesto dell'analisi multimodale delle emozioni.

Il vantaggio della tecnica proposta rispetto agli approcci di base sui dataset CH-SIMS e CMU-MOSEI è mostrato nel confronto del recall in Figura 6. Man mano che i modelli evolvono da metodi convenzionali basati sulla fusione a strutture multimodali più sofisticate basate su grafi, i risultati mostrano costantemente incrementi nel recall. Il recall sul dataset CH-SIMS è aumentato da 0,70 per LSTM a 0,73, 0,75 e 0,78 per TFN, LMF e Adaptive-Graph, rispettivamente; il recall massimo di 0,82 è stato raggiunto dal framework proposto. L'approccio suggerito ha ottenuto il recall migliore di 0,80 sul dataset CMU-MOSEI, dove il recall è cresciuto da 0,68 per LSTM a 0,71, 0,73 e 0,76 per TFN, LMF e Adaptive-Graph, rispettivamente. Il framework proposto ha ottenuto miglioramenti relativi di circa il 5,1% su CH-SIMS e del 5,3% su CMU-MOSEI rispetto al baseline più forte (Adaptive-Graph). Questi risultati dimostrano che, catturando segnali emotivi complementari nei modi testuale, acustico e visivo, l'apprendimento proposto di rappresentazioni disincagliate e il meccanismo di attenzione intermodale basato su grafi riducono efficacemente le predizioni di falsi negativi, migliorando così l'identificazione delle classi emotive su entrambi i dataset. Poiché i metodi tradizionali hanno capacità limitata di modellare relazioni intermodali complesse, tendono ad avere valori di recall più bassi. Modellando le relazioni modali in modo più esplicito, TFN e LMF ottengono miglioramenti moderati. Simulando le relazioni strutturate tra le modalità, il metodo Adaptive-Graph ha ulteriormente migliorato il recall. Per entrambi i dataset, il metodo proposto raggiunge il recall più alto, indicando una maggiore capacità di rilevare istanze emotive in diversi scenari di interazione. Il miglioramento è più evidente nel dataset di grandi dimensioni CMU-MOSEI, dimostrando la robustezza e la capacità di generalizzazione del framework proposto.

Errore assoluto medio (MAE)

L'Errore Assoluto Medio (MAE) viene utilizzato per valutare le prestazioni di compiti di previsione continua dell'intensità emotiva, come la previsione di valenza o di attivazione. A differenza dell'accuratezza, l'MAE riflette meglio la vicinanza tra l'intensità emotiva prevista e lo stato emotivo effettivo. Per questo motivo, l'MAE è più adatto per dataset come CH-SIMS e CMU-MOSEI, che presentano etichette affettive continue. Un valore di MAE più basso indica una maggiore accuratezza nella previsione dell'intensità emotiva.

Il confronto tra MAE del framework proposto e degli approcci di riferimento sui dataset CH-SIMS e CMU-MOSEI è mostrato nella Tabella 4. I tradizionali metodi di fusione basati su LSTM tendono ad avere valori di MAE più elevati a causa della loro capacità limitata di modellare dipendenze emotive multimodali complesse. TFN e LMF riescono a ridurre il MAE modellando le interazioni multimodali, e l'approccio Adaptive-Graph lo riduce ulteriormente apprendendo le relazioni tra i grafi delle modalità. Il framework proposto raggiunge il MAE più basso su entrambi i dataset, indicando una stima più accurata dell'intensità emotiva. Vale la pena notare che il miglioramento è più significativo sul dataset CMU-MOSEI, dove la variabilità su larga scala dei dati e le condizioni dei parlanti rendono il compito di previsione più complesso.

Matrice di confusione per il set di dati CH-SIMS

I metodi di base di fusione precoce LSTM e TFN mostrano una notevole confusione tra le classi delle emozioni neutre e positive, secondo le matrici di confusione relative al dataset CH-SIMS. Ciò suggerisce che questi metodi non sono molto efficaci nell'identificare espressioni emotive multimodali sottili. D'altro canto, il metodo proposto mostra chiaramente una forte predominanza diagonale, con pochissimi elementi fuori dalla diagonale, migliorando così la separabilità delle classi. Il meccanismo di apprendimento emotivo disincagliato del metodo proposto garantisce una rappresentazione coerente delle emozioni attraverso le diverse modalità, mentre il suo approccio di fusione basato su grafi migliora la discriminazione tra classi di sentimenti strettamente correlate. Figura 7A–E mostra la matrice di confusione per il dataset CH-SIMS con diversi metodi di base.

Matrice di confusione per il dataset CMU-MOSEI

Il framework proposto utilizza embedding emotivi invarianti rispetto alla modalità e pesi attentivi adattivi per ridurre in modo significativo il tasso di classificazione errata, in particolare per input emotivamente ambigui. Ciò conferma che il framework proposto funziona bene in una varietà di scenari di interazione multimodali su larga scala. A causa delle dimensioni del dataset, della variabilità tra parlanti e della natura continua delle etichette del sentiment, le matrici di confusione del CMU-MOSEI mostrano un tasso di errore complessivo più elevato. I metodi di base mostrano un notevole grado di confusione tra diverse categorie emotive. Figura 8A–E mostra la matrice di confusione per il dataset CMU-MOSEI con diversi metodi di base.

Tempo di addestramento per epoca

I compromessi computazionali delle tecniche avanzate di fusione multimodale sono evidenziati dal confronto del tempo di addestramento per epoca. A causa degli encoder transformer e dei meccanismi di attenzione sui grafi, il modello proposto richiede un tempo di addestramento leggermente superiore rispetto agli approcci di fusione semplici, ma tale aumento non è impraticabile. Il framework proposto ha dimostrato prestazioni elevate su dataset di riferimento per l'analisi emotiva multimodale e mostra potenzialità per l'integrazione in sistemi intelligenti di interazione uomo-macchina. Tuttavia, l'idoneità per il deployment in tempo reale non è stata valutata nel presente studio e richiede ulteriori indagini attraverso analisi di latenza, throughput, memoria e deployment. In particolare, la maggiore stabilità di convergenza e le migliori prestazioni predittive e di interpretabilità giustificano il costo computazionale aggiuntivo. Figura 9 mostra il risultato del tempo di addestramento per epoca relativo al metodo proposto.

Studio di ablazione

Per determinare l'influenza di ciascun elemento importante nel framework proposto, come il modulo di mappatura visiva, la fusione cross-modale basata su grafi e la rappresentazione disincagliata delle emozioni, è stato condotto uno studio di ablazione. Per comprendere l'impatto, ogni elemento è stato eliminato uno alla volta. Secondo i risultati sperimentali, la strategia di fusione basata su grafi migliora la modellizzazione della dipendenza cross-modale, e il contributo della rappresentazione disincagliata delle emozioni è il più importante per la stabilità delle prestazioni. Il ruolo ausiliario del modulo di mappatura visiva è confermato dal lieve impatto che la sua rimozione ha sulle prestazioni. I risultati dello studio di ablazione nelle stesse condizioni di addestramento e valutazione sono mostrati nella Tabella 5. Il peggioramento delle prestazioni maggiore si è verificato dopo la rimozione del modulo di attenzione cross-modale basato su grafi, che ha ridotto l'accuratezza dall'81,72% al 77,88% e il punteggio F1 da 0,823 a 0,776. Ciò sottolinea l'importanza di modellare interazioni inter-modali complesse. Il ruolo del modulo di apprendimento della rappresentazione disincagliata nell'apprendimento di rappresentazioni robuste specifiche per l'emozione è dimostrato dal fatto che la sua rimozione ha ridotto l'accuratezza di 2,78 punti percentuali e il punteggio F1 di 0,032. Il principale vantaggio del modulo di mappatura visiva è l'interpretabilità piuttosto che l'accuratezza di classificazione, come dimostrato dal leggero calo nelle prestazioni predittive dopo la sua rimozione. La configurazione Basic Fusion ha ottenuto le prestazioni peggiori, dimostrando che per raggiungere le migliori prestazioni nel riconoscimento multimodale delle emozioni è necessaria l'influenza combinata di tutti i moduli proposti.

DISPONIBILITÀ DEI DATI:

I set di dati utilizzati in questo studio sono dataset di riferimento disponibili pubblicamente. Il dataset CMU-MOSEI è fornito dal Carnegie Mellon University Multimodal SDK e descritto in Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208), accessibile all'indirizzo https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. Il dataset CH-SIMS è descritto in Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) ed è disponibile pubblicamente attraverso risorse fornite dagli autori, inclusa l'URL https://github.com/thuiar/MMSA. Tutti gli esperimenti sono stati condotti utilizzando le versioni ufficiali di questi dataset. I dati grezzi estratti, i file di dati elaborati, gli output della pre-elaborazione, le partizioni di training/convalida/test, le rappresentazioni delle caratteristiche derivate e i dettagli implementativi a supporto dei risultati di questo studio sono disponibili pubblicamente nel repository Zenodo all'indirizzo https://doi.org/10.5281/zenodo.21124921.

Figura 1: Diagramma schemático del framework proposto per la mappatura visiva multimodale delle caratteristiche emotive. Illustrazione concettuale dell'architettura generale, che mostra l'estrazione di caratteristiche multimodali, l'apprendimento di rappresentazioni disinnestate, la fusione multimodale basata su attenzione con grafi e i componenti di mappatura visiva per l'analisi interpretabile delle emozioni multimodali. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 2: Diagramma schematica del flusso di lavoro del protocollo computazionale proposto.
Rappresentazione concettuale della pipeline di elaborazione end-to-end, inclusi acquisizione del dataset, pre-elaborazione, estrazione di caratteristiche specifiche per ogni modalità, fusione multimodale, visualizzazione e fasi di previsione delle emozioni Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 3: Confronto delle prestazioni in termini di F1-score sul dataset CH-SIMS. Valori medi dell'F1-score ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. Le barre di errore rappresentano ±± una deviazione standard (SD). Valori più elevati dell'F1-score indicano prestazioni migliori nella classificazione delle emozioni. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 4: Confronto delle prestazioni in termini di F1-score sul dataset CMU-MOSEI. Valori medi dell'F1-score ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. I barretti di errore rappresentano ±± una deviazione standard (SD), e i corrispondenti valori di media ±± DS sono riportati sopra ciascun punto dati. Valori più elevati dell'F1-score indicano prestazioni migliori nella classificazione delle emozioni. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 5: Confronto della precisione sui dataset CH-SIMS e CMU-MOSEI. Punteggi medi di precisione ottenuti da LSTM, TFN, LMF, Adaptive-Graph e dal framework proposto in cinque esecuzioni sperimentali indipendenti (n = 5). I barretti di errore rappresentano ±± una deviazione standard (SD) calcolata da esecuzioni ripetute con diverse inizializzazioni del seme casuale. Il framework proposto raggiunge la precisione più elevata su entrambi i dataset, dimostrando una migliore discriminazione delle classi emotive grazie a un apprendimento efficace delle caratteristiche multimodali e a una fusione intermodale basata su grafi. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 6: Confronto della richiamabilità sui dataset CH-SIMS e CMU-MOSEI. Punteggi medi di richiamabilità ottenuti da LSTM, TFN, LMF, Adaptive-Graph e dal framework proposto in cinque esecuzioni sperimentali indipendenti (n = 5). I barretti di errore indicano ±± una deviazione standard (SD) derivata da esperimenti ripetuti. Il framework proposto raggiunge costantemente la richiamabilità più alta su entrambi i dataset, indicando una capacità superiore nel catturare informazioni emotive multimodali e nel ridurre le predizioni di falsi negativi. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 7: Matrice di confusione per il dataset CH-SIMS con diversi metodi di base. Le righe corrispondono alle classi emotive reali e le colonne alle classi previste. I valori delle celle rappresentano la percentuale di campioni normalizzati rispetto a ciascuna classe reale. La matrice di confusione è stata calcolata utilizzando la partizione di test esclusa di CH-SIMS. Percentuali più elevate sulla diagonale indicano una migliore accuratezza di riconoscimento per la corrispondente categoria emotiva. Matrici di confusione di (A) LSTM con fusione precoce, (B) TFN, (C) LMF, (D) Grafo adattivo e (E) Metodo proposto sul dataset CH-SIMS. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 8: Matrice di confusione per il dataset CMU-MOSEI con diversi metodi di base. Le righe rappresentano le etichette effettive delle emozioni e le colonne rappresentano le etichette previste. I valori sono riportati come percentuali normalizzate per classe sul test set di CMU-MOSEI. La matrice illustra sia i campioni correttamente classificati (elementi sulla diagonale) sia le confusioni tra categorie emotive (elementi fuori diagonale). Matrice di confusione su CMU-MOSEI (A) LSTM con fusione anticipata, (B) TFN, (C) LMF, (D) Grafo adattivo e (E) Metodo proposto sul dataset CMU-MOSEI. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 9. Confronto del tempo di addestramento per epoca su dataset multimodali di emozioni di riferimento.
Tempo medio di addestramento per epoca ottenuto da cinque esecuzioni sperimentali indipendenti (n = 5) per i dataset CH-SIMS e CMU-MOSEI in condizioni identiche di hardware e software. Le barre di errore rappresentano ±± una deviazione standard (SD) calcolata da esperimenti ripetuti utilizzando diversi valori iniziali casuali. Valori più bassi indicano una maggiore efficienza computazionale, mentre tempi di addestramento stabili tra le diverse esecuzioni indicano una migliore riproducibilità e coerenza dell'addestramento. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Dataset	Modalità	Numero di Campioni	Lingua	Etichette di Emozione/Sentimento
CH-SIMS34	Video, Audio, Testo	2.281 segmenti video	Cinese	Etichette di sentimento multimodali e unimodali (negativo, neutro, positivo)
CMU-MOSEI35	Video, Audio, Testo	~23.453 clip annotate	Inglese	Etichette di intensità di sentimento ed emozione (continue e categoriali)

Tabella 1: Descrizione del dataset. Riassunto dei dataset utilizzati in questo studio, modalità, numero di campioni, lingua, etichette di emozione/sentimento per i dataset CH-SIMS e CMU-MOSEI.

Componente	Specifica
Framework di programmazione	Python con PyTorch
Estrattore di caratteristiche visive	Vision Transformer (ViT)
Estrattore di caratteristiche audio	Wav2Vec 2.0
Estrattore di caratteristiche testuali	RoBERTa
Strategia di fusione	Rete di attenzione multimodale basata su grafi
Dimensione delle caratteristiche	768 per modalità
Ottimizzatore per l'addestramento	Adam
Tasso di apprendimento	1.00E-04
Dimensione del batch	16
Hardware	GPU NVIDIA (ad esempio, serie RTX)
Dataset di valutazione	CH-SIMS, CMU-MOSEI
Dimensione latente	2.56E+02
Dimensione dell'embedding	768
Funzione di attivazione	ReLU
Ottimizzatore	Adam
Tasso di apprendimento	1.00E-04
Dimensione del batch	32
Epoche	100
Arresto anticipato	Abilitato
Funzione di perdita	Classificazione + Ricostruzione + Coerenza

Tabella 2: Ambiente di simulazione. Impostazione sperimentale e dettagli di implementazione dell'ambiente di simulazione, come specifiche del modello, caratteristiche, ottimizzatore e hardware utilizzato.

Metodo	Accuratezza CH-SIMS (%)	Accuratezza CMU-MOSEI (%)
LSTM (Fusione precoce/ritardata)	72,84 ± 1,12	70,35 ± 1,26
TFN	74,91 ± 0,98	72,68 ± 1,10
LMF	76,23 ± 0,85	74,12 ± 0,94
Adaptive-Graph	78,46 ± 0,73	76,89 ± 0,81
Metodo proposto	81,72 ± 0,61	79,94 ± 0,69

Tabella 3: Valutazione dell'accuratezza del metodo proposto rispetto alle tecniche di riferimento sui dataset CH-SIMS e CMU-MOSEI. I risultati sono riportati come media ±± deviazione standard ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. Tutti i metodi sono stati valutati utilizzando partizioni identiche di training, validazione e test dei rispettivi dataset per garantire un confronto equo.

Metodo	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (Fusione Iniziale/Tardiva)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
Metodo Proposto	0.298 ± 0.007	0.341 ± 0.008

Tabella 4: Risultato dell'errore assoluto medio. I risultati sono riportati come media ±± deviazione standard ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diverse inizializzazioni casuali del seme. Tutti i metodi sono stati valutati utilizzando partizioni identiche di training, convalida e test dei rispettivi dataset per garantire un confronto equo. Confronto dell'errore assoluto medio (MAE) per la previsione dell'intensità continua delle emozioni utilizzando il framework proposto e approcci di riferimento su entrambi i dataset.

Varianti del modello	Precisione (%)	Punteggio F1
Modello completo	81,72 ± 0,61	0,823 ± 0,008
Senza disaccoppiamento	78,94 ± 0,74	0,791 ± 0,010
Senza fusione del grafo	77,88 ± 0,81	0,776 ± 0,011
Senza mappatura visiva	80,11 ± 0,66	0,807 ± 0,009
Fusione di base	74,91 ± 0,98	0,742 ± 0,013

Tabella 5: Risultato dello studio di ablazione con i metodi di base. I risultati sono riportati come media ±± deviazione standard ottenuti da cinque esecuzioni sperimentali indipendenti (n = 5) utilizzando diversi valori iniziali casuali. Tutti i metodi sono stati valutati utilizzando partizioni identiche di training, validazione e test dei rispettivi dataset per garantire un confronto equo. Confronto delle prestazioni tra le diverse varianti del modello, che indica l'efficacia dell'apprendimento da rappresentazioni disaccoppiate, della fusione basata su grafi e del modulo di mappatura visiva.

File Supplementare 1: Algoritmo 1 e Algoritmo 2.Cliccare qui per scaricare il file.

Discussione

I risultati sperimentali dimostrano che, nei dataset CH-SIMS e CMU-MOSEI, il framework proposto per il mapping visivo delle caratteristiche emotive multimodali supera le attuali tecniche di riconoscimento delle emozioni multimodali. Rispetto ai modelli a fusione precoce e tardiva, come EF-LSTM e TFN, la tecnica proposta raggiunge una maggiore accuratezza e punteggi F1, dimostrando la sua robustezza nel gestire informazioni emotive diverse. Il miglioramento del metodo è attribuibile alla rappresentazione disincagliata delle emozioni, che sopprime il rumore specifico della modalità e garantisce coerenza emotiva tra le modalità visiva, audio e testuale³⁶.

Recentemente, modelli multimodali basati su transformer come Adaptive Multimodal Transformers³⁷ e MIAR³⁸ hanno dimostrato risultati impressionanti nella modellizzazione delle dipendenze intermodali. Tuttavia, questi modelli si concentrano principalmente sulla previsione e mancano di meccanismi che supportino l'interpretabilità a livello di caratteristiche. Al contrario, il sistema proposto combina un'attenzione intermodale basata su grafi con un modulo di mappatura visiva, consentendo un'analisi trasparente delle interazioni tra modalità ed emozioni. Questo rappresenta un aspetto fondamentale attualmente assente nella letteratura, in cui l'inferenza emotiva è trattata come un processo a scatola nera.

Il framework proposto ha dimostrato prestazioni costanti sui dataset di riferimento CH-SIMS e CMU-MOSEI. Sebbene il framework possa avere potenziali applicazioni nell'interazione intelligente uomo-macchina, nel monitoraggio sanitario, negli ambienti di apprendimento adattivi e in altri sistemi sensibili alle emozioni, lo studio attuale ha valutato il metodo soltanto in condizioni di benchmark controllate. Non è stata condotta alcuna implementazione nel mondo reale, valutazione dell'interfaccia utente, studio sull'usabilità o valutazione con soggetti umani. Pertanto, l'efficacia pratica del framework in ambienti operativi resta da indagare. I futuri sviluppi si concentreranno su valutazioni orientate all'implementazione, studi centrati sull'utente, analisi della latenza, valutazione del consumo di memoria e prestazioni nell'interazione in tempo reale.

Inoltre, i miglioramenti nelle prestazioni su diversi dataset culturalmente e linguisticamente diversificati dimostrano la validità del framework proposto. A differenza dei lavori precedenti validati su un singolo dataset o su uno scenario di interazione specifico, il framework proposto dimostra prestazioni robuste attraverso lingue, parlanti ed espressioni emotive. Pertanto, il framework proposto è particolarmente adatto per sistemi pratici di interazione intelligente che richiedono un riconoscimento accurato delle emozioni e un processo decisionale interpretabile.

L'interpretabilità del framework proposto è stata valutata attraverso un'analisi basata sulla visualizzazione delle rappresentazioni multimodali apprese. In particolare, sono stati esaminati gli embedding latenti delle emozioni, le mappe di attenzione intermodale, i grafici delle interazioni tra le modalità e le traiettorie temporali delle emozioni, al fine di ottenere informazioni sul processo decisionale del modello e sul contributo delle diverse modalità. L'obiettivo del modulo di mappatura visiva è quello di aumentare la trasparenza, consentendo l'osservazione delle interazioni a livello di caratteristiche e della dinamica emotiva. Tuttavia, nel presente lavoro non sono stati inclusi metriche formali di interpretabilità, valutazioni della fedeltà dell'attenzione né studi con utenti. Pertanto, i benefici di interpretabilità riportati devono essere considerati come evidenze basate sulla visualizzazione, piuttosto che come misure di spiegabilità quantitativamente validate.

Dal punto di vista teorico, questa ricerca apporta i seguenti contributi al calcolo affettivo multimodale: propone un approccio sistematico alla modellazione delle emozioni che distingue chiaramente tra rappresentazioni specifiche dell'emozione e rappresentazioni specifiche della modalità. Garantendo coerenza emotiva tra le diverse modalità in uno spazio latente comune, il framework proposto fa così avanzare la teoria dell'apprendimento delle rappresentazioni nei sistemi multimodali. L'integrazione di meccanismi di attenzione basati su grafi formalizza ulteriormente le dipendenze tra le diverse modalità nell'espressione delle emozioni.

Da un punto di vista pratico, il framework proposto è molto vantaggioso per la progettazione di interazioni intelligenti e per le interfacce utente sensibili alle emozioni. Il modulo di mappatura visiva nel framework proposto consente ai progettisti di sistemi di comprendere l'effetto delle diverse modalità sulla previsione delle emozioni, il che è molto importante per i progettisti di sistemi. Il framework proposto è molto utile per applicazioni come agenti conversazionali affettivi, sistemi di apprendimento adattivi, interfacce per il monitoraggio sanitario e piattaforme di valutazione dell'esperienza utente.

Tuttavia, il framework proposto presenta alcune limitazioni. L'uso di meccanismi di attenzione basati su grafi e di encoder di tipo transformer aumenta la complessità, il che potrebbe risultare problematico per dispositivi con capacità limitate. Inoltre, lo studio attuale trascura altri segnali fisiologici, come l'EEG e il tracciamento oculare, preferendo concentrarsi sulle modalità visiva, audio e testuale. L'efficienza computazionale del framework suggerito per un impiego in tempo reale non è stata valutata specificamente, nonostante abbia raggiunto prestazioni competitive nella previsione e una capacità migliorata di visualizzazione. Ricerche future esamineranno le prestazioni di implementazione in contesti reali di interazione intelligente, il ritardo di inferenza, il throughput, il consumo di memoria e le tecniche di compressione del modello. Per migliorare ulteriormente l'accuratezza della modellazione delle emozioni e la reattività dell'interazione, studi futuri si concentreranno sullo sviluppo di modelli leggeri, tecniche di ottimizzazione in tempo reale e sull'integrazione di ulteriori modalità. Le prestazioni in tempo reale non sono state valutate, e l'inclusione di encoder di tipo transformer e metodi di attenzione basati su grafi aumenta la complessità computazionale. Per la validazione della metodologia sono stati utilizzati soltanto i dataset di riferimento CH-SIMS e CMU-MOSEI, il che potrebbe introdurre bias specifici del dataset e limitare la generalizzabilità ad altri domini, lingue e popolazioni di utenti. Inoltre, lo studio attuale non include segnali fisiologici come dati EEG o di tracciamento oculare, ma si concentra invece sulle modalità visiva, audio e testuale. Sebbene descrizioni dettagliate dell'implementazione e dell'ambiente di simulazione abbiano migliorato la riproducibilità, attualmente il codice sorgente e i modelli preaddestrati non sono resi pubblicamente disponibili.

In questo lavoro viene utilizzato un nuovo framework di mappatura visiva per l'apprendimento di caratteristiche emotive multimodali nell'ambito della progettazione di interazioni intelligenti. Il metodo proposto integra un apprendimento rappresentazionale basato su trasformatori end-to-end, una modellazione delle emozioni disincagliata e un'attenzione multimodale basata su grafi, raggiungendo un'elevata accuratezza predittiva e interpretabilità. Esperimenti condotti sui dataset CH-SIMS e CMU-MOSEI dimostrano che il framework proposto supera i modelli all'avanguardia di riconoscimento emotivo multimodale in termini di accuratezza e punteggio F1. Ancor più importante, la soluzione di mappatura visiva proposta colma il divario tra il riconoscimento delle emozioni e la strategia di interazione, offrendo una nuova direzione per la progettazione di sistemi informatici affettivi multimodali interpretabili e consapevoli dell'interazione.

Per facilitare la progettazione di interazioni interpretabili e intelligenti, questo studio ha introdotto un nuovo framework visivo di mappatura per l'apprendimento di caratteristiche emotive multimodali. Il sistema proposto integra con successo la rilevazione emotiva e l'interpretabilità all'interno di un'unica architettura, combinando l'estrazione di caratteristiche multimodali basata su transformer, l'apprendimento di rappresentazioni emotive disincagliate, la fusione dell'attenzione multimodale basata su grafi e metodi di mappatura visiva. Oltre a fornire rappresentazioni visive chiare dei contributi delle singole modalità, delle interazioni cross-modali e della dinamica temporale delle emozioni, la valutazione sperimentale sui dataset di riferimento CH-SIMS e CMU-MOSEI ha mostrato un miglioramento delle prestazioni rispetto ai metodi di riferimento rappresentativi su diverse metriche, tra cui Accuratezza, Precisione, Richiamo, F1-score ed Errore Assoluto Medio (MAE). Tuttavia, questo studio non include studi di implementazione nel mondo reale, valutazioni centrate sull'utente, valutazioni quantitative dell'interpretabilità e l'integrazione di modalità fisiologiche, essendo limitato a valutazioni su due dataset di riferimento. Inoltre, ambienti con risorse limitate potrebbero incontrare difficoltà a causa del costo computazionale degli encoder transformer e dei processi di attenzione basati su grafi. Sebbene i lavori futuri si concentreranno su una validazione più ampia su diversi dataset, sull'integrazione di ulteriori modalità, su studi di usabilità, sulla pubblicazione di risorse riproducibili e sull'ottimizzazione per scenari di implementazione in tempo reale, il framework proposto mostra complessivamente il potenziale dell'analisi emotiva multimodale interpretabile per le applicazioni di informatica affettiva e interazione intelligente.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Adam	Libreria di ottimizzatori PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (Learning Rate = 1 × 10-4)	Ottimizzazione dei parametri durante l'addestramento del modello
CH-SIMS	Archivio del dataset originale	Ultima versione pubblica	Dataset di riferimento per l'analisi multimodale del sentiment/emozione in cinese
CMU-MOSEI	Archivio CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (Ultima versione pubblica)	Dataset di riferimento per il riconoscimento multimodale del sentiment e delle emozioni
Disentangled Emotion Encoder	Implementazione personalizzata	https://pytorch-geometric.readthedocs.io/en/latest/(Architettura a doppio codificatore)	Separazione delle rappresentazioni latenti specifiche per l'emozione e specifiche per la modalità
Graph Attention Network (GAT)	PyTorch Geometric	GAT multi-testa (https://pytorch-geometric.readthedocs.io/en/latest/)	Modellizzazione delle relazioni emotive cross-modali e fusione adattiva delle caratteristiche
Graph-Based Cross-Modal Attention Layer	Implementazione personalizzata	Fusione con attenzione multi-testa	Apprendimento di dipendenze emotive finemente dettagliate tra le modalità
Matplotlib	Progetto Matplotlib	3.7+	Generazione di grafici e analisi visive
NetworkX	Progetto NetworkX	3.0+	Costruzione e visualizzazione di grafi di interazione cross-modale
NVIDIA GPU	NVIDIA Corporation	GPU abilitata CUDA	Accelerazione dell'addestramento di transformer e reti neurali grafiche
Principal Component Analysis (PCA)	Scikit-learn	sklearn.decomposition.PCA	Riduzione iniziale degli embedding emotivi ad alta dimensionalità
Python	Python Software Foundation	3.8+	Linguaggio di programmazione principale per l'implementazione del framework di analisi emotiva multimodale
PyTorch	PyTorch Foundation	2.0+	Sviluppo, addestramento e ottimizzazione di reti neurali profonde
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base, embedding 768-dim)	Estrazione di rappresentazioni linguistiche e semantiche contestuali delle emozioni
Seaborn	Progetto Seaborn	0.12+	Generazione di heatmap di attenzione e visualizzazioni statistiche
t-distributed Stochastic Neighbor Embedding (t-SNE)	Scikit-learn	scikit-learn.org (Perplessità = 30, Iterazioni = 1000)	Visualizzazione di cluster e traiettorie emotive latenti
Ubuntu Linux	Canonical Ubuntu	20.04 LTS o successiva	Ambiente sperimentale di esecuzione
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16, embedding 768-dim	Estrazione di rappresentazioni visive consapevoli dell'emozione dai fotogrammi video
Wav2Vec 2.0	Meta AI Research	Modello base, embedding 768-dim	Estrazione di caratteristiche acustiche e vocali contestuali delle emozioni