インテリジェント・インタラクション設計のためのマルチモーダル感情特徴の視覚的マッピング

サマリー

本研究では、トランスフォーマーエンコーダー、もつれを解いた感情表現、および視覚的マッピングを伴うグラフベースのクロスモーダルアテンションを活用し、2つのデータセットにおける感情認識精度を向上させるエンドツーエンドのマルチモーダル感情分析フレームワークを提案します。

要約

機械に人間の感情状態を理解させ、解釈させ、それに反応させることで、マルチモーダルな感情特性を視覚的にマッピングすることは、インテリジェントなインターフェース設計において極めて重要です。しかしながら、現在のマルチモーダル感情検出アルゴリズムは主に予測性能に焦点を当てており、解釈性、インタラクションの認識、あるいは特徴量レベルでのクロスモーダルな相互作用に関する知見はほとんど得られていません。本研究では、インタラクション指向の視覚化、解釈可能な表現学習、および感情予測を組み合わせた、マルチモーダル感情アスペクトの視覚的マッピングのためのフレームワークを導入しました。手動で作成した特徴量を使用せず、Transformerベースのエンコーダを用いて、テキスト、音声、および視覚的な各モダリティから高レベルの感情埋め込みを抽出しました。堅牢性を向上させるため、もつれ解消表現学習（disentangled representation learning）の手法を用いて、感情固有の情報とモダリティ固有の情報を分離しました。さらに、適応的なアテンション重み付けを用いてモダリティ間の微細な感情関係をシミュレートするため、グラフベースのクロスモーダルアテンションネットワークを構築しました。透明性を高めるために、時間的な感情の軌跡、クロスモーダルアテンションの分布、および潜在的な感情埋め込みを描写するマルチビュー視覚マッピングモジュールを作成しました。提案したフレームワークの評価には、Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) データセットおよびChinese Multimodal Sentiment Analysis Dataset (CH-SIMS) を使用しました。実験結果によれば、提案したフレームワークは、精度、F1スコア、相関、および平均絶対誤差において代表的なベースライン手法を一貫して上回りつつ、特徴量レベルの解釈性とインタラクション認識の視覚化を向上させました。加えて、視覚マッピングモジュールによって、マルチモーダルな感情表現、クロスモーダルな相互作用、および時間的な感情ダイナミクスの定性的な解釈が可能となり、インタラクション認識に基づいた視覚化と分析がサポートされました。

概要

人間の感情を正確に識別し、理解する能力は、人間と機械の間のインタラクションを向上させるために極めて重要になっています。感情分析は、ヒューマン・コンピュータ・インタラクションの向上に不可欠であるだけでなく、前診断的な医学的診断¹、教室における行動分析²、患者の心理的トラッキング³、車両内での疲労識別⁴、およびスマートホーム環境におけるインテリジェント管理⁵など、多くの分野に革命をもたらす可能性があります。アフェクティブ・コンピューティングとディープラーニング⁶の最近の進展により、人間の感情の複雑さを捉えることができるリアルタイムシステムの構築への関心が高まっています。

現在の多くの手法は、主にテキスト、画像、音声などの単一モーダルデータに依存しています^7,8,9。これらのアプローチでは、皮肉や文脈依存のニュアンスといった精緻なシグナルを検出できないことが繰り返し示されています。そのため、これらの制限を克服するために、複数のソースからの補完的なデータを取り入れたマルチモーダル感情評価へと研究が移行しています^10,11,12。複数のモーダルを統合する利点は、early fusion-long short-term memory (EF-LSTM)13、light and FM deep neural networks (LF-DNN)¹⁴、tensor fusion networks (TFN)、および低ランクマルチモーダル融合アプローチなどのベースラインモデルによって実証されています。しかし、これらのアプローチのほとんどはオフラインでの特徴量生成に依存しており、動的な現実世界の状況には適していません。

感情状態に対応するため、マルチモーダル感情識別に関する研究と応用が過去10年間で発展してきました¹⁵。今日、最も困難かつ重要な研究領域の一つは、多様なデータソースを用いた感情状態の継続的なモニタリングです¹⁶。このような多様な知識システムの出現に伴い、マルチモーダリティという概念が自然に生まれ、感情コンピューティング、ヒューマンコンピュータインタラクション（HCI）、学習、ビデオゲーム、カスタマーサービス、医療ケア、ユーザーエクスペリエンス（UX）評価などの領域における感情応用の多くの進歩をもたらしました。しかし、UX評価に感情認識技術を適用することは、必ずしも容易ではありませんでした。

単一のモダリティ（unimodal）の手法ではなく、マルチモーダル認識に重点を置く主な理由の一つは、単一の情報源に依存することに内在する欠点があるためです。単一モダリティの感情検出システムは、データの欠落や不明瞭さにより精度が低下することがありますが、一方でMER（マルチモーダル感情認識）スキームは、複数のデータソースを統合することで、より信頼性が高く、表現状態に関するより包括的で思慮深い理解を提供します¹⁷。例えば、顔の表情だけで感情を正確に分類することは、特にジェスチャーが複雑であったり不明瞭であったりする場合に不十分である可能性があります。しかし、顔の表情を言語や身体的キューなどの他のコミュニケーション形式と組み合わせることで、感情認識の精度を高めることができると考えられます。

感情認識に関する広範な研究が、いくつかのモダリティを用いて行われてきました。初期の研究では、画像、音声、またはテキストベースの入力など、異なるモダリティから特徴的な要素を特定することに焦点が当てられていました。しかし、多様なモダリティを統合することで、バランスの取れた感情情報を得ることができ、より信頼性と精度の高い感情検出が可能になることがますます明らかになっています。本セクションでは、単一モダリティおよびマルチモーダル感情分析における主要な進展をレビューし、ベースラインの手法、その欠点、および我々の手法の根拠について考察します。

感情認識に関する初期の研究は、主に単一のモダリティに焦点を当てていました。視覚領域では、画期的な研究によりプロトタイプ的な顔の動きの分類が行われました²⁰。その後の進展として、視覚的動き²¹や隠れマルコフモデル²²など、時間的なダイナミクスを捉える手法が登場し、一方で顔の反応はFacial Action Coding System (FACS)²³を用いてアクションユニットに分類されました。LSTMや畳み込みニューラルネットワーク (CNN) は、生の音声信号から有意義な特徴を直接抽出することに成功しており、音声ベースの感情識別手法は、従来の信号処理からディープラーニングへと進化しています²⁴。テキストベースの感情分析における文脈的な感情信号の抽出は、アテンションメカニズムを組み込んだ回帰型ニューラルネットワーク (RNN) や、より最近ではTransformerベースのモデルによって大幅に強化されました。これらの成果はあるものの、単一モダリティの手法は、他のモードに含まれる補完的な情報が欠けているため、人間が経験する複雑さを正確に表現することは本質的に不可能です。

対話感情識別におけるより長期的なコンテキストデータを収集するため、2021年にDialogXLモデル25などのアテンションメカニズムに基づくモデルが提案された。Kimらは、²⁶ 2021年に、ERC（感情認識会話）の精度を向上させるためにEmoBERTaモデルが導入されました。このモデルは、話者データを利用することで、会話における話者の特徴および話者相互間の相互作用に関する特徴を改善します。2022年、Liらは²⁷ CoG-BART法を提示した。この手法では、教師あり対照学習を用いることで、関連データの解釈におけるモデルの能力を向上させている。なお、教師あり学習には大量のラベル付きデータが必要であることに留意されたい。

このような研究の代表的な例として、特徴量間の相互作用トークンと対比的アライメントを用いてモダリティ間の汎化性能を向上させるMultimodal Interaction-Aware Representation (MIAR) フレームワーク²⁸がある。MIARはモダリティのアライメントを改善し、複数のデータセットにおいて高い性能を達成しているが、主に予測精度に焦点を当てており、視覚的なマッピングには対応していない。同様に、Cross-Attentional Audio-Visual Fusion モデル²⁹は、バレンス（快・不快）およびアロウザル（覚醒度）の予測において、きめ細かなオーディオ・ビジュアル間の相互作用を効果的に捉えているが、2つのモダリティに限定されており、可視化機能に欠けている。LSTMネットワークとオートエンコーダー融合に基づく時間的モデリング手法は、感情の時間的ダイナミクスを捉えることに成功しているが、モダリティ間の相互作用や学習された感情表現に関する知見は限定的である。より最近では、Transformer-based Multimodal Fusion Network (TMFN)³⁰などのTransformerベースの手法が、マルチモーダル融合と対比学習の強化により、CMU-MOSIおよびCMU-MOSEIにおいて強力な性能を示している。それにもかかわらず、これらのアプローチは依然として主に性能重視であり、説明可能性、特徴量レベルの解釈、および相互作用を重視した可視化へのサポートは限られている。

テキスト、音声、および視覚データの統合を強化するために、いくつかのマルチモーダル感情認識手法が提案されてきました。EF-LSTMやLF-DNNなどの初期融合（early fusion）手法は、複雑なクロスモーダル相互作用を捉えることはできませんでしたが、感情分析においてマルチモーダル情報を活用することの有用性を示しました。TFNは、CMU-MOSIやCMU-MOSEIなどのベンチマークデータセットにおける性能を向上させ、モーダル間相互作用の明示的なモデリングを導入しましたが、解釈可能性の低さと計算複雑度の高さが実用性の妨げとなりました。モーダリティの整合性と動的な特徴融合を改善するため、MIAR、クロスアテンション融合モデル、TMFN、および適応的マルチモーダルTransformerなどのより現代的な手法では、Transformerトポロジーとアテンションメカニズムが採用されています。これらの手法は、正解率、F1スコア、平均絶対誤差などの一般的な評価指標において競争力のある結果を達成しているものの、主に予測性能に焦点を当てており、特徴レベルの感情表現やクロスモーダル依存性に関する知見はほとんど得られていません。さらに、潜在的な感情埋め込み、アテンション分布、および時間的な感情動態を明らかにできる可視化技術を確立した研究や、モーダル間相互作用のグラフベースのモデリングを統合した研究はほとんどありません。提案するアプローチでは、これらの欠点を克服し、マルチモーダル感情認識の性能を向上させるために、マルチビュー視覚マッピング、グラフベースのクロスモーダルアテンション融合、およびもつれ解消表現学習（disentangled representation learning）を組み込んでいます。

同様に、Adaptive Multimodal Transformer³²は、ノイズを含む、あるいは欠落したモダリティ情報を適応的に軽減するための交換ベースの融合を提案し、これにより感情分類の性能を向上させています。このアプローチは、モダリティ情報の分布における不一致を効果的に解決できますが、その設計は感情分析という特定のタスクに特化しており、学習された感情表現に関する洞察は限定的です。もう一つの重要な貢献は、リアルタイムのマルチモーダル感情認識のためにCNN、乗算的LSTM、およびトランスフォーマーベースのアテンションを統合したMultimodal Fusion Model³³です。このモデルは、ビデオ、オーディオ、テキストの各モダリティに対して完全な融合を行い、堅牢な認識性能を示しています。それにもかかわらず、他の既存モデルと同様に、主に予測精度に焦点を当てており、可視化やインタラクションを重視した解釈性のための明確な機能に欠けています。

結論として、現在の最先端のマルチモーダル感情認識アプローチは、クロスモーダル相互作用の捕捉と予測精度の向上において大きな成果を上げていますが、その多くは認識主導のタスクに重点を置いています。特徴レベルの解釈可能性、画像空間における感情表現の可視化、およびインテリジェントなインタラクション設計のための提案フレームワークの導入といった領域への関心はほとんど向けられていません。これらの課題を念頭に置き、本フレームワークを提案します。

マルチモーダル感情認識に顕著な進歩が見られるものの^28,29、現在の手法の大部分は主に予測性能の向上に焦点を当てており、学習された感情表現やクロスモーダル相互作用の解釈可能性についてはほとんど提供されていません。テキスト、音響、視覚の各モダリティ間の複雑な相互作用は、特にモダリティ間の不一致や情報の不足が発生した場合、現在の融合戦略ではモデル化することが困難な場合が多くあります^28,31。Transformerベースの設計やアテンションメカニズムは表現学習を強化しましたが、感情特有の情報とモダリティ特有の情報が明示的に分離されていないため、その透明性と解釈可能性はしばしば低下しています^31,32,33。さらに、モーダル間相互作用のグラフベースのモデリングを調査したり、時間的な感情ダイナミクス、アテンション分布、および感情埋め込みを開示できる可視化フレームワークを構築したりした研究はわずかしかありません。これらの欠点は、相互作用を重視した視覚的マッピングと強力なクロスモーダル学習を組み合わせた、インテリジェントなヒューマンマシンインタラクションのための解釈可能なマルチモーダルフレームワークの必要性を示しています。

本研究では、インテリジェントインターフェース設計におけるマルチモーダルな感情アスペクトを視覚的にマッピングするための、解釈可能なフレームワークを提示します。本システムは、手動で作成された特徴量を必要とせず、エンドツーエンドのディープラーニングを用いて、テキスト、音声、視覚の各モダリティから高レベルの感情表現を抽出します。クロスモーダルな感情相互作用は、感情特有の情報とモダリティ特有の情報を分離するグラフベースのアテンション融合メカニズムを用いてモデル化されており、これによりもつれのない表現学習が可能となり、解釈性と堅牢性が向上します。さらに、感情の時間的ダイナミクス、クロスモーダルアテンションパターン、および感情エンベディングを表示するためのマルチビュー可視化モジュールを構築しました。提案したフレームワークの有効性と、インテリジェントなヒューマンマシンインタラクションシステムへの適合性は、ベンチマークとなるマルチモーダル感情認識データセットを用いた検証によって評価されています。

本研究では、マルチモーダルな感情側面の視覚的マッピングのための独自のフレームワークを提案します。これは、従来の予測重視のアプローチを超え、現在のマルチモーダル感情識別システムにおけるクロスモーダル相互作用のモデリングの不十分さと、限定的な解釈可能性を克服することを目的としています。提案された手法は、単一のアーキテクチャ内で、Transformerベースのマルチモーダル表現学習、もつれを解いた（disentangled）感情認識特徴モデリング、グラフベースのクロスモーダル・アテンション融合、および相互作用指向の視覚化を組み合わせています。分類性能に主眼を置く現在の手法とは対照的に、本フレームワークでは感情特異的な表現とモダリティ特異的な表現を明確に分離することで、解釈可能性、堅牢性、およびクロスモーダルの一貫性を向上させています。さらに、テキスト、音声、視覚の各モダリティ間における詳細な感情的相互依存性を捉えることで、モーダル間相互作用の適応的なモデリングを可能にするグラフベースのアテンション機構を導入しました。また、時間的な感情の軌跡、クロスモーダル・アテンションパターン、および潜在的な感情埋め込みを明らかにすることで、モデルの意思決定プロセスに対する直感的な洞察を提供し、透明性を高めるマルチビュー視覚化モジュールを構築しました。CH-SIMSおよびCMU-MOSEIのベンチマークデータセットを用いた実験的な評価により、マルチモーダルな感情ダイナミクスの視覚化と解釈可能性が向上しただけでなく、精度、F1スコア、平均絶対誤差、および相関において競争力のある性能が示されました。

プロトコル

本研究の目的は、マルチモーダルな感情特徴の視覚的マッピングのための解釈可能なフレームワークを提示することで、インテリジェントなインタラクションデザインを向上させることです。本研究では、一般に公開されているCH-SIMSおよびCMU-MOSEIデータベースを使用しました。どちらのデータセットも公式ソースから取得し、それぞれの作成者が定める利用ガイドライン、研究基準およびライセンス条項に従って利用しました。テキスト、音声、ビデオデータを含むデータセットのマルチモーダルコンテンツは、データセット提供者によって、承認された参加者の許可およびデータ収集プロトコルに従って事前に収集およびアノテーションされています。本研究において、直接的な人間との相互作用、新規参加者の募集、および個人特定情報の収集は行っていません。すべての分析は、公開されている研究データセットを用いて実施されました。したがって、本二次データ分析において、追加の倫理承認や機関審査委員会（IRB）による審査は不要でした。本研究は、公開データセットの使用を管理する適切な機関の規範、倫理的な研究手順、および適用可能なデータ利用ポリシーに従って実施されました。

理解度を向上させるため、感情またはモダリティ固有の特性を用いて、モダリティを越えた感情特性を学習するグラフベースのクロスモーダルアテンションメカニズムを採用しました。また、リアルタイムの感情認識インタラクティブデザインを強化するためにマルチビュー視覚マッピングコンポーネントを使用し、その効率性を感情認識において評価しました。その結果、提案した手法が、現実世界における感情認識インテリジェントユーザーインターフェースの解釈可能性と効率性の両方を向上させることが示されました。図 1に、提案手法のアーキテクチャワークフローを示します。図 1は、インテリジェントインタラクションシステムにおけるマルチモーダル感情特徴学習のための、提案した視覚マッピングフレームワークの完全なワークフローを示しています。このワークフローは、同期された3つの入力モダリティ、すなわちテキスト、オーディオ、ビデオから始まり、それぞれ言語的、韻律的、および顔表情のモダリティから相補的な感情情報を取得します。次に、モダリティ固有のトランスフォーマーエンコーダーが各モダリティを処理し、生の入力データの高次元表現を取得します。その後、これらの表現はもつれ解消表現学習モジュールに送られ、異種データソース間で学習される感情の一貫性を確保するために、感情固有の埋め込みがモダリティ固有の特徴から分離されます。各モダリティからの感情固有の埋め込みは、その後、グラフベースのクロスモーダルアテンションネットワークによって集約され、モダリティ間の感情依存性をモデル化し、インタラクションのコンテキストに基づいて各モダリティに動的な重要度ウェイトを割り当てます。最終的に、このフレームワークは感情分類の結果とインタラクションに関する洞察の両方を提供し、これにより透明性の高い感情認識ベースの意思決定と適応的なインテリジェントインタラクションデザインが可能になります。

マルチモーダルデータの取得

CH-SIMSおよびCMU-MOSEIデータセットは、同期されたビデオ、オーディオ、テキストなどのマルチモーダル情報を収集した、既存の2つのパブリックドメイン・マルチモーダルデータセットである。CH-SIMSデータセットは、映画、テレビドラマ、バラエティ番組の複数のビデオセグメントから派生した2,281個のビデオセグメントを含む、中国人のマルチモーダル検査で構成されている。これらのビデオセグメントに対応するオーディオとテキストを加えることで、マルチモーダルデータを用いた感情のマルチモーダル分析に関する研究が、より魅力的で実現可能なものとなる。一方で、意見、感情、および情動の検査に使用される最大のマルチモーダルデータセットの一つがCMU-MOSEIデータセットであり、これは多様なトピックにわたる1,000人以上の話者によるフレーズを含む23,000以上のビデオクリップから収集されたものである。このデータセットは、クラス分布を維持したまま、トレーニング（70%）、検証（15%）、およびテスト（15%）のサブセットにランダムに分割された。

テキストの書き起こし、音声信号、およびビデオフレームを取得し、きめ細かな時間レベルで一致するようにタイムスタンプで同期させます。フレームレベルでの統合により、提案する表現学習およびグラフベースの融合メカニズムを用いて、視覚的表現、声調、および言語的コンテンツから生じる感情的な内容を共同でモデル化し、活用することが可能になります。このようなマルチモーダル取得技術によって、モーダル間の感情ダイナミクスの効果的な抽出が可能となり、これはインテリジェントなインタラクション設計および理解可能な視覚的マッピングにとって不可欠です。

表 1 は、提案手法で使用したマルチモーダル感情データセットの主要な構成を示しています。話言葉、声の抑揚、表情など、より広範囲に関連する感情を得るために、CH-SIMSとCMU-MOSEIは、これらのデータセットからビデオ、オーディオ、テキストのモダリティを統合しています。さらに、CH-SIMSではデータサンプル数が限られているため、中国におけるモダリティ間の相互作用や感情の変動を詳細に検討することが可能です。一方、CMU-MOSEIデータセットは、多様な言語、被験者、およびアノテーションされた感情レベルにわたる大量のデータを含んでいるため、本研究で扱う表現学習の堅牢性と関連する可視化アルゴリズムを評価する上でより重要となります。加えて、先行研究と比較して、モデルのテスト時における情報選択の困難さが軽減されています。

マルチモーダル前処理および同期

CH-SIMSおよびCMU-MOSEIデータセットのタイムスタンプアノテーションを用いて、テキスト、音声、および視覚的なモダリティを同期させ、一貫したマルチモーダル表現学習を実現した。各発話（utterance）を基本解析単位とし、同一の時間間隔内にある対応するオーディオおよびビデオセグメントに紐付けた。アライメントは発話レベルで実施した。トランスクリプトは、各発話の開始および終了タイムスタンプに基づいてセグメントに分割した。同一の時間間隔内に収まる対応するビデオフレームとオーディオ信号を抽出することで、トランスクリプト・音声・視覚の対応関係を構築した。オーディオセグメントはWav2Vec 2.0を用いて処理し、音響表現を生成した一方、ビデオセグメントからの視覚フレームは所定のレートでサンプリングし、Vision Transformer (ViT)を用いてエンコードした。また、発話トランスクリプトからテキスト埋め込みを作成するためにRoBERTaエンコーダを使用した。3つのモダリティで生成される特徴シーケンスの長さが異なるため、すべてのモダリティ特徴を単一の発話境界に合わせることで、時間的な同期を図った。長さが異なるシーケンスを正規化するために、固定長の形式を採用した。長いシーケンスは最大許容シーケンス長まで短縮し、短いシーケンスはゼロパディングを行った。学習時には、アテンションマスクを用いて、パディングされた要素と正当な特徴位置を区別した。モダリティ間の異なるシーケンス長を克服するため、融合前に各モダリティ固有の埋め込みを共通の潜在空間に投影した。これにより次元の一貫性が保証され、グラフベースのアテンションメカニズムによる効果的なクロスモーダル相互作用学習が可能となった。データの品質と同期の整合性を維持するため、ファイルの破損、アノテーションの欠落、またはモダリティ情報の不備があるサンプルは解析から除外した。

Transformerベースの特徴抽出

ディープラーニングの手法を用いて、マルチモーダルデータの整合および必要な前処理を行った後、視覚、音声、テキストなどの複数のモダリティにわたる情報から、感情を認識する高レベルな特徴表現をエンドツーエンドで学習させます。トランスフォーマーエンコーダーを使用して、生のマルチモーダルデータから本質的に識別可能な特徴表現を学習させることで、提案手法では特徴量エンジニアリングの必要性を排除しています。提案アプローチで使用されるデータセット間の整合性を高めるため、各モダリティに対して固定サイズの埋め込みを学習させます。例えば、画像、音声、テキストを含む個々のモダリティそれぞれに768次元の特徴埋め込みを学習させ、それらを統合して、アプローチ全体で共通して使用される統一的な特徴空間を形成します。特に、提案するCH-SIMSデータセットおよびCMU-MOSEIデータセットにおいて、様々なサイズのデータから高レベルな特徴を学習させるための特徴抽出アプローチとして利用されます。

視覚モダリティ：感情を考慮したフレーム埋め込みのためのビジョントランスフォーマー

感情に関連する空間的表現を得るために、Vision Transformer (ViT-Base) モデルを用いてビデオフレームから視覚情報を抽出しました。特徴抽出の前処理として、各ビデオセグメントのフレームを (224 × 224) ピクセルにリスケールし、一定の時間間隔でサンプリングしました。16 × 16 ピクセルのパッチサイズを用いた ViT-Base アーキテクチャにより、一連の視覚トークンが生成され、それが12層のトランスフォーマーエンコーダー層で処理されます。抽出されたフレームレベルの表現は、視覚的なバックボーンとして事前学習済み ViT モデルを用いて、768次元の埋め込み空間に投影されました。各セグメントの最終的な視覚表現を作成するため、フレームレベルの埋め込みを平均プーリングによって集約しました。学習時には、汎化性能を高めるために、画像の正規化およびランダムクロッピングや水平反転などの一般的なデータ拡張手法を用いました。その後、提案されたマルチモーダル融合フレームワークを用いて、これらの視覚的埋め込みをテキストおよび音声表現と統合しました。

感情の時間的ダイナミクスを維持するため、視覚モダリティにはCH-SIMSおよびCMU-MOSEIデータセットからビデオサンプルを一様にサンプリングします。各ビデオのフレーム は、N個の固定サイズセクションに分割され、それらがフラット化されてから、次元 の潜在埋め込み空間に逆転送されます。そして、位置埋め込みと学習可能なグルーピングトークンを加えることで、一連のシーケンスが作成されます。

   (1)

ここで、 は位置エンコーディングを、 はパッチ埋め込み行列を表します。

フィードフォワードネットワークとマルチヘッド自己注意（multi-head self-attention）で構成されるスタックされたTransformerエンコーダ層を用いて、埋め込みパッチシーケンスを処理します。層 l における変換は次のように記述されます：

   (2)

   (3)

感情を認識した視覚的特徴ベクトルを得るために、クラス・トークンに相当する出力を特徴ベクトル として抽出します。データセット間での言語や内容の違いにかかわらず、一貫した視覚的感情表現を実現するため、各ビデオセグメントからのフレームレベルの埋め込みを結合し、顔の表情と感情の推移を捉えます。

韻律および意味的音響埋め込みのためのWav2Vec 2.0を用いたオーディオモダリティ 音響バックボーンとして学習済みWav2Vec 2.0エンコーダを用い、文脈化された音声埋め込みを生成しました。平均プーリングを使用して出力隠れ表現を集約し、各フレーズに対する固定長の音響特徴ベクトルを得ました。Wav2Vec 2.0モデルを用いてオーディオ信号から音響表現を抽出し、文脈および感情に関連する音声特性を捉えました。特徴抽出の前に、オーディオ録音を正規化し、16 kHzにリサンプリングしました。テキストモダリティと視覚モダリティとの同期を確実にするため、データセットのアノテーションで提供されたタイムスタンプの境界を用いて、発話レベルの各オーディオセグメントを分離しました。タスク固有の適応を強化するために、モデル訓練中に学習済み音響エンコーダを調整し、導出された表現が音声信号の感情的側面をより正確に表現できるようにしました。その後、最終的なオーディオ埋め込みを用いて、グラフベースのクロスモーダルアテンション融合およびもつれのない表現学習（disentangled representation learning）を実施しました。

音声モダリティでは、CH-SIMSおよびCMU-MOSEIデータセットの初期音声情報から得られた音声信号をモデル化するためにWav2Vec-2.0が使用され、感情に関連する音声特徴量を直接抽出します。各入力音声信号に対して、次のような畳み込み特徴エンコーディングが存在します ：

   (4)

ここで Z は、メロディ、トーン、エネルギーなどの低レベルの韻律的特徴を表します。トランスフォーマーベースのコンテキストネットワークは、前述の構造において有用であり、長距離の時間的依存性を表現します：

   (5)

感情を表現する上で不可欠な韻律的および意味的な音響データが、これらの文脈的な音響表現に含まれています。時間的プーリング処理を行うことで、特定の長さのオーディオ埋め込みが作成されます：

   (6)

この設計では、MFCCなどの音響的特徴の使用を避け、波形から表現を抽出するだけで、CMU-MOSEIの英語音声データとCH-SIMSの中国語音声データを用いて堅牢性を実現しています。

文脈的な感情埋め込みのためのRoBERTaを用いたテキストモダリティ

テキストモダリティについては、2つのデータセットから得られた音声文字起こしデータに、深層双方向トランスフォーマーであるRoBERTaを適用し、文脈的な意味論および感情的な意味を生成します。文脈的な意味および感情情報を捉えるため、RoBERTaベースのトランスフォーマーエンコーダーを用いて、文字起こしデータからテキスト表現を抽出しました。英語のCMU-MOSEIデータセットには事前学習済みRoBERTaモデルを使用し、中国語のCH-SIMSデータセットには、言語固有の言語的特徴をより適切に考慮するため、中国語版RoBERTaバリアントを使用しました。テキストの前処理には、各言語に適したRoBERTaトークナイザーによるトークン化およびテキストの正規化が含まれます。一貫したバッチ処理を確実にするため、入力シーケンスはトークン埋め込みに変換され、あらかじめ設定された最大シーケンス長に合わせてパディングまたはトリミングが行われました。RoBERTaの入力形式に従い、特別な分類トークンおよびセパレーター・トークンを導入しました。トランスフォーマーエンコーダーによって生成された文脈化トークン表現を、最終的な[CLS]相当の文章表現を用いて集約することで、固定長のテキスト埋め込みを取得しました。学習した表現を感情認識タスクに適応させるため、事前学習済みRoBERTaエンコーダーをマルチモーダル学習を通じて微調整しました。その後、提案されたマルチモーダル融合フレームワークを用いて、テキスト埋め込みを音声および視覚的特徴と統合しました。

各トークン化された入力に対して、トークン埋め込みと位置エンコーディングを組み合わせることで、、深層双方向変換手法として知られる手法における入力表現を作成できます。

   (7)

この形式は、自己アテンションを用いて単語間のコンテキスト依存関係を抽出するL層のトランスフォーマーを通じて表現されます。

  (8)

文脈感情埋め込みは、分類トークンの最終隠れ状態で取得されます：

   (9)

感情の極性、強烈な感情、およびそれらに伴う含意は、この埋め込みによって表現される感情関連の言語的特徴の例です。RoBERTaは言語に依存しないモデリングを容易にします。これにより、システムはCMU-MOSEIデータセットの英語テキストとCH-SIMSデータセットの中国語テキストの両方に、同じ埋め込みサイズを使用することが可能になります。

提案された深層特徴表現学習ステップにより、視覚 f_v、音声 f_a、およびテキスト f_t の各モダリティから、それぞれ768次元のモダリティ固有の特徴ベクトルが抽出されます。インテリジェント・インタラクション設計において、これらの学習された表現は統合されたマルチモーダル特徴空間を構築し、これが特徴レベルの視覚的マッピング、グラフベースのクロスモーダル融合、およびもつれ解消表現学習の基盤となります。

もつれのない表現学習

深層特徴表現を学習した後、視覚、聴覚、およびテキストの各モダリティからのマルチモーダル特徴ベクトルをさらに処理することで、分離された感情記述を得ることができます。前のステップで使用された聴覚、視覚、およびテキストのモダリティ固有の特徴埋め込みを、それぞれf_v、f_a およびf_tとし、 および とした場合、このステップの目的は、すべてのモダリティ特徴を2つの異なる潜在的描写に因数分解することであり、これには各モダリティの以前の意味論を考慮した後の感情描写が含まれます。

これは、各モダリティの特徴量 f_m を、感情エンコーダ  とモダリティエンコーダ という2つの並列投影ネットワークに入力し、2つのエンコーディングを生成することで実現されます。

  (10)

ここで、 は感情に結びついた潜在的特徴を、 はモダリティ固有の潜在的特徴を表しています。これにより、各モダリティに関連する固有の構造データを維持しつつ、感情特異的な埋め込みが、オーディオ、視覚、テキストを含む複数の入力にわたって繰り返し共通空間で通信することが可能になります。

独立制約を用いて再構成することで、効果的な分離が強制されます。元のモダリティ特徴の再構成は次のように与えられます：

  (11)

ここで  はデコーダーネットワークです。再構成損失は以下のデータを保持します：

   (12)

さらに、感情とモダリティ特有の描写との間の直交性（または無相関性）により、情報の重複が制限されることがよくあります：

   (13)

これらの目的を達成することで、モデルは信頼性が高く、理解可能で、モダリティの変動に強い感情表現を学習できる可能性があります。その後のグラフベースのクロスモーダル融合や視覚的マッピング機能は、特に知的なインタラクション設計において、解釈可能で構造化された感情表現に大きく依存しています。

モダリティ間における感情の一貫性

感情の一貫性を追加することで、モダリティ間の融合の有効性が明らかに向上します。これは、モダリティ固有の感情埋め込みが潜在空間を共有しているため、融合戦略において2つの表現間の大きな乖離を考慮する必要がなくなるためです。2つの感情を組み合わせた図示は、次のように記述されます 。感情固有の表現が一貫している場合、さまざまなモダリティからの信号間の変動が結果に影響しなくなるため、加重融合はより安定します。

   (14)

感情情報の意味的なアライメントを強制することで、この目的はモダリティ間の不一致を最小限に抑え、どのモダリティで表現されていても感情認識が一貫することを保証します。その結果、音声信号、顔の表情、および言語的内容から得られた感情的な手がかりを投影することで、凝集性のある感情表現空間が構築されます。

クロスモーダル融合への影響

モダリティ間に感情の一貫性が導入されると、クロスモーダル融合はより効果的になります。感情特異的な埋め込みが共通の潜在空間で整合されるため、融合メカニズムが大きなモーダル間の表現ギャップを補う必要がなくなります。融合された感情表現は次のように定義されます：

  (15)

 α_mはモダリティmに与えられるアテンションの重みを表します。感情特異的な表現が一貫している場合、フュージョンの結果が矛盾するモダリティ信号ではなく、相補的な感情的根拠を示すため、重み付きフュージョンはより安定し、理解しやすくなります。

数学的には、低下させることで  ～に関連する、さまざまな感情特異的表現タイプ間の分散  に等しい：

   (16)

ここで、 は平均感情表現を表します。分散を低減させることで、入力モダリティがモダリティのノイズではなく、正確な感情的重要性に基づいて重み付けされるため、ネットワークの収束が改善され、より正確なアテンション評価が可能になります。

もつれ解消された感情可視化の最終的な学習目標は、断片化、再構成、および感情の一様性を組み合わせることにあります：

   (17)

2つのハイパーパラメータ、λ₁およびλ₂が、クロスモーダルな感情の信頼性と分離の間の関係を制御します。提案されたモデルは、これを実現するために、モーダリティに不変で、解釈可能かつ統合可能な感情表現を獲得します。これにより、インテリジェントインターフェース設計における、その後のグラフベースの統合および特徴レベルの表現のための強固な基盤を提供することに重点を置いています。

グラフベースのクロスモーダルアテンション融合

モダリティ間のきめ細かな感情関係をシミュレートするために、グラフベースのクロスモーダルアテンションネットワークが使用されました。モダリティ間の情報フローを促進するため、各モダリティ固有のエンベディング（テキスト、オーディオ、視覚）をグラフノードとして表す完全結合マルチモーダルグラフを構築しました。モダリティ間の関係を用いてグラフ隣接行列を確立し、その後、学習可能なアテンション手法によって改善しました。複数のアテンションヘッドからの出力を連結および投影することで、共有潜在空間を作成しました。次に、アテンション重み付きプーリングを用いてノード表現を集約し、統合されたマルチモーダル感情表現を生成しました。この融合表現は、相互作用を考慮した分析および感情認識のための予測・可視化モジュールに送られました。グラフ融合モジュールの隠れ表現次元は256であり、それぞれ8つのアテンションヘッドを持つ2つのグラフアテンション層を備えていました。隣接するモダリティの相対的な重要性を確定するため、接続されたノード間のアテンション係数を算出し、softmax関数を用いて標準化しました。各グラフアテンション層の後には、学習の安定性を高めオーバーフィッティングを抑制するために、レイヤー正規化、残差接続、および0.2のドロップアウト率を適用しました。複数のアテンションヘッドの出力を共通の潜在空間に連結および投影した後、アテンション重み付きプーリングを用いてノード表現を単一のマルチモーダル感情エンベディングに統合しました。その後、この融合表現がマルチビュー視覚マッピングおよび感情予測に使用されました。

マルチヘッドグラフアテンションを用いて、多様なクロスモーダル相互作用を捉えました。各ノードについて、接続されたノード間のアテンション係数を正規化するためにsoftmax関数を使用しました。学習の安定性を高め、過学習を避けるため、グラフ融合モジュールの積層グラフアテンション層の後には、残差接続、レイヤー正規化、およびドロップアウト正則化を導入しました。

各項  は、それぞれ視覚、音声、およびテキストのモダリティによって収集された特定の感情に対応する表現を表しており、各コンポーネントは共有潜在空間 内に存在します。モダリティノードのモデルでは、グラフの表記 を使用し、集合   のノードを3つのモダリティノード自体に対応させることで、さまざまなモダリティ表現間で共有される感情的な依存関係を明示的に強化しています。

グラフの各ノードに感情固有の特徴ベクトルを割り当てると、以下のようになります：

   (18)

あらかじめ決定された固定の融合重みを用いる従来の融合手法とは異なり、提案手法では、チャネル間および感情状況間の両方において、エッジの重要性と相互依存性に基づいた適応的なエッジ重みを学習します。

クロスモーダル融合には、グラフアテンションネットワーク（GAT）が利用されます。各ノードiとその隣接ノード（すなわちノードj）に対して、アテンション係数が計算されます：

   (19)

モードjからモダリティiへの切り替えによる感情的影響は、正規化された重みα_ijによって測定されます。

次に、各モダリティノードの融合された外見を、その隣接ノードの加重グループとして算出します。

   (20)

ここで、活性化関数  は非線形です。最終的に、各ノードの更新された特徴を統合し、グローバルな融合感情表現を得ます。

   (21)

この手法は、複雑なモダリティ間の関係性を維持しつつ、多様なモダリティから相補的な情報を取得できるため、解釈可能な感情モデリングとその後の視覚的マッピングにおいて有用です。

アルゴリズム 1 (補足ファイル 1（）は、グラフベースのクロスモーダル融合を行うための一般的なスキームを示している。まず、視覚、音声、テキストの各モダリティに関連付けられた、感情特有の特性を持つグラフを作成する。次に、感情的な依存関係の組み合わせを表す各グラフのノードペアに対するアテンションスコアを算出する。その後、アテンションスコアを正規化して、特定の感情コンテキストに対する各モダリティの相対的な寄与度を示し、アテンションウェイトの学習を可能にする。最終段階では、グラフのノードに関連付けられた特徴量を集約することで、一般的な感情エンベディングを生成する。このように、特定の感情に関連付けられたマルチモーダル特徴量を一般的に融合させるこのアルゴリズムは、適応性、解釈可能性、およびコンテキスト知能において有望である。

図2は、マルチモーダル感情融合のために提案されたクロスモーダル・アテンションネットワークの構造と動作を示しています。テキスト、音声、ビデオの各モダリティから独立して得られた感情特異的埋め込みは、まずモダリティレベルのアテンション機構に送られ、ここでは特定の感情コンテキストにおける言語、音声、顔面情報の相対的な重要性が学習されます。その後、アテンション重み付けされた各モダリティの表現が統合され、統一された感情埋め込みが形成されます。この際、アテンション行列がモダリティ間の依存関係と相互作用の強度を捉えます。ネットワークによって学習されたアテンション行列は、各モダリティの寄与度を動的に調整し、ノイズが多く情報の少ないモダリティを無視しながら、最も強力な指示的モダリティに焦点を合わせることを可能にします。この融合された感情表現により、正確な感情認識と、「ニュートラル」、「抱擁」、「不安」といった感情状態の詳細な分析が可能になります。

視覚的マッピングモジュール

この目的のために特別に作成されたビジュアルマッピングセクションの支援により、インテリジェント・インタラクションデザイナーは、グラフに基づき、クロスモーダル融合プロセス後の感情状態の統合表現を、理解しやすく容易に消費可能な視覚形式に変換することができます。

潜在的な感情表現を把握しやすくするため、次元削減手法を用いて学習されたマルチモーダル感情エンベディングを可視化しました。主成分分析（PCA）を用いて、分散の大部分を維持しながら特徴量の次元を削減した後、t-distributed Stochastic Neighbor Embedding（t-SNE）を用いてエンベディングを2次元空間に投影して表示しました。t-SNEでは、パープレキシティを30、学習率を200、最適化イテレーション回数を1,000回に設定しました。得られた投影図を用いて、感情特有のクラスターとモダリティ間の関係を可視化しました。グラフベースの注意ネットワークによって得られた正規化クロスモーダル・アテンション重みを用いて、アテンションヒートマップを作成しました。これらのヒートマップには、感情予測時におけるテキスト、音声、視覚の各モダリティの相対的な寄与度が描出されています。学習されたアテンション係数をエッジの重みとして用い、クロスモーダル相互作用グラフを作成することで、融合フレームワーク内でのモダリティ間の関係性と情報の流れを視覚的に検討しました。また、連続する発話にわたる潜在的な感情エンベディングの変化を追跡することで、感情の軌跡プロットを作成し、時間的な感情ダイナミクスを調査しました。これらの軌跡から、感情状態とモダリティの寄与度が時間とともにどのように変化するかが明らかになります。すべての視覚化には、PythonパッケージのMatplotlibとScikit-learnを使用しました。解釈性、クラスター形成、モダリティの寄与度、および時間的な感情ダイナミクスを評価するため、エンベディングの可視化、相互作用グラフ、およびアテンションヒートマップの定性的分析を行いました。

変数 を、グラフアテンションネットワーク関数による感情状態の融合表現とします。感情状態プロットの出力レベルでの可視化とは対照的に、このモジュールの主な目的は、感情状態の表現とアテンションメカニズムの対応する重みを、理解可能な視覚形式に変換することです。

学習したα_jiを用いて、各モダリティの寄与度を視覚的に検討するためのアテンションヒートマップを作成します。次に、入力アテンションウェイトを合算し、各モダリティの複合的な重要度スコアを決定します。

    (22)

ここでs_i はモダリティIの相対的な感情寄与度を表します。アテンションヒートマップを作成するため、得られた値は正規化され、ユーザーがさまざまなタイムステップやインタラクティブな状態でどのモダリティが支配的であるかを容易に識別できるようにカラーマップにマッピングされます。視覚、聴覚、またはテキストといったさまざまな入力モダリティを通じて、このようなインターフェースは、システムのアテンションメカニズムがどのように機能するかをユーザーが理解するのに役立ちます。

学習されたグラフは、人間の感情のクロスモーダルな依存関係を表すために、具体的に「重み付き相互作用グラフ」としてモデル化されています。各ノードはモダリティ自体を表し、人間の感情に関わる相互作用の強さは、それらを結ぶエッジ上の α_ji という形式の重みで表されます。上記の重み付きグラフは、人間の感情的な相互作用の強度を示しています。iおよびjの定義は以下の通りです。

   (23)

これらの重み付けにより、グラフ可視化の線の太さや透明度が適切に表示されます。これにより、モダリティがどのように相互作用しているかをより容易に理解できます。設計者は、クロスモーダル相互作用グラフを利用することで、融合プロセスにおいて感情指標がどのように相互作用するかをより深く理解することが可能になります。

様々なタイムステップにおける融合感情埋め込み は、時間的な感情の推移を表示するため、PCAやt-SNEなどの次元削減アルゴリズムを用いて低次元空間に削減されます：

   (24)

ここで、投影関数はで表されます。相互作用における感情の遷移、強度、および安定性を示す2D/3D感情軌跡の出現は、時間の経過に伴う感情状態の進展を直感的に描写したものと解釈できます。これらの側面は、インテリジェントな相互作用、意思決定、およびリアルタイムモニタリングに活用可能です。

単に特定のクラスやスコアへのマッピングを提供する従来の感情システムとは異なり、本システムは人間のような感情がシステム内部でどのように形成されるかを示すことに焦点を当てています。重み付け因子、モデル間の相互作用、および対応するパスを含む中間特徴量の可視化を提供することで、その意思決定プロセスを明らかにします。これにより、ユーザーは視覚的、音声的、または言語的な各要因が、人間の感情に対する応答を生成する際にどのように影響するかを理解することができます。

視覚的な表現を通じて感情を理解可能な形式にマッピングすることで、ディープラーニングを用いた感情解析と、インテリジェントなインターフェース設計への統合との間の隔たりを埋めることができます。これにより、両方の手法から収集したデータを、より精密なユーザーインターフェースの構築に活用することが可能になります。したがって、提案されたアプローチは、より精密なユーザーインターフェースを作成するために不可欠な情報をインタラクションデザイナーに提供できます。言い換えれば、感情の理解がインタラクションデザインの非常に能動的な一部となるということです。感情の理解がインタラクションデザインに能動的に組み込まれることで初めて、精度を向上させることができます。

視覚マッピングモジュールは、相互に関連しながらも異なるいくつかの方法で説明可能性を実現します。まず、特徴量レベルの説明可能性により、DNNによって生成された感情の潜在的な表現が明らかになり、感情に関連する各特徴を記述するために用いられる意味論を理解することが可能になります。次に、モダリティレベルの説明可能性では、相互作用グラフと視覚的アテンションヒートマップのデータを用いて、視覚、音声、またはテキストの各モダリティが、感情を表現するための意思決定にどのように寄与しているかを記述します。そして最後に、感情埋め込みから得られる軌跡により、動的な相互作用の観点から、各視覚およびテキストモダリティが時間とともにどのように変化するかを理解することができます。Algorithm 2 (Supplementary File 1) を参照してください。

統合されたマルチモーダル感情特徴量は、提案する視覚マッピングアルゴリズム2を用いて、インテリジェントなインタラクション設計のための視覚的に有意な表現にマッピングされます。グラフベースのマルチモーダルアテンション重みを使用して、各タイムステップにおける入力視覚要素、音声要素、およびテキスト要素間の差異を定量化します。次に、これらの差異を視覚的表現にマッピングし、ヒートマップの視覚要素を用いて、感情に影響を与える主な要因を強調します。入力要素間の相互作用に関する洞察を得て、マルチモーダル入力要素によって生成される感情の推移を伝えるために、ペアごとの相互作用強度を算出してマルチモーダル相互作用重みを作成します。同時に、時間経過とともに収集された統合感情要素を低次元空間にマッピングすることで、感情要素の連続的な推移を示す感情進化ビューが作成されます。

感情予測とインタラクションフィードバック

融合された感情表現の結果として得られるは、インタラクションフィードバックと感情予測の両方の関数として利用されます。さらに、感情予測は、連続的な感情強度の認識のための回帰タスクと、離散的な感情認識のための分類タスクから構成されるマルチタスクモデルとして記述されます。離散的な感情認識には、以下のソフトマックスベースの分類モデルが使用されます：

   (25)

ここで、 は期待される感情クラスの確率を表し、W_c およびb_cは学習可能な制約である。分類目的を強化するために、クロスエントロピー損失が利用される：

  (26)

ここでy_k は正解タグであり、Kは感情クラスの数です。並行して感情強度を推定するために回帰ブランチが使用され、バレンスやアロウザルを含むさまざまな連続的な感情属性の予測を生成します。これに以下の定義を与えます：

   (27)

ここで、期待される感情強度スコアは で示されます。回帰タスクを向上させるために、平均二乗誤差損失が使用されます。

   (28)

一般的に、これら2つのタスクは予測目的に組み合わされます：

   (29)

ここでは、回帰と分類の目的がλによってバランス調整されています。これは、このようなインタラクションを考慮したフィードバックを可能にするため、特定された感情状態に基づいて視覚化モジュールを動的に変更することを提案しています。ある時点tにおけるインタラクションコンテキストはc_tで表されます。視覚化モジュールの応答は以下によって提供されます：

    (30)

ここで、視覚化適応関数は で表されます。これにより、予測される変化や感情に基づいて、モダリティヒートマップ、相互作用グラフ、および感情の軌跡をリアルタイムで調整することが可能になります。これは、本システムが感情状態の予測において優れた性能を発揮するだけでなく、フィードバックに対しても十分なサポートを提供していることを示しています。

結果

本研究では、2つのベンチマークデータセットであるCH-SIMSおよびCMU-MOSEIを用い、提案したマルチモーダル感情特徴量の視覚的マッピングフレームワークを、相互作用を考慮した解釈性と予測性能の両面から検証しました。実験結果によると、提案手法は相関、精度、F1スコア、平均絶対誤差（MAE）を含む多様な指標において、現在のマルチモーダル感情認識技術よりも一貫して優れた性能を示しました。もつれを解消した感情表現、グラフベースのクロスモーダル融合メカニズム、およびエンドツーエンドの深層表現学習戦略が、より安定し、意味的に整合した感情モデリングを可能にすることで、この性能向上に寄与しています。また、提案手法は視覚的マッピングを通じて、定量的な向上にとどまらない、より豊かな特徴レベルの洞察を提供し、モダリティの寄与度や感情のダイナミクスを容易に理解させます。言語、文化的表現、およびデータセットのサイズに違いがあるにもかかわらず、上述の性能向上は両方のデータセットで一貫して観察され、提案フレームワークの強力な汎化能力が実証されました。

提案した手法では、マルチモーダル感情分析のための公開データセットであるCH-SIMSおよびCMU-MOSEIを使用しています。CH-SIMSデータセットは、映画、テレビドラマ、バラエティ番組から抽出された2,281本のビデオクリップで構成されており、同期されたテキスト、音声、および視覚データが利用可能です。単一モーダルおよびマルチモーダルの感情ラベルは、いずれもポジティブ、ニュートラル、ネガティブのカテゴリーに分類されています。また、大規模な英語マルチモーダルデータセットであるCMU-MOSEIには、1,000人以上の話者が幅広い主題について議論している、約23,453本の注釈付きビデオクリップが含まれています。このデータセットには、バレンス（価数）やアロウザル（覚醒度）などの連続的な感情強度の注釈と、カテゴリー的な感情ラベルの両方が含まれています。多様な言語的、文化的、および感情的な条件をサポートすることで、提案したフレームワークを用いてこれら2つのデータセットで実験を行うことにより、堅牢性と信頼性が強化されます。シミュレーション環境の詳細はTable 2に示しています。

提案されたフレームワークを評価するために用いられた主要な実験および実装設定を、このシミュレーション環境にまとめている。テキスト、音声、視覚の各モダリティにおける特徴量の次元を一律にするため、トランスフォーマーベースのエンコーダーを共通して適用している。また、クロスモーダル融合にはグラフベースのアテンションメカニズムを採用しており、感情状態に関するモーダル間の依存関係を適応的に学習することが可能となっている。

提案されたフレームワークでは、トランスフォーマーベースのモダリティエンコーダを用いて、テキスト、音声、および視覚的な表現を抽出します。ReLU活性化関数を備えた全結合層により、モダリティ固有の埋め込みが共有潜在空間に投影されます。次に、それぞれ2つの全結合層、非線形活性化、および正規化を持つ、感情固有およびモダリティ固有の独立したエンコーダを使用して、もつれを解消した（disentangled）表現を学習します。潜在表現は256次元の特徴空間に投影され、そこで各モダリティと感情の情報が個別に学習されます。モダリティ情報を維持し、効率的なもつれ解消を促進するために、再構成デコーダが使用されます。マルチモーダル融合および予測の前に、グラフベースのクロスモーダルアテンションモジュールが、潜在表現を用いてモダリティ間の感情的な依存関係をモデル化します。ネットワークは、初期学習率 1 × 10⁻⁴、バッチサイズ 32 のAdamオプティマイザーを用いて学習されました。過学習を防ぐため、検証損失に基づいた早期停止（early stopping）を採用しました。全体の目的関数は、分類損失、再構成損失、および表現一貫性損失で構成され、それぞれ調整可能なハイパーパラメータで重み付けされました。モデルの学習は最大100エポックまで行われ、検証セットで最高の性能を示したモデルをテスト用に保持しました。

提案されたフレームワークの評価には、正解率（Accuracy）、適合率（Precision）、再現率（Recall）、F1スコアなどの分類指標に加えて、平均絶対誤差（MAE）などの回帰指標を用いた。感情カテゴリー間のクラス不均衡を考慮するため、適合率、再現率、およびF1スコアはマクロ平均を用いて算出した。分類実験では、CH-SIMSおよびCMU-MOSEIデータセットによって提供される定義済みの感情/センチメントラベルを正解クラス（ground-truth classes）として使用した。回帰に基づくセンチメント予測では、データセットの連続的なセンチメント強度スコアをターゲット変数とした。クラスごとの予測性能および誤分類パターンを分析するために、信頼区間95%で混同行列を作成した。堅牢性を確保するため、各実験を異なる乱数初期化を用いて5回繰り返し、報告した結果はそれらの平均値である。 ±± 全ランにおける標準偏差のパフォーマンスを評価した。統計的有意性は適切な仮説検定手順を用いて評価し、適用可能な場合は信頼区間を算出した。学習時間は、指定されたハードウェアプラットフォーム上でモデルが収束するまでに要した総経過時間として測定した。

提案手法との比較のため、early fusionおよびlate fusionを含む、いくつかの代表的なベースラインモデルを検討します。具体的には、TFN、LSTMベースの手法、低ランクマルチモーダル融合モデル、適応的マルチモーダルTransformer、および新しいクロスモーダルアテンションベースのアーキテクチャが含まれます。これらのベースラインは、主にさまざまな融合手法を通じて感情認識精度の向上に焦点を当てた最先端の技術を反映しています。出力レベルの予測に主眼を置くこれらの手法に対し、提案するフレームワークでは、もつれを解いた表現学習（disentangled representation learning）とグラフベースの融合を採用することで、解釈可能性と相互作用への認識能力を向上させています。ベースラインモデルとして、LSTM Fusion、TFN、Low-Rank Multimodal Fusion (LMF)、Adaptive-Graph、およびTransformerベースの手法を、公式リポジトリまたは公開されている参照実装を用いて実装しました。ハイパーパラメータの設定については、利用可能な場合は著者のオリジナル設定を使用しました。公正な比較を行うため、再学習したすべてのベースラインについて、同一のデータセット分割、前処理手法、最適化パラメータ、および評価基準を用いて評価しました。比較表では、先行研究から直接引用したデータについて、該当する参考文献を明記しています。

精度

CH-SIMSとCMU-MOSEIの両方について、離散感情分類の精度を測定しましたが、精度の傾向は2つのデータセットの特性によって異なります。CH-SIMSは、感情カテゴリの数が均等で、ビデオクリップが慎重に前処理された中規模のデータセットであるため、精度が高く、モデルがノイズの少ない微細なマルチモーダル感情情報を捉えられることが示唆されました。一方で、CMU-MOSEIは多様な背景を持つ話者が含まれる大規模なデータセットであるため、感情を正確に分類することは困難です。したがって、CMU-MOSEIデータセットにおける精度は、感情を識別する能力に加えて、さまざまなインタラクションシナリオに対する汎化能力と耐性を示すものとなります。これら2つのデータセット全体で精度が向上したことは、提案手法が言語、規模、感情の複雑さレベルが異なるデータセット間で良好に汎化することを示しています。

提案手法およびその他の一般的なベースラインのCH-SIMSおよびCMU-MOSEIデータセットにおける分類精度を表3に示す。 表3に示すように、提案フレームワークはCH-SIMSとCMU-MOSEIの両データセットにおいて最高の精度を達成し、最強のベースライン（Adaptive-Graph）をそれぞれ約3.3%および3.1パーセンテージポイント上回った。また、標準偏差の値が低いことは、繰り返しの実験実行においてより高い安定性を示している。従来のLSTM融合アプローチは、複雑なクロスモーダル関係を捉える能力が限られているため、精度が低くなっている。TFNとLMFは、クロスモーダル関係をモデル化することで分類精度を向上させている。

F1スコア

感情分類問題において、再現率（recall）と適合率（precision）のバランスはF1スコアを用いて測定されます。マルチモーダルな感情分類データセットはクラス間の不均衡が生じやすいため、F1スコアを用いることがより適切です。感情分類タスクにおける再現率と適合率のバランスを測定する指標としてF1スコアが使用されます。マルチモーダルな感情分類データセットは不均衡であることが想定されるため、F1スコアがより適しています。モデルが感情クラスをより正確に検出できるほど、F1スコアは高くなります。

図 3は、CH-SIMSデータセットにおける提案手法とベースラインのF1スコアの評価を示しています。LSTMベースのベースラインはF1スコアが最も低く、複雑なクロスモーダルな感情関係をモデル化する能力が不足していることが明らかになりました。CH-SIMSデータセットで評価した各手法のF1スコアの比較を図 3に示します。図に示されている通り、より高度なグラフベースおよびTransformerベースの構造は、通常、従来のフュージョンベースの手法よりも優れた性能を示します。F1スコアは、LSTMモデルが0.71で最低であり、次いでTFN（0.74）、LMF（0.76）となりました。Adaptive-Graphを用いることでF1スコアは0.79まで向上し、モーダル間の関係をモデル化することの有用性が証明されました。提案フレームワークはF1スコア0.82を記録し、Adaptive-Graphを3.8%、LMFを7.9%、TFNを10.8%、LSTMを15.5%上回りました。これらの結果は、提案するグラフベースのクロスモーダルアテンションメカニズムともつれを解いた表現学習（disentangled representation learning）が、テキスト、音声、視覚の各モーダルにわたる相補的な感情情報をより効果的に捉え、分類性能の向上につながることを示しています。

図4に示されているように、すべての手法においてCH-SIMSと比較してF1スコアにわずかな低下が見られるものの、相対的な傾向は一貫しています。これらの結果は、従来の融合手法からグラフベースのマルチモーダル学習戦略へと移行することで、性能が着実に向上することを示しています。F1スコアが最も低かったモデルは、LSTM（0.69）、TFN（0.72）、およびLMF（0.74）でした。Adaptive-Graphモデルの性能は0.77まで向上し、クロスモーダルな接続をいかに効果的にモデル化できるかが実証されました。提案したフレームワークは他のすべてのアプローチを上回り、最高値である0.80のF1スコアを達成しました。最強のベースラインであるAdaptive-Graphを上回ったことは、提案したもつれ解消感情表現学習とグラフベースのクロスモーダルアテンションメカニズムが、テキスト、音響、視覚の各モダリティにわたる相補的な感情の手がかりを捉えるのに寄与していることを示しています。これらの結果は、提案したマルチモーダル感情認識フレームワークが信頼性と効率性を備えていることを示しています。提案手法は、グラフベースのアプローチと従来の融合手法の両方に対して大幅な改善を示しており、本手法の強力な汎化能力をさらに裏付けています。CMU-MOSEIデータセットにおけるF1スコアの向上は、提案手法がノイズが多く多様な環境においても、バランスの取れた感情分類性能を達成できることを証明しています。

精度

スマートコミュニケーションシステムにおいて、誤った感情信号はユーザーエクスペリエンスを低下させる可能性があるため、適合率（precision）が極めて重要になります。適合率とは、ある特定の感情であると予測された全事例のうち、実際にその感情であった正確な予測事例の割合のことです。もつれを解消した感情表現はノイズが少なく、モダリティにおける誤分類が起こりにくいため、提案モデルは図5のCH-SIMSデータセットにおいて、ベースラインモデルよりも優れた性能を示しています。

CH-SIMSおよびCMU-MOSEIデータセットにおける複数のマルチモーダル感情認識手法で達成された精度を図5に示します。モデルが従来の融合ベースの手法から、より高度なグラフベースのアーキテクチャへと移行するにつれて、精度は着実に向上しています。提案したフレームワークは、CH-SIMSデータセットにおいて最高精度0.82を達成しました。精度は、LSTMの0.71から、TFNで0.74、LMFで0.76、Adaptive-Graphで0.79へと上昇しています。CMU-MOSEIデータセットでは、精度はLSTMの0.69から、TFNで0.72、LMFで0.74、Adaptive-Graphで0.77へと向上しました。提案手法は最高精度0.80を達成しました。提案フレームワークは、最強のベースライン（Adaptive-Graph）と比較して、CH-SIMSで約3.8%、CMU-MOSEIで約3.9%精度を向上させました。これらの結果は、テキスト、音響、視覚の各モダリティにわたる補完的な感情情報を捉えることで、提案したもつれ解消表現学習（disentangled representation learning）とグラフベースのクロスモーダルアテンションメカニズムが、偽陽性予測を効果的に減少させることを示しています。さらに、グラフベースのクロスモーダルアテンションによって、不要なモダリティの影響が軽減されています。CMU-MOSEIコーパスでは、話者や言語表現の多様性が高いため、すべてのモデルで精度がわずかに低下しています。

再現率

感情認識タスクにおいて、特定のクラスに属する感情的な事例を適切に分類できるモデルの能力を測る指標である再現率（recall）は極めて重要です。これは、感情情報の不足がインタラクションの質に悪影響を及ぼす可能性があるためです。再現率の値が高いことは、モデルが偽陰性を少なくし、実際の感情表現をより多く特定していることを示唆します。マルチモーダル感情分析の文脈において、再現率は、テキスト、音声、および視覚的モダリティから感情情報が抽出される効率の尺度であると考えることができます。

CH-SIMSおよびCMU-MOSEIデータセットにおける、ベースライン手法に対する提案手法の優位性を、Figure 6の再現率（recall）の比較に示します。モデルが従来の融合ベースの手法から、より洗練されたグラフベースのマルチモーダル構造へと進化するにつれて、再現率が一貫して向上することが結果から分かります。CH-SIMSデータセットにおける再現率は、LSTMの0.70から、TFNで0.73、LMFで0.75、Adaptive-Graphで0.78へと向上し、提案フレームワークによって最大再現率の0.82が達成されました。提案手法はCMU-MOSEIデータセットにおいて最高の再現率0.80を達成し、ここでは再現率がLSTMの0.68から、TFNで0.71、LMFで0.73、Adaptive-Graphで0.76へと上昇しました。提案フレームワークは、最強のベースライン（Adaptive-Graph）と比較して、CH-SIMSで約5.1％、CMU-MOSEIで約5.3％の相対的な改善を示しました。これらの結果は、テキスト、音響、視覚の各モダリティにわたる相補的な感情的手がかりを捉えることで、提案するもつれ解消表現学習（disentangled representation learning）とグラフベースのクロスモーダル・アテンション機構が、偽陰性（false-negative）の予測を効果的に減少させ、その結果、両データセットにおける感情クラスの識別精度を向上させたことを示しています。従来の手法は複雑なクロスモーダル関係をモデル化する能力が限られているため、再現率が低くなる傾向があります。TFNおよびLMFは、モダリティ間の関係をより明示的にモデル化することで、中程度の向上を実現しました。Adaptive-Graph法は、モダリティ間の構造的な関係をシミュレートすることで、再現率をさらに向上させました。両データセットにおいて提案手法が最高の再現率を達成したことは、異なるインタラクションシナリオにおける感情インスタンスの検出能力がより高いことを示しています。この改善は大規模なCMU-MOSEIデータセットにおいてより顕著であり、提案フレームワークの堅牢性と汎用性が実証されました。

平均絶対誤差 (MAE)

平均絶対誤差（MAE）は、バレンス（価数）やアロウザル（覚醒度）の予測など、連続的な感情強度の予測タスクの性能を評価するために用いられます。正解率とは異なり、MAEは予測された感情強度が実際の感情状態にどれだけ近いかをより正確に反映します。そのため、連続的なアフェクティブラベルを持つCH-SIMSやCMU-MOSEIなどのデータセットには、MAEがより適しています。MAEの値が低いほど、感情強度の予測精度が高いことを示します。

提案したフレームワークとベースライン手法のCH-SIMSおよびCMU-MOSEIデータセットにおけるMAEの比較を表4に示す。従来のLSTMベースの融合手法は、複雑なマルチモーダル感情依存性をモデル化する能力が限られているため、MAEが高くなる傾向にある。TFNおよびLMFはマルチモーダル相互作用をモデル化することでMAEを低減でき、Adaptive-Graphアプローチはモダリティグラフ関係を学習することでさらにMAEを低減させている。提案したフレームワークは両データセットで最小のMAEを達成しており、感情強度のより正確な推定が可能であることを示している。特に、大規模なデータの変動性と話者の条件により予測タスクの難易度が高くなるCMU-MOSEIデータセットにおいて、より顕著な改善が見られることは注目に値する。

CH-SIMSデータセットの混同行列

CH-SIMSデータセットの混同行列によると、早期融合LSTMおよびTFNのベースライン手法では、中立的な感情と肯定的な感情のクラス間で大きな混同が見られます。これは、これらの手法が微細なマルチモーダル感情表現の識別にあまり適していないことを示唆しています。一方、提案手法は、非対角要素が非常に少なく、明確に強い対角支配を示しており、これによりクラスの分離性が向上しています。提案手法のもつれ解消感情学習メカニズムにより、モダリティ間で一貫した感情表現が確保され、さらにグラフ融合アプローチによって、密接に関連する感情クラス間の識別力が向上しています。図7A–Eは、さまざまなベースライン手法を用いたCH-SIMSデータセットの混同行列を示しています。

CMU-MOSEIデータセットの混同行列

提案されたフレームワークでは、モダリティ不変の感情埋め込みと適応的なアテンション重みを用いることで、特に感情的に曖昧な入力に対する誤分類率を有意に低減させています。これにより、提案されたフレームワークが多様な大規模マルチモーダルインタラクションシナリオにおいて有効に機能することが確認されました。データセットの規模、話者の多様性、および感情ラベルの連続的な性質により、CMU-MOSEIの混同行列では全体的な誤分類率が高くなっています。ベースライン手法では、異なる感情カテゴリー間でかなりの混同が見られます。図 8A–Eに、さまざまなベースライン手法を用いたCMU-MOSEIデータセットの混同行列を示します。

1エポックあたりの学習時間

エポックあたりの学習時間を比較することで、高度なマルチモーダル融合手法における計算上のトレードオフが浮き彫りになりました。トランスフォーマーエンコーダーとグラフアテンションメカニズムを採用しているため、提案モデルは単純な融合手法よりも学習時間にわずかに時間を要しますが、この増加は許容範囲内です。提案したフレームワークは、ベンチマークとなるマルチモーダル感情分析データセットにおいて高い性能を示し、知的なヒューマンマシンインタラクションシステムへの統合の可能性を示しました。しかし、本研究ではリアルタイム展開への適合性は評価しておらず、レイテンシ、スループット、メモリ、および展開に関する分析を通じてさらなる調査が必要です。特筆すべきは、収束安定性の向上、ならびに予測性能と解釈性能の優位性により、追加の計算コストに見合う価値があるということです。図9に、提案手法のエポックあたりの学習時間の結果を示します。

アブレーション解析

提案したフレームワークにおける視覚マッピングモジュール、グラフベースのクロスモーダル融合、およびもつれを解いた感情表現などの各重要要素の影響を判断するため、アブレーション研究を実施しました。影響を把握するため、各要素を一つずつ除外しました。実験結果によると、グラフ融合戦略はクロスモーダル依存性のモデリングを強化し、もつれを解いた感情表現の寄与がパフォーマンスの安定性に最も重要であることが示されました。視覚マッピングモジュールを除外した際の影響がわずかであったことから、同モジュールの補助的な役割が検証されました。同一のトレーニングおよび評価条件下でのアブレーション研究の結果をTable 5に示します。最も大幅なパフォーマンスの低下は、グラフベースのクロスモーダルアテンションモジュールを除外した後に観察され、正解率は81.72%から77.88%に、F1スコアは0.823から0.776に低下しました。これは、複雑なモダリティ間相互作用をモデリングすることの重要性を強調しています。もつれを解いた表現学習モジュールを除外すると、正解率が2.78パーセンテージポイント、F1スコアが0.032低下したことから、堅牢な感情特異的表現を学習させる役割が実証されました。視覚マッピングモジュールの除外による予測パフォーマンスの低下が比較的少なかったことは、同モジュールの主な利点が分類精度ではなく解釈可能性にあることを示しています。Basic Fusion構成が最低の性能となり、最高のマルチモーダル感情認識パフォーマンスを達成するには、提案したすべてのモジュールの相乗効果が必要であることが実証されました。

データの利用可能性：

本研究で使用したデータセットは、公開されているベンチマークデータセットです。CMU-MOSEIデータセットは、カーネギーメロン大学のMultimodal SDKによって提供されており、Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208) で詳述され、https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/ からアクセス可能です。CH-SIMSデータセットは、Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) で詳述されており、https://github.com/thuiar/MMSA を含む著者提供のリソースを通じて公開されています。すべての実験は、これらのデータセットの公式バージョンを用いて実施されました。本研究の結果を裏付ける抽出後の生データ、処理済みデータファイル、前処理の出力、訓練/検証/テスト用パーティション、派生した特徴表現、および実装の詳細は、Zenodoリポジトリ（https://doi.org/10.5281/zenodo.21124921）で公開されています。

図1: 提案するマルチモーダル感情特徴視覚マッピングフレームワークの概略図。解釈可能なマルチモーダル感情分析のための、マルチモーダル特徴抽出、もつれを解いた表現学習、グラフベースのクロスモーダルアテンション融合、および視覚マッピングコンポーネントを示す全体アーキテクチャの概念図。 こちらのリンクをクリックして、この図の拡大版を表示してください。

図2: 提案する計算プロトコルの概略ワークフロー図。
データセットの取得、前処理、モダリティ固有の特徴抽出、マルチモーダル融合、可視化、および感情予測ステージを含む、エンドツーエンド処理パイプラインの概念図 こちらのリンクをクリックして、この図の拡大版を表示してください。

図3: CH-SIMSデータセットにおけるF1スコア性能の比較. 異なる乱数シード初期化を用いて5回の独立した実験試行 (n = 5) から得られた平均F1スコア値。エラーバーは±±1標準偏差 (SD)を表す。F1スコアの値が高いほど、感情分類性能が優れていることを示す。この図の拡大版を表示するには、ここをクリックしてください。

図4CMU-MOSEIデータセットにおけるF1スコアの性能比較5回の独立した実験ランから得られた平均F1スコア値（n = 5) 異なる乱数シードで初期化して用いた。エラーバーは ±± 標準偏差（SD）1倍、および対応する 平均値 ±± 標準偏差 各データポイントの上に値が表示されています。F1スコアの値が高いほど、感情分類の性能が良いことを示します。 こちらの図の拡大版を表示するには、ここをクリックしてください。

図5CH-SIMSおよびCMU-MOSEIデータセットにおける精度の比較。 LSTM、TFN、LMF、Adaptive-Graph、および提案フレームワークによって得られた平均適合率スコア（across以下に続く内容） 5回の独立した実験（n = 5）エラーバーは、 ±± 標準偏差（SD）1倍 異なる乱数シードによる初期化を用いて繰り返し実行し、算出した。提案したフレームワークは、両方のデータセットにおいて最高の精度を達成しており、効果的なマルチモーダル特徴学習とグラフベースのクロスモーダル融合を通じて、感情クラスの識別能が向上したことを示している。 こちらの図の拡大版を表示するには、ここをクリックしてください。

図6: CH-SIMSおよびCMU-MOSEIデータセットにおける再現率（Recall）の比較。 LSTM、TFN、LMF、Adaptive-Graph、および提案フレームワークを用いて得られた、～における平均再現率スコア 5回の独立した実験（n = 5）. エラーバーは〜を示す ±± 1標準偏差 (SD) 繰り返しの実験から得られたものである。提案されたフレームワークは、両方のデータセットにおいて一貫して最高の再現率を達成しており、マルチモーダルな感情情報を捉え、偽陰性の予測を減少させる能力に優れていることを示している。 この図の拡大版を表示するには、ここをクリックしてください。

図 7: 様々なベースライン手法を用いたCH-SIMSデータセットの混同行列。行は正解の感情クラスに対応し、列は予測クラスに対応する。セル内の数値は、各正解クラスに対して正規化されたサンプルの割合を示す。混同行列は、ホールドアウトされたCH-SIMSテストパーティションを用いて算出された。対角成分の割合が高いほど、対応する感情カテゴリーの認識精度が高いことを示す。CH-SIMSデータセットにおける(A) Early fusion LSTM、(B) TFN、(C) LMF、(D) Adaptive Graph、および(E) 提案手法の混同行列。この図の拡大版を表示するには、こちらをクリックしてください。

図 8: 様々なベースライン手法を用いた CMU-MOSEI データセットの混同行列。行は実際の感情ラベルを、列は予測ラベルを表す。数値は CMU-MOSEI テストセットにおけるクラス正規化されたパーセンテージとして報告されている。この行列は、正しく分類されたサンプル（対角成分）と、感情カテゴリー間の混同（非対角成分）の両方を示している。CMU-MOSEI における混同行列 (A) Early fusion LSTM、(B) TFN、(C) LMF、(D) Adaptive Graph、および (E) CMU-MOSEI データセットにおける提案手法。こちらのリンクをクリックして、この図の拡大版を表示してください。

図 9ベンチマーク用マルチモーダル感情データセットにおける1エポックあたりの学習時間の比較。
～から得られた1エポックあたりの平均学習時間 5回の独立した実験（n = 5） 同一のハードウェアおよびソフトウェア設定下におけるCH-SIMSおよびCMU-MOSEIデータセットに対する結果である。エラーバーは ±± 標準偏差（SD）1倍 異なる乱数シードでの初期化を用いた繰り返し実験から算出された。値が低いほど計算効率が高く、また実行ごとの学習時間が安定していることは、再現性と学習の一貫性が向上していることを示す。 こちらの図の拡大版を表示するには、ここをクリックしてください。

データセット	モダリティ	サンプル数	言語	感情/センチメントラベル
CH-SIMS34	ビデオ、オーディオ、テキスト	2,281本のビデオセグメント	中国語	マルチモーダルおよびユニモーダル感情ラベル（ネガティブ、ニュートラル、ポジティブ）
CMU-MOSEI35	ビデオ、オーディオ、テキスト	約23,453個のアノテーション済みクリップ	日本語	感情および感情強度のラベル（連続値およびカテゴリ値）

表 1： データセットの説明。 本研究で使用したデータセット、モダリティ、サンプル数、言語、およびCH-SIMSとCMU-MOSEIデータセットの感情/センチメントラベルの要約。

構成要素	仕様
プログラミングフレームワーク	PyTorchを用いたPython
視覚的特徴抽出器	ビジョン・トランスフォーマー (ViT)
オーディオ特徴量抽出器	Wav2Vec 2.0
テキスト特徴量抽出器	RoBERTa
融合戦略	グラフベース・クロスモーダル・アテンション・ネットワーク
特徴量次元	モダリティあたり768
トレーニング用オプティマイザー	アダム
学習率	1.00E-04
バッチサイズ	16
ハードウェア	NVIDIA GPU（例：RTXシリーズ）
評価データセット	CH-SIMS, CMU-MOSEI
潜在次元	2.56E+02
埋め込み次元	768
活性化関数	ReLU（整流線形ユニット）
最適化アルゴリズム	アダム
学習率	1.00E-04
バッチサイズ	32
エポック	100
早期終了	有効化済み
損失関数	分類 ＋ 再構成 ＋ 一貫性

表2：シミュレーション環境。モデルの詳細、特徴量、オプティマイザー、および使用したハードウェアなど、シミュレーション環境の実験セットアップと実装の詳細。

方法	CH-SIMS 精度 (%)	CMU-MOSEI 正解率 (%)
LSTM（早期/後期融合）	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
アダプティブ・グラフ	78.46 ± 0.73	76.89 ± 0.81
提案手法	81.72 ± 0.61	79.94 ± 0.69

表3：CH-SIMSおよびCMU-MOSEIデータセットにおける、ベースライン手法を用いた提案手法の精度の評価。結果は、異なる乱数シードによる初期化を用いた5回の独立した実験（n = 5）から得られた平均値 ±± 標準偏差として報告されている。公平な比較を期するため、すべての手法は、各データセットの同一のトレーニング、検証、およびテストパーティションを用いて評価された。

手法	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM（早期融合/後期融合）	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
アダプティブ・グラフ	0.334 ± 0.009	0.379 ± 0.010
提案手法	0.298 ± 0.007	0.341 ± 0.008

表4：平均絶対誤差の結果結果は、以下のように報告される。 平均値 ±± 標準偏差 〜より得られた 5回の独立した実験（n = 5） 異なる乱数シードによる初期化を用いて検証した。公正な比較を期するため、すべての手法について、それぞれのデータセットにおける同一のトレーニング、検証、およびテスト用パーティションを用いて評価を行った。提案したフレームワークとベースライン手法を用いて、両データセットにおける連続的な感情強度の予測に関するMAE（平均絶対誤差）を比較した。

モデルの変体	精度 (%)	F1スコア
フルモデル	81.72 ± 0.61	0.823 ± 0.008
もつれ解消なし	78.94 ± 0.74	0.791 ± 0.010
グラフ融合なし	77.88 ± 0.81	0.776 ± 0.011
視覚的マッピングなし	80.11 ± 0.66	0.807 ± 0.009
基本融合	74.91 ± 0.98	0.742 ± 0.013

表5： ベースライン手法を用いたアブレーション解析の結果。 結果は以下のように報告される。 平均値 ±± 標準偏差 ～から得られた 5回の独立した実験（n = 5） 異なる乱数シードによる初期化を用いて評価した。公正な比較を期するため、すべての手法において、それぞれのデータセットの同一のトレーニング、検証、およびテスト用パーティションを用いて評価を行った。モデルのバリエーション間での性能比較を行い、もつれを解いた表現（disentangled representations）からの学習、グラフベースの融合、および視覚的マッピングモジュールの有効性を示した。

補足ファイル 1：アルゴリズム 1 およびアルゴリズム 2。こちらをクリックしてファイルをダウンロードしてください。

ディスカッション

実験結果から、CH-SIMSおよびCMU-MOSEIデータセットにおいて、提案されたマルチモーダル感情特性の視覚的マッピングフレームワークが、現在のマルチモーダル感情認識技術を上回ることが実証されました。EF-LSTMやTFNなどの早期融合（early fusion）および後期融合（late fusion）モデルと比較して、提案手法はより高い精度（accuracy）とF1スコアを達成しており、多様な感情情報を処理する上での堅牢性が示されました。本手法による改善は、モダリティ固有のノイズを抑制し、視覚、音声、テキストの各モダリティ間で感情の一貫性を確保する、もつれを解いた感情表現（disentangled emotion representation）によるものであると考えられます³⁶。

近年、Adaptive Multimodal Transformers³⁷やMIAR³⁸などのトランスフォーマーベースのマルチモーダルモデルが、クロスモーダルな依存関係のモデリングにおいて優れた結果を示しています。しかしながら、これらのモデルは主に予測を目的としており、特徴量レベルの解釈可能性をサポートするメカニズムを欠いています。対照的に、本提案システムは、グラフベースのクロスモーダル・アテンションと視覚的マッピングモジュールを組み合わせることで、モダリティと感情の相互作用の透明な分析を可能にします。これは、感情推論がブラックボックス的なプロセスとして扱われている現在の文献において、極めて重要な欠落要素です。

提案したフレームワークは、CH-SIMSおよびCMU-MOSEIのベンチマークデータセットにおいて一貫した性能を示しました。本フレームワークは、インテリジェントなヒューマンマシンインタラクション、ヘルスケアモニタリング、適応学習環境、およびその他の感情認識システムへの応用の可能性がありますが、本研究では制御されたベンチマーク条件下でのみ手法を評価しました。実世界への導入、ユーザーインターフェースの評価、ユーザビリティ調査、または被験者を対象とした評価は実施していません。したがって、運用環境における本フレームワークの実用的な有効性については、今後の検討が必要です。今後の課題として、導入を想定した評価、ユーザー中心の研究、レイテンシ分析、メモリ消費量の評価、およびリアルタイムインタラクション性能に焦点を当てます。

さらに、文化的および言語的に多様なさまざまなデータセットにおいて性能向上が見られたことは、提案したフレームワークの妥当性を示すものである。単一のデータセットや特定のインタラクションシナリオで検証された従来の研究とは異なり、提案したフレームワークは、言語、話者、および感情表現を問わず堅牢な性能を発揮する。したがって、本フレームワークは、正確な感情認識と解釈可能な意思決定が求められる実用的な知的インタラクションシステムに非常に適している。

提案されたフレームワークの解釈性は、学習されたマルチモーダル表現の視覚化ベースの分析を通じて評価されました。具体的には、モデルの意思決定プロセスとモダリティの寄与に関する知見を得るために、潜在感情エンベディング、クロスモーダルアテンションマップ、モダリティ相互作用グラフ、および時間的感情軌跡を検討しました。視覚的マッピングモジュールの目的は、特徴レベルの相互作用と感情ダイナミクスの観察を可能にすることで、透明性を高めることです。ただし、正式な解釈性指標、アテンションの忠実度評価、およびユーザー調査は、本研究には含まれていません。したがって、報告された解釈性の利点は、定量的に検証された説明可能性の尺度ではなく、視覚化に基づく根拠として解釈されるべきです。

理論的な観点から、本研究はマルチモーダル感情コンピューティングに以下の貢献をします。まず、感情特有の表現とモダリティ特有の表現を明確に区別する、感情モデリングの体系的な手法を提案します。共通の潜在空間においてモダリティ間の感情的な一貫性を保証することで、提案されたフレームワークはマルチモーダルシステムにおける表現学習の理論を前進させます。さらに、グラフベースのアテンションメカニズムを組み込むことで、感情表現における異なるモダリティ間の依存関係を定式化しています。

実用的な観点から、提案されたフレームワークは、インテリジェントなインタラクションデザインおよび感情認識ユーザーインターフェースにとって非常に有益です。本フレームワークの視覚的マッピングモジュールにより、システム設計者はさまざまなモダリティが感情予測に与える影響を把握することができ、これはシステム設計者にとって極めて重要です。提案されたフレームワークは、感情的な対話エージェント、適応型学習システム、ヘルスケアモニタリングインターフェース、およびユーザーエクスペリエンス評価プラットフォームなどのアプリケーションに非常に有用です。

しかしながら、提案されたフレームワークにはいくつかの限界があります。グラフアテンションメカニズムとトランスフォーマーエンコーダーの使用は複雑さを増大させ、機能が限られたデバイスでは問題となる可能性があります。さらに、本研究では視覚、音声、テキストのモダリティに焦点を当てるため、EEGやアイトラッキングなどの他の生理学的信号は考慮していません。提案されたフレームワークは、競争力のある予測性能と向上した可視化能力を達成したものの、リアルタイム展開における計算効率については具体的に評価されていません。今後の研究では、実際の知能的インタラクション環境における展開性能、推論遅延、スループット、メモリ消費量、およびモデル圧縮技術について検討します。また、感情モデリングの精度とインタラクションの応答性をさらに向上させるため、軽量モデルの開発、リアルタイム最適化手法、および追加モダリティの導入に焦点を当てます。リアルタイム展開の性能は評価されておらず、トランスフォーマーエンコーダーとグラフベースのアテンション手法の導入により計算複雑性が高まっています。手法の検証にはCH-SIMSおよびCMU-MOSEIのベンチマークデータセットのみが使用されており、これによりデータセット特有のバイアスが生じ、他のドメイン、言語、ユーザー集団への汎用性が制限される可能性があります。加えて、本研究ではEEGやアイトラッキングデータのような生理学的信号を含めておらず、視覚、音声、テキストのモダリティに特化しています。詳細な実装およびシミュレーション環境の説明により再現性は向上していますが、ソースコードと学習済みモデルは現在公開されていません。

本研究では、知的インタラクション設計に向けたマルチモーダル感情特徴学習のための、新しい視覚的マッピングフレームワークを使用しています。提案手法は、エンドツーエンドのTransformerベースの表現学習、もつれを解いた感情モデリング、およびグラフベースのクロスモーダルアテンションを統合することで、高い予測精度と解釈性を実現しています。CH-SIMSおよびCMU-MOSEIデータセットを用いた実験により、提案フレームワークが精度およびF1スコアにおいて、最先端のマルチモーダル感情認識モデルを上回ることが示されました。さらに重要な点として、提案された視覚的マッピングソリューションは、感情認識とインタラクション戦略の間のギャップを埋めるものであり、解釈可能でインタラクションを考慮したマルチモーダル感情計算システムの設計に向けた新たな方向性を提示しています。

解釈可能なインテリジェント・インタラクション設計を促進するため、本研究ではマルチモーダル感情特徴量を学習するための新しい視覚的マッピングフレームワークを導入した。提案されたシステムは、Transformerベースのマルチモーダル特徴抽出、もつれを解いた感情表現学習、グラフベースのクロスモーダルアテンション融合、および視覚的マッピング手法を組み合わせることで、単一のアーキテクチャ内で感情検出と解釈可能性を統合することに成功した。モダリティの寄与度、クロスモーダル相互作用、および時間的な感情動態を明確な視覚的表現で提供することに加え、CH-SIMSおよびCMU-MOSEIのベンチマークデータセットを用いた実験的評価により、Accuracy、Precision、Recall、F1-score、およびMean Absolute Error (MAE)を含む複数の指標において、代表的なベースライン手法を上回る性能向上が示された。しかし、本研究は2つのベンチマークデータセットによる評価に限定されており、実世界への展開研究、ユーザー中心の評価、定量的な説明可能性の評価、および生理学的モダリティの統合は含まれていない。さらに、Transformerエンコーダとグラフベースのアテンション処理の計算コストのため、リソースが限られた環境では困難が生じる可能性がある。今後の課題として、多様なデータセットを用いたより広範な検証、追加モダリティの統合、ユーザビリティ調査、再現可能なリソースの公開、およびリアルタイム展開シナリオに向けた最適化に重点を置くが、提案したフレームワークは全体として、アフェクティブコンピューティングおよびインテリジェント・インタラクションアプリケーションにおける解釈可能なマルチモーダル感情分析の可能性を示している。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
アダム	PyTorchオプティマイザライブラリ	https://pytorch-optimizers.readthedocs.io/en/latest/ (学習率 = 1) × 10-4)	モデルトレーニングにおけるパラメータの最適化
CH-SIMS	オリジナルデータセットリポジトリ	最新の一般公開版	中国語マルチモーダル感情・情動分析のためのベンチマークデータセット
CMU-MOSEI	CMUマルチモーダルSDKリポジトリ	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (最新パブリックリリース)	マルチモーダル感情および情動認識のためのベンチマークデータセット
もつれ解消済み感情エンコーダー	カスタム実装	（デュアルエンコーダー・アーキテクチャ）	感情特異的およびモダリティ特異的な潜在表現の分離
グラフアテンションネットワーク (GAT)	PyTorch Geometric	マルチヘッドGAT (https://pytorch-geometric.readthedocs.io/en/latest/)	クロスモーダル感情関係のモデリングと適応的特徴融合
グラフベースのクロスモーダル・アテンション層	カスタム実装	マルチヘッドアテンション融合	モダリティ間におけるきめ細かな感情依存関係の学習
Matplotlib	Matplotlibプロジェクト	3.7+	プロットの作成と視覚的分析
NetworkX	NetworkXプロジェクト	3.0+	クロスモーダル相互作用グラフの構築と可視化
NVIDIA GPU	NVIDIA Corporation	CUDA対応GPU	トランスフォーマーおよびグラフニューラルネットワークの学習加速
主成分分析 (PCA)	Scikit-learn	sklearn.decomposition.PCA	高次元感情埋め込みの初期次元削減
Python	Python Software Foundation	3.8+	マルチモーダル感情分析フレームワークの実装に使用される主要プログラミング言語
PyTorch	PyTorch Foundation	2.0+	深層ニューラルネットワークの開発、学習、および最適化
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base、768次元埋め込み)	文脈的な言語的および意味的な感情表現の抽出
Seaborn	Seabornプロジェクト	0.12+	アテンションヒートマップの作成と統計的視覚化
t-分布確率的近傍埋め込み法 (t-SNE)	Scikit-learn	scikit-learn.org (パープレキシティ = 30, 反復回数 = 1000)	潜在的な感情クラスターとトラジェクトリの可視化
Ubuntu Linux	Canonical Ubuntu	20.04 LTS 以降	実験実施環境
ビジョン・トランスフォーマー (ViT-Base)	Google Research Vision Transformer	ViT-Base/16、768次元埋め込み	ビデオフレームからの感情認識視覚表現の抽出
Wav2Vec 2.0	Meta AI Research	ベースモデル、768次元埋め込み	文脈的な音響的特徴および音声感情特徴の抽出