الرسم الخرائطي المرئي لسمات العواطف متعددة الوسائط لتصميم التفاعل الذكي

ملخص

يقترح هذا العمل إطار عمل لتحليل العواطف متعدد الوسائط من الطرف إلى الطرف، والذي يسخر المشفرات التحويلية (transformer encoders)، وتمثيلات العواطف المفككة، والانتباه عبر الوسائط القائم على الرسوم البيانية مع التعيين المرئي لتحسين دقة التعرف على العواطف عبر مجموعتي بيانات.

الملخص

يُعد التخطيط المرئي لسمات العواطف متعددة الوسائط أمراً بالغ الأهمية لتصميم الواجهات الذكية، وذلك من خلال تمكين الآلات من فهم الحالات العاطفية البشرية وتفسيرها والتفاعل معها. ومع ذلك، تركز خوارزميات اكتشاف العواطف متعددة الوسائط الحالية بشكل أساسي على أداء التنبؤ، مما يوفر رؤية محدودة فيما يتعلق بقابلية التفسير، أو الوعي بالتفاعل، أو التفاعلات عبر الوسائط على مستوى السمات. قدم هذا العمل إطار عمل للتخطيط المرئي لجوانب العواطف متعددة الوسائط يجمع بين التصور الموجه نحو التفاعل، وتعلم التمثيلات القابلة للتفسير، والتنبؤ العاطفي. تم استخدام مشفرات قائمة على نماذج transformer لاستخراج تضمينات عاطفية عالية المستوى من الوسائط النصية والصوتية والمرئية، دون الاعتماد على سمات تم إنشاؤها يدوياً. ولتعزيز المتانة، تم فصل المعلومات الخاصة بالعاطفة وتلك الخاصة بالوسائط باستخدام تقنية تعلم التمثيلات المفككة. بالإضافة إلى ذلك، تم إنشاء شبكة انتباه عبر الوسائط قائمة على الرسوم البيانية لاستخدام وزن انتباه تكيفي لمحاكاة العلاقات العاطفية الدقيقة بين الوسائط. كما تم تطوير وحدة تخطيط مرئي متعددة الرؤى لتصوير مسارات العواطف الزمنية، وتوزيعات الانتباه عبر الوسائط، وتضمينات العواطف الكامنة من أجل تعزيز الشفافية. تم تقييم إطار العمل المقترح باستخدام مجموعة بيانات Carnegie Mellon University Multimodal Opinion Sentiment and Emotion Intensity (CMU-MOSEI) ومجموعة بيانات تحليل المشاعر متعددة الوسائط الصينية (CH-SIMS). ووفقاً للنتائج التجريبية، وفر إطار العمل المقترح قابلية تفسير محسنة على مستوى السمات وتصوراً واعياً بالتفاعل، بينما تفوق باستمرار على التقنيات المرجعية التمثيلية من حيث الدقة، ومقياس F1-score، والارتباط، ومتوسط الخطأ المطلق. علاوة على ذلك، سهلت وحدة التخطيط المرئي التفسير النوعي لتمثيلات العواطف متعددة الوسائط، والتفاعلات عبر الوسائط، والديناميكيات العاطفية الزمنية، مما يدعم التحليل والتصور الواعي بالتفاعل.

المقدمة

لقد أصبحت القدرة على تحديد وفهم المشاعر البشرية بشكل صحيح أمراً بالغ الأهمية لتحسين التفاعل بين البشر والآلات. وبالإضافة إلى كونها ضرورية لتحسين التفاعل بين الإنسان والحاسوب، فإن لتحليل العواطف القدرة على إحداث ثورة في عدد من المجالات، بما في ذلك التشخيص الطبي السابق للتخيص¹، وتحليل السلوك داخل الفصول الدراسية²، والمتابعة النفسية للمرضى³، وتحديد حالة الإجهاد في المركبات⁴، والإدارة الذكية في بيئات المنازل الذكية⁵. وقد أدت التطورات الأخيرة في الحوسبة العاطفية والتعلم العميق⁶ إلى زيادة الاهتمام بإنشاء أنظمة تعمل في الوقت الفعلي ويمكنها استيعاب تعقيد العواطف البشرية.

تعتمد العديد من الطرق الحالية بشكل أساسي على البيانات أحادية النمط، مثل الإشارات النصية أو الرسومية أو السمعية^7,8,9. وتفشل هذه النهج بشكل متكرر في اكتشاف الإشارات الدقيقة مثل السخرية أو الفروق الدقيقة المرتبطة بالسياق. وقد انتقلت الأبحاث إلى تقييم العواطف متعدد الأنماط، والذي يدمج بيانات تكميلية من مصادر متعددة للتغلب على هذه القيود^10,11,12. وقد أثبتت النماذج المرجعية مزايا دمج أنماط متعددة، مثل الذاكرة طويلة قصيرة المدى ذات الدمج المبكر (EF-LSTM)13، والشبكات العصبية العميقة خفيفة وFM (LF-DNN)¹⁴، وشبكات دمج الموتر (TFN)، ونهج الدمج متعدد الأنماط منخفض الرتبة. ومع ذلك، تعتمد معظم هذه النهج على توليد السمات في وضع عدم الاتصال، وهي غير مناسبة للمواقف الديناميكية في العالم الحقيقي.

من أجل استيعاب الحالات العاطفية، شهدت أبحاث وتطبيقات تحديد العواطف متعددة الوسائط نمواً ملحوظاً خلال السنوات العشر الماضية¹⁵. ويعد الرصد المستمر للحالات العاطفية باستخدام مصادر بيانات متنوعة واحداً من أكثر مجالات البحث تحدياً وأهمية في الوقت الحاضر¹⁶. وقد ظهر مفهوم تعدد الوسائط بشكل طبيعي مع ظهور هذا النظام المعرفي المتنوع، مما أدى إلى العديد من التطورات في تطبيق العواطف في مجالات مثل الحوسبة العاطفية، والتفاعل بين الإنسان والحاسوب (HCI)، والتعلم، وألعاب الفيديو، وخدمة العملاء، والرعاية الطبية، وتقييم تجربة المستخدم (UX)، وغيرها. ومع ذلك، لم يكن تطبيق تقنيات التعرف على العواطف في تقييم تجربة المستخدم أمراً بسيطاً دائماً.

إن أحد الأسباب الرئيسية للتركيز على التعرف متعدد الوسائط بدلاً من الطرق أحادية الوسائط هو العيوب المتأصلة في الاعتماد على مصدر معلومات واحد. فقد تعاني أنظمة اكتشاف العواطف أحادية الوسائط من انخفاض الدقة بسبب البيانات المفقودة أو غير الواضحة، بينما تعد مخططات التعرف على العواطف (MER) أكثر موثوقية وتقدم فهماً أكثر شمولاً وتعمقاً للحالات التعبيرية من خلال دمج مصادر بيانات متعددة¹⁷. فعلى سبيل المثال، قد لا تكون لغة الوجه وحدها كافية لتصنيف المشاعر بدقة، خاصة عندما تكون الإيماءات معقدة أو غير واضحة. وبالرغم من ذلك، فإن الجمع بين تعبيرات الوجه وأشكال أخرى من التواصل، مثل اللغة أو الإشارات الجسدية، قد يزيد من دقة التعرف على المشاعر.

أُجريت أبحاث مكثفة حول التعرف على العواطف عبر أنماط متعددة. ركزت الدراسات المبكرة على تحديد السمات المميزة من أنماط مختلفة، مثل المدخلات الرسومية أو الصوتية أو النصية. ومع ذلك، أصبح من الواضح بشكل متزايد أن دمج أنماط متنوعة يمكن أن يوفر معلومات عاطفية متوازنة، مما يؤدي إلى كشف أكثر موثوقية ودقة عن المشاعر. يستعرض هذا القسم التطورات الرئيسية في تحليل العواطف أحادي النمط ومتعدد الأنماط، مع التركيز على النهج الأساسية، وأوجه القصور فيها، والمنطق الذي استندنا إليه في منهجيتنا.

ركزت الدراسات الأولية حول التعرف على العواطف بشكل أساسي على نمط واحد. ففي المجال البصري، أدت الأبحاث الرائدة إلى تصنيف حركات الوجه النموذجية²⁰. وشملت التطورات اللاحقة تقنيات لالتقاط الديناميكيات الزمنية، مثل الحركة البصرية²¹ ونماذج ماركوف المخفية²²، بينما قُسمت استجابات الوجه إلى وحدات عمل باستخدام نظام ترميز تعبيرات الوجه (FACS)²³. وقد استُخدمت شبكات الذاكرة طويلة قصيرة المدى (LSTMs) والشبكات العصبية الالتفافية (CNNs) بنجاح لاستخراج سمات ذات دلالة مباشرة من الإشارات الصوتية الخام؛ كما تطورت منهجيات تحديد العواطف القائمة على الصوت من معالجة الإشارات التقليدية إلى التعلم العميق²⁴. كما تعزز استخراج إشارات المشاعر السياقية في تحليل العواطف القائم على النصوص بشكل كبير بواسطة الشبكات العصبية المتكررة (RNNs) التي تدمج آليات الانتباه، ومؤخراً بواسطة النماذج القائمة على المحولات (transformer-based models). ورغم إنجازاتها، فإن التقنيات أحادية النمط غير قادرة جوهرياً على تمثيل التعقيدات التي يمر بها البشر بدقة نظراً لافتقارها إلى المعلومات التكميلية الموجودة في الأنماط الأخرى.

تم اقتراح بعض النماذج القائمة على آلية الانتباه، مثل نموذج DialogXL25، في عام 2021 لجمع بيانات بيئية طويلة المدى في مجال تحديد المشاعر في المحادثات. وقد قدم Kim et al.²⁶ نموذج EmoBERTa في عام 2021 لزيادة دقة التعرف على المشاعر في المحادثات (ERC). يستخدم هذا النموذج بيانات المتحدث لتحسين سمات المتحدثين في المحادثات وتفاعلاتهم مع بعضهم البعض. وفي عام 2022، عرض Li et al.²⁷ طريقة CoG-BART. وتستخدم هذه البنية التعلم التبايني الخاضع للإشراف لتحسين قدرة النموذج على تفسير البيانات ذات الصلة. وتجدر الإشارة إلى أن التعلم الخاضع للإشراف يتطلب كمية كبيرة من البيانات المصنفة.

ومن الأمثلة النموذجية على هذا العمل إطار التمثيل المدرك للتفاعل متعدد الوسائط (MIAR)²⁸، والذي يستخدم رموز تفاعل الميزات والمحاذاة التباينية لتحسين التعميم عبر الوسائط المختلفة. يعمل MIAR على تحسين محاذاة الوسائط ويحقق أداءً قوياً عبر عدة مجموعات بيانات؛ ومع ذلك، فإنه يركز بشكل أساسي على دقة التنبؤ دون معالجة التخطيط المرئي. وبالمثل، فإن نموذج الاندماج السمعي البصري عبر الانتباه (Cross-Attentional Audio-Visual Fusion)²⁹ يلتقط بفعالية التفاعلات السمعية البصرية دقيقة التفاصيل للتنبؤ بالتكافؤ والاستثارة، ولكنه يقتصر على وسيطين فقط ويفتقر إلى قدرات التصوير المرئي. كما نجحت مناهج النمذجة الزمنية القائمة على شبكات LSTM واندماج المشفِّرات التلقائية في التقاط الديناميكيات الزمنية للعواطف، إلا أنها توفر رؤية محدودة فيما يتعلق بتفاعلات الوسائط والتمثيلات العاطفية المكتسبة. وفي الآونة الأخيرة، أظهرت الطرق القائمة على المحولات، مثل شبكة الاندماج متعدد الوسائط القائمة على المحول (TMFN)³⁰، أداءً قوياً على مجموعات بيانات CMU-MOSI و CMU-MOSEI من خلال تعزيز الاندماج متعدد الوسائط والتعلم التبايني. ومع ذلك، تظل هذه المناهج مدفوعة بالأداء في المقام الأول، وتقدم دعماً محدوداً للقابلية للتفسير، والتأويل على مستوى الميزات، والتصوير المرئي الموجه نحو التفاعل.

بهدف تعزيز تكامل البيانات النصية والصوتية والبصرية، تم اقتراح العديد من تقنيات التعرف على العواطف متعددة الوسائط. وبالرغم من عدم قدرتها على التقاط التفاعلات المعقدة بين الوسائط المختلفة، فقد أظهرت تقنيات الدمج المبكر مثل EF-LSTM وLF-DNN مزايا استخدام المعلومات متعددة الوسائط لتحليل المشاعر والعواطف. ورغم أن TFN قد حسّن الأداء في مجموعات البيانات المرجعية مثل CMU-MOSI وCMU-MOSEI وقدم نمذجة صريحة للتفاعلات بين الوسائط، إلا أن محدودية قابليته للتفسير وتعقيده الحسابي العالي أعاقا فائدته. ولتحسين محاذاة الوسائط ودمج الميزات الديناميكية، استخدمت تقنيات أكثر حداثة مثل MIAR، ونماذج دمج الانتباه المتقاطع، وTMFN، ومحولات الوسائط المتعددة التكيفية، بنيات المحولات (transformer topologies) وآليات الانتباه. ركزت هذه الطرق بشكل أساسي على الأداء التنبؤي، وقدمت رؤى محدودة حول التمثيلات العاطفية على مستوى الميزات والتبعيات عبر الوسائط، رغم تحقيق نتائج تنافسية عبر مقاييس التقييم الشائعة مثل الدقة (accuracy)، وF1-score، ومتوسط الخطأ المطلق (mean absolute error). علاوة على ذلك، فإن الدراسات التي وضعت تقنيات تصور يمكنها الكشف عن تضمينات العواطف الكامنة وتوزيعات الانتباه وديناميكيات العواطف الزمنية، أو التي دمجت نمذجة قائمة على الرسوم البيانية (graph-based modeling) للتفاعلات بين الوسائط، تظل قليلة. يتضمن النهج المقترح رسم خرائط بصرية متعددة العروض، ودمج الانتباه المتقاطع القائم على الرسوم البيانية، وتعلم التمثيلات المفككة للتغلب على هذه العيوب وتعزيز أداء التعرف على العواطف متعدد الوسائط.

وبالمثل، يقترح محول الوسائط المتعددة التكيفي (Adaptive Multimodal Transformer)³² دمجاً قائماً على التبادل للتخفيف التكيفي من المعلومات النمطية المشوشة أو المفقودة، مما يعزز أداء تصنيف المشاعر. ورغم أن هذا النهج يمكن أن يعالج بشكل فعال التباينات في توزيع المعلومات النمطية، إلا أن تصميمه مخصص لمهام تحليل المشاعر ويوفر رؤية محدودة للتمثيلات العاطفية المكتسبة. وثمة مساهمة مهمة أخرى تتمثل في نموذج دمج الوسائط المتعددة (Multimodal Fusion Model)³³، الذي يدمج الشبكات العصبونية التلافيفية (CNNs)، وذاكرات الوحدات القصيرة المدى (LSTMs) الضربية، وآلية الانتباه القائمة على المحولات للتعرف على العواطف متعددة الأنماط في الوقت الفعلي. ويقوم النموذج بدمج كامل لأنماط الفيديو والصوت والنص، ويظهر أداءً قوياً في التعرف. ومع ذلك، وكما هو الحال في النماذج الحالية الأخرى، فإنه يركز بشكل أساسي على دقة التنبؤ ويفتقر إلى ميزات صريحة للتصوير المرئي وقابلية التفسير الموجهة نحو التفاعل.

وفي الختام، بينما حققت مناهج التعرف على العواطف متعددة الوسائط الحديثة نجاحاً ملحوظاً في رصد التفاعلات عبر الوسائط وتعزيز دقة التنبؤ، فإن معظمها يركز على المهام القائمة على التعرف. وقد نالت مجالات قابلية التفسير على مستوى الميزات، وتصوير التمثيلات العاطفية في مساحة الصور، ودمج الإطار المقترح لتصميم التفاعل الذكي اهتماماً ضئيلاً. ومن هذا المنطلق، ومع مراعاة هذه التحديات، تم تقديم الإطار المقترح.

تركز غالبية الطرق الحالية بشكل أساسي على تحسين الأداء التنبئي مع تقديم القليل من القابلية للتفسير للتمثيلات العاطفية المكتسبة والتفاعلات عبر الوسائط، وذلك رغم التقدم الملحوظ في التعرف متعدد الوسائط على العواطف^28,29. وغالباً ما يصعب على استراتيجيات الدمج الحالية نمذجة التفاعلات المعقدة بين الوسائط النصية والصوتية والبصرية، خاصة عند حدوث تباينات في الوسائط ونقص في المعلومات ^28,31. وبينما أدت التصميمات القائمة على المحولات (transformers) وآليات الانتباه إلى تعزيز تعلم التمثيلات، فإن شفافيتها وقابليتها للتفسير غالباً ما تتضاءل بسبب الافتقار إلى الفصل الصريح بين المعلومات الخاصة بالعواطف والمعلومات الخاصة بالوسائط^31,32,33. بالإضافة إلى ذلك، بحث عدد قليل فقط من الدراسات في النمذجة القائمة على الرسوم البيانية للتفاعلات بين الوسائط أو أنشأت أطر تصور يمكنها الكشف عن ديناميكيات العواطف الزمنية وتوزيعات الانتباه وتضمينات العواطف. وتوضح هذه العيوب الضرورة الملحة لإيجاد إطار عمل متعدد الوسائط وقابل للتفسير للتفاعل الذكي بين الإنسان والآلة يجمع بين الخرائط المرئية الموجهة نحو التفاعل والتعلم القوي عبر الوسائط.

يقدم هذا العمل إطار عمل قابل للتفسير لرسم الخرائط المرئية لجوانب العواطف متعددة الوسائط في تصميم الواجهات الذكية. يستخدم النظام التعلم العميق الشامل (end-to-end) لاستخراج تمثيلات عاطفية عالية المستوى من الوسائط النصية والصوتية والبصرية، دون الحاجة إلى ميزات مُعدة يدويًا. كما تم نمذجة التفاعلات العاطفية عبر الوسائط باستخدام آلية دمج قائمة على الانتباه الرسومي (graph-based attention fusion) تعمل على فصل المعلومات الخاصة بالعاطفة عن تلك الخاصة بالوسائط، مما يتيح تعلم التمثيلات المفككة ويحسن من القابلية للتفسير والمتانة. بالإضافة إلى ذلك، تم إنشاء وحدة تصور متعددة العروض لإظهار ديناميكيات العواطف الزمنية، وأنماط الانتباه عبر الوسائط، وتضمينات العواطف (emotion embeddings). وقد تم تقييم فعالية وملاءمة إطار العمل المقترح في أنظمة التفاعل الذكي بين الإنسان والآلة من خلال التحقق من صحته باستخدام مجموعات بيانات مرجعية للتعرف على العواطف متعددة الوسائط.

يقدم هذا العمل إطار عمل فريداً للرسم الخرائطي المرئي لجوانب العواطف متعددة الوسائط، والذي يتجاوز النهج التقليدية الموجهة نحو التنبؤ للتغلب على ضعف نمذجة التفاعلات عبر الوسائط ومحدودية القابلية للتفسير في أنظمة تحديد العواطف متعددة الوسائط الحالية. يدمج النهج المقترح، ضمن بنية واحدة، تعلّم التمثيلات متعددة الوسائط القائم على المحولات (transformer)، ونمذجة الميزات المفككة المدركة للعواطف، ودمج الانتباه عبر الوسائط القائم على الرسوم البيانية، والتصور الموجه نحو التفاعل. ويفصل إطار العمل بوضوح بين التمثيلات الخاصة بالعواطف وتلك الخاصة بالوسائط لتحسين القابلية للتفسير والمتانة والاتساق عبر الوسائط، وذلك على عكس النهج الحالية التي تركز بشكل أساسي على أداء التصنيف. بالإضافة إلى ذلك، تم تقديم آلية انتباه قائمة على الرسوم البيانية لتمكين النمذجة التكيفية للتفاعلات بين الوسائط من خلال التقاط الاعتماد المتبادل العاطفي دقيق التفاصيل بين الوسائط النصية والصوتية والمرئية. كما تم إنشاء وحدة رسم خرائطي مرئي متعدد الرؤى لزيادة الشفافية عن طريق الكشف عن مسارات العواطف الزمنية، وأنماط الانتباه عبر الوسائط، وتضمينات العواطف الكامنة، مما يوفر رؤى بديهية لعملية اتخاذ القرار في النموذج. وبالإضافة إلى توفير تصور وقابلية تفسير محسنة للديناميكيات العاطفية متعددة الوسائط، أظهر التقييم التجريبي على مجموعات بيانات CH-SIMS و CMU-MOSEI المرجعية أداءً تنافسياً من حيث الدقة، ومقياس F1-score، ومتوسط الخطأ المطلق، والارتباط.

البروتوكول

يهدف العمل المقترح إلى تحسين تصميم التفاعل الذكي من خلال تقديم إطار عمل قابل للتفسير للتخطيط المرئي لسمات العواطف متعددة الوسائط. تم استخدام قاعدتي بيانات CH-SIMS وCMU-MOSEI المتاحتين للعامة في هذا العمل. وقد تم الحصول على كلتا المجموعتين من مصادرهما الرسمية واستخدامهما وفقاً لإرشادات الاستخدام، ومعايير البحث، وشروط الترخيص المحددة من قبل مبتكريهما. قام مزودو مجموعات البيانات أولاً بجمع وتوصيف المحتوى متعدد الوسائط، بما في ذلك البيانات النصية والصوتية والمرئية، وذلك وفقاً لتصاريح المشاركين المعتمدين وبروتوكولات جمع البيانات. لم يتضمن هذا البحث أي تفاعل بشري مباشر، أو استقطاب مشاركين جدد، أو جمع معلومات تعريف شخصية. وقد أُجريت جميع التحليلات باستخدام مجموعات بيانات بحثية متاحة للعامة. وبناءً على ذلك، فإن تحليلنا الثانوي للبيانات لم يتطلب أي موافقة أخلاقية إضافية أو مراجعة من مجلس مراجعة المؤسسات (IRB). نُفذت الدراسة بما يتماشى مع المعايير المؤسسية المناسبة التي تحكم استخدام مجموعات البيانات المتاحة للعامة، وإجراءات البحث الأخلاقية، وسياسات استخدام البيانات المعمول بها.

تم استخدام آلية انتباه عبر-نمطية قائمة على الرسم البياني لتعلم توصيفات العواطف عبر الأنماط المختلفة باستخدام خصائص محددة للعاطفة أو النمط لتحسين الفهم. ويُستخدم مكون رسم خرائط مرئي متعدد الرؤى لتعزيز التصميم التفاعلي المدرك للعواطف في الوقت الفعلي، كما تم تقدير كفاءته في التعرف على العواطف. وتظهر النتائج أن الطريقة المقترحة تحسن كلاً من القابلية للتفسير والكفاءة لواجهات المستخدم الذكية المدركة للعواطف في العالم الحقيقي. يوضح الشكل 1 سير العمل الهندسي للعمل المقترح. كما يوضح الشكل 1 سير العمل الكامل لإطار رسم الخرائط المرئي المقترح لتعلم سمات العواطف متعددة الأنماط في سياق أنظمة التفاعل الذكية. يبدأ سير العمل بثلاثة أنماط إدخال متزامنة، وهي النص والصوت والفيديو، والتي تلتقط معلومات عاطفية تكميلية من الأنماط اللغوية والعروضية وتعبيرات الوجه، على التوالي. يقوم مشفر محول (transformer encoder) خاص بكل نمط بمعالجة كل نمط للحصول على تمثيلات عالية المستوى لبيانات الإدخال الخام. ثم يتم تغذية هذه التمثيلات في وحدة تعلم تمثيلات مفككة، حيث يتم فك ارتباط التضمينات الخاصة بالعاطفة عن السمات الخاصة بالنمط لضمان الاتساق في العواطف المتعلمة عبر مصادر البيانات غير المتجانسة. بعد ذلك، يتم تجميع التضمينات الخاصة بالعاطفة من كل نمط بواسطة شبكة انتباه عبر-نمطية قائمة على الرسم البياني، والتي تعمل على نمذجة التبعيات العاطفية بين الأنماط وتعيين أوزان أهمية ديناميكية لكل نمط بناءً على سياق التفاعل. وأخيرًا، يوفر إطار العمل مخرجات تصنيف العواطف ورؤى تفاعلية، مما يسهل عملية صنع القرار الشفافة المدركة للعواطف وتصميم التفاعل الذكي التكيفي.

الاستحواذ على البيانات متعدد الوسائط

تعد مجموعتا بيانات CH-SIMS و CMU-MOSEI من مجموعات البيانات المتعددة الوسائط المتاحة حالياً في النطاق العام، واللتين جمعتا معلومات متعددة الوسائط، مثل الفيديو والصوت والنص المتزامنة. تتكون مجموعة بيانات CH-SIMS من فحوصات متعددة الوسائط لأشخاص صينيين، وتضم 2,281 مقطع فيديو مشتقاً من مقاطع فيديو متعددة من الأفلام والمسلسلات التلفزيونية والبرامج الترفيهية. وتصبح الدراسات المتعلقة بالتحليل متعدد الوسائط للعواطف باستخدام البيانات متعددة الوسائط أكثر جاذبية وجدوى من خلال إضافة الصوت والنص المقابلين لهذه المقاطع المرئية. ومع ذلك، تظل مجموعة بيانات CMU-MOSEI واحدة من أكبر مجموعات البيانات متعددة الوسائط لفحص الآراء والمشاعر والعواطف، حيث جُمعت من أكثر من 23,000 مقطع فيديو لعبارات نطق بها أكثر من 1,000 متحدث عبر مجموعة متنوعة من المواضيع. وقد قُسمت مجموعة البيانات عشوائياً إلى مجموعات فرعية للتدريب (70%)، والتحقق (15%)، والاختبار (15%) مع الحفاظ على توزيع الفئات.

يتم الحصول على النسوخ النصية، والإشارات الصوتية، وإطارات الفيديو، ومحاذاتها زمنياً لتتطابق على مستوى زمني دقيق. يضمن التكامل على مستوى الإطار أن آليات تعلم التمثيل والدمج القائم على الرسوم البيانية المقترحة يمكنها نمذجة والاستفادة بشكل مشترك من المحتوى العاطفي الناشئ عن التعبيرات البصرية، والنبرات الصوتية، والمحتوى اللغوي. تتيح تقنية الاكتساب متعدد الوسائط هذه الاستخراج الفعال للديناميكيات العاطفية بين الوسائط، وهو أمر أساسي لتصميم التفاعل الذكي والرسم الخرائطي البصري المفهوم.

يوضح الجدول 1 الهياكل الأساسية لمجموعات بيانات العواطف متعددة الوسائط المستخدمة في الطريقة المقترحة. وللحصول على نطاق أوسع من المشاعر ذات الصلة، مثل الكلمات المنطوقة ونبرات الصوت وتعبيرات الوجه، تدمج مجموعتا CH-SIMS و CMU-MOSEI وسائط الفيديو والصوت والنص من هذه المجموعات. علاوة على ذلك، يتوفر عدد محدود من عينات البيانات في CH-SIMS، مما يسمح بفحص دقيق لتفاعلات الوسائط وتنوع العواطف في الصين. من ناحية أخرى، تعد مجموعة بيانات CMU-MOSEI أكثر أهمية لتقييم متانة تعلم التمثيل وخوارزميات التصور ذات الصلة المشمولة في هذا العمل، حيث تحتوي على كمية كبيرة من البيانات عبر لغات وموضوعات ومستويات عواطف مشروحة متنوعة. بالإضافة إلى ذلك، وبالمقارنة مع الأبحاث السابقة، فإنها تقلل من الصعوبات في اختيار المعلومات عند اختبار النماذج.

المعالجة المسبقة والمزامنة متعددة الوسائط

استُخدمت تعليقات الطوابع الزمنية من مجموعتي بيانات CH-SIMS وCMU-MOSEI لمزامنة الوسائط النصية والسمعية والبصرية، مما ضمن تعلماً متسقاً لتمثيل الوسائط المتعددة. عمل كل ملفظ كوحدة تحليل أساسية وتم ربطه بمقاطع الصوت والفيديو المطابقة ضمن الفاصل الزمني ذاته. أُجريت عملية المحاذاة على مستوى الملفظ؛ حيث قُسم النص المكتوب إلى مقاطع بناءً على طوابع بداية ونهاية كل ملفظ. وتم تحقيق التطابق بين النص والصوت والبصر عن طريق استخراج إطارات الفيديو وإشارات الصوت المقابلة التي تقع ضمن الفاصل الزمني نفسه. وبينما عولجت المقاطع الصوتية باستخدام Wav2Vec 2.0 لإنتاج تمثيلات صوتية، تم أخذ عينات من الإطارات البصرية من مقطع الفيديو بمعدل محدد مسبقاً وترميزها باستخدام Vision Transformer (ViT). واستُخدم مشفر RoBERTa لإنشاء تضمينات نصية من نصوص الملفظات. كما تم تحقيق المزامنة الزمنية من خلال محاذاة جميع ميزات الوسائط مع حدود ملفظ واحد، نظراً لأن الوسائط الثلاثة أنتجت تسلسلات ميزات ذات أطوال متفاوتة. واستُخدم تنسيق ثابت الطول لتوحيد التسلسلات ذات الأطوال المختلفة؛ حيث قُصّرت التسلسلات الأطول إلى أقصى طول تسلسل مسموح به، بينما عُززت التسلسلات الأقصر بالحشو الصفري (zero-padded). وخلال التدريب، استُخدمت أقنعة الانتباه لفصل العناصر المحشوة عن مواقع الميزات الفعلية. كما تم إسقاط التضمينات الخاصة بكل وسيط في فضاء كامن مشترك قبل عملية الدمج من أجل التغلب على اختلاف أطوال التسلسلات عبر الوسائط المختلفة. وقد ضمن ذلك الاتساق البعدي وأتاح لآلية الانتباه القائمة على الرسم البياني تسهيل تعلم التفاعل الناجح عبر الوسائط. وللحفاظ على جودة البيانات وسلامة المزامنة، استُبعدت من الدراسات العينات التي تحتوي على ملفات تالفة، أو تعليقات مفقودة، أو معلومات وسائط غير مكتملة.

استخراج الميزات القائم على المحولات

تُستخدم طريقة تعلّم عميق لتعلم تمثيلات سمات عالية المستوى مدركة للعواطف من معلومات عبر وسائط متعددة، مثل الرؤية والصوت والنص، بطريقة شاملة (end-to-end) بعد محاذاة البيانات متعددة الوسائط وإجراء أي معالجة مسبقة مطلوبة. ومن خلال استخدام مشفر محول (transformer encoder) لتعلم تمثيلات سمات تمييزية جوهرية من البيانات الخام متعددة الوسائط، تلغي الطريقة المقترحة الحاجة إلى هندسة السمات. ولتسهيل الاتساق عبر مجموعات البيانات المستخدمة في النهج المقترح، يتم تعلم تضمين (embedding) ثابت الحجم لكل وسيط. على سبيل المثال، يتم تعلم تضمينات سمات ذات 768 بُعداً عبر كل وسيط من الوسائط الفردية، بما في ذلك وسائط الصور والصوت والنص، مما يشكل مجتمعاً موحداً من السمات يُستخدم في النهج بأكمله، وبشكل خاص في نهج استخراج السمات المستخدم عبر مجموعة بيانات CH-SIMS ومجموعة بيانات CMU-MOSEI لتعلم سمات عالية المستوى عبر بيانات ذات أحجام مختلفة.

النمط المرئي: محول الرؤية لتمثيلات الإطارات المدركة للمشاعر

استُخدم نموذج محول الرؤية (ViT-Base) لاستخراج المعلومات البصرية من إطارات الفيديو من أجل الحصول على تمثيلات مكانية ذات صلة بالعواطف. وقبل استخراج الميزات، تم تغيير حجم إطارات كل مقطع فيديو إلى (224 × 224) بكسل وأخذ عينات منها على فترات زمنية منتظمة. وباستخدام حجم رقعة يبلغ 16 × 16 بكسل، تنتج بنية ViT-Base سلسلة من الرموز البصرية التي يتم معالجتها بواسطة 12 طبقة ترميز للمحول. وقد تم إسقاط التمثيلات المسترجعة على مستوى الإطارات في فضاء تضمين ذي 768 بُعداً باستخدام نموذج ViT مُدرب مسبقاً كعمود فقري بصري. كما تم تجميع تضمينات مستوى الإطارات باستخدام التجميع المتوسط (mean pooling) لإنشاء التمثيل البصري النهائي لكل مقطع. وخلال التدريب، استُخدم تسوية الصور وطرق التعزيز الشائعة، مثل الاقتصاص العشوائي والقلب الأفقي، لتعزيز التعميم. ثم استُخدم إطار دمج الوسائط المتعددة المقترح لدمج هذه التضمينات البصرية مع التمثيلات النصية والسمعية.

للحفاظ على الديناميكيات الزمنية في العواطف، سيتم أخذ عينات منتظمة من مقاطع الفيديو من مجموعتي بيانات CH-SIMS و CMU-MOSEI للنمط المرئي. يمكن تقسيم إطارات كل فيديو، ، إلى N من الأقسام ثابتة الحجم، والتي يتم بعد ذلك تسطيحها ونقلها عكسياً إلى فضاء تضمين كامن ببعد . ويتم إنشاء سلسلة عن طريق إضافة تضمينات موضعية ورمز تجميع قابل للتعلم:

   (1)

حيث   ترمز إلى الترميز الموضعي و   تمثل مصفوفة تضمين الرقعة.

تُستخدم طبقات مشفر المحول المكدسة، والمكونة من شبكات التغذية الأمامية والانتباه الذاتي متعدد الرؤوس، لمعالجة تسلسل الرقع المضمنة. وتوصف عملية التحويل عند الطبقة l كما يلي:

   (2)

   (3)

للحصول على متجه السمات المرئية المدرك للعاطفة، يتم استخراج المخرج المكافئ لرمز الفئة (class token) كمتجه سمات . ولمعالجة التمثيلات المرئية للعواطف بشكل متسق رغم الاختلافات في اللغة والمحتوى عبر مجموعات البيانات، يتم دمج التضمينات على مستوى الإطار من كل مقطع فيديو لالتقاط تعبيرات الوجه وتطور العاطفة.

النمط السمعي باستخدام Wav2Vec 2.0 للتضمينات الصوتية الدلالية والعروضية تم إنتاج تضمينات كلامية سياقية باستخدام مشفر Wav2Vec 2.0 مدرب مسبقاً ليكون العمود الفقري الصوتي. وتم الحصول على متجه سمات صوتية ثابت الطول لكل عبارة عن طريق تجميع التمثيلات الخفية المخرجة باستخدام تجميع المتوسط (mean pooling). استُخدم نموذج Wav2Vec 2.0 لاستخراج التمثيلات الصوتية من الإشارات السمعية لالتقاط خصائص الكلام السياقية والمتعلقة بالعواطف. وقبل استخراج السمات، تم توحيد التسجيلات الصوتية وإعادة أخذ عينات منها بتردد 16 kHz. ولضمان التزامن بين النمطين النصي والبصري، تم عزل كل مقطع صوتي على مستوى التلفظ باستخدام حدود الطابع الزمني المقدمة في تعليقات مجموعة البيانات. كما تم ضبط المشفر الصوتي المدرب مسبقاً أثناء تدريب النموذج لتعزيز التكيف مع المهمة المحددة، مما مكن التمثيلات المشتقة من تمثيل الجوانب العاطفية للإشارات الكلامية بدقة أكبر. ثم تم إجراء دمج انتباه متعدد الأنماط قائم على الرسم البياني وتعلم التمثيلات المفككة باستخدام التضمينات الصوتية النهائية.

في نمط الصوت، يُستخدم Wav2Vec-2.0 لنمذجة إشارات الكلام المشتقة من معلومات الكلام الأولية في مجموعتي بيانات CH-SIMS و CMU-MOSEI، حيث يتم استخراج السمات الصوتية المتعلقة بالعاطفة بشكل مباشر. يوجد ترميز ميزات تلافيفي لكل إشارة كلام مدخلة :

   (4)

حيث يرمز Z إلى السمات العروضية منخفضة المستوى مثل اللحن والنغمة والطاقة. وتفيد شبكة سياقية قائمة على المحولات (transformer-based context network) الهياكل المذكورة سابقاً، حيث تمثل الاعتمادات الزمنية طويلة المدى:

   (5)

تتضمن هذه التمثيلات الصوتية السياقية بيانات صوتية عروضية ودلالية، وهي ضرورية للتعبير عن العاطفة. ويتم إنشاء تضمين صوتي بطول محدد من خلال إجراء عملية تجميع زمني:

   (6)

يتجنب هذا التصميم استخدام الميزات الصوتية مثل MFCCs، ويحقق المتانة باستخدام بيانات الكلام باللغة الإنجليزية من CMU-MOSEI وبيانات الكلام باللغة الصينية من CH-SIMS، وذلك ببساطة عن طريق استخراج التمثيلات من الموجات الصوتية.

نمط النص باستخدام RoBERTa لتمثيلات المشاعر السياقية

بالنسبة للمنوال النصي، تم تطبيق المحول ثنائي الاتجاه العميق، RoBERTa، على النصوص المكتوبة للكلام من مجموعتي البيانات لإنشاء دلالات سياقية ومعانٍ عاطفية. واستُخدمت مشفرات المحول القائمة على RoBERTa لاستخراج تمثيلات نصية من بيانات النصوص المكتوبة لالتقاط المعلومات الدلالية والسياقية والعاطفية. كما استُخدم نموذج RoBERTa مُدرب مسبقاً لمجموعة بيانات CMU-MOSEI باللغة الإنجليزية، بينما استُخدم إصدار RoBERTa صيني لمجموعة بيانات CH-SIMS الصينية لمراعاة السمات اللغوية الخاصة بكل لغة بشكل أفضل. وشملت المعالجة المسبقة للنصوص عملية التجزئة (tokenization) باستخدام مجزئ RoBERTa المناسب لكل لغة وتطبيع النصوص. ولضمان اتساق معالجة الدفعات، تم تحويل تسلسلات الإدخال إلى تضمينات رمزية، ثم تم تكملتها أو قصها للوصول إلى طول تسلسل أقصى محدد مسبقاً. ووفقاً لتنسيق إدخال RoBERTa، تم إدراج رموز تصنيف وفصل خاصة. وتم الحصول على تضمين نصي ثابت الطول عن طريق تجميع تمثيلات الرموز السياقية التي أنتجها مشفر المحول باستخدام تمثيل الجملة النهائي المكافئ لـ [CLS]. ولتكييف التمثيلات المتعلمة مع مهمة التعرف على العواطف، تم تحسين مشفرات RoBERTa المدربة مسبقاً من خلال التدريب متعدد الوسائط. ثم استُخدم إطار دمج الوسائط المتعددة المقترح لدمج التضمينات النصية مع الخصائص الصوتية والبصرية.

يمكن دمج تضمينات الرموز والترميزات الموضعية لكل إدخال مرمز، ، لإنشاء تمثيل الإدخال في تقنية التحويل ثنائية الاتجاه العميقة المعروفة باسم

   (7)

يتم تمثيل هذا النموذج من خلال طبقات محول L، الذي يستخدم آلية الانتباه الذاتي لاكتشاف الاعتمادات السياقية بين الكلمات:

  (8)

يتم الحصول على تضمين العاطفة السياقي باستخدام الحالة الخفية النهائية لرمز التصنيف:

   (9)

تعد قطبية المشاعر، والعواطف الجياشة، والدلالات المرتبطة بها أمثلة على الخصائص اللغوية المتعلقة بالعواطف التي سيمثلها هذا التضمين. يسهل نموذج RoBERTa عملية النمذجة المستقلة عن اللغة، مما يتيح للنظام استخدام نفس حجم التضمين لكل من النصوص الإنجليزية من مجموعة بيانات CMU-MOSEI والنصوص الصينية من مجموعة بيانات CH-SIMS.

يتم استخراج ثلاثة متجهات سمات خاصة بكل نمط وبأبعاد تبلغ 768، وهي: النمط البصري f_v، والنمط الصوتي f_a، والنمط النصي f_t ، وذلك من خلال خطوة تعلم تمثيل السمات العميقة المقترحة. وفي تصميم التفاعل الذكي، تشكل هذه التمثيلات المتعلمة فضاءً موحداً للسمات متعددة الأنماط، والذي يعمل كأساس لرسم الخرائط البصرية على مستوى السمات، والدمج عبر الأنماط القائم على الرسوم البيانية، وتعلم التمثيلات المفككة.

تعلم التمثيل المفكك

بعد تعلم تمثيل للميزات العميقة، يمكن أن تؤدي المعالجة الإضافية لمتجهات الميزات متعددة الوسائط من الوسائط المرئية والسمعية والنصية إلى وصف منفصل للعاطفة. إذا كانت تضمينات الميزات الخاصة بكل وسيط للوسائط السمعية والمرئية والنصية المستخدمة في الخطوة السابقة تُمثَّل بـ f_v و f_a و f_t على التوالي، بحيث تكون   و ، فإن الهدف من هذه الخطوة هو تحليل جميع ميزات الوسائط إلى وصفين كامنين متميزين، يتضمنان أوصاف العاطفة بعد أخذ الدلالات السابقة لكل من الوسائط المختلفة في الاعتبار.

يتم تحقيق ذلك عن طريق تغذية ميزة كل نمط، f_m في شبكتي إسقاط متوازيتين: مشفر عواطف  ومشفر أنماط ، حيث يتم إنتاج الترميزين.

  (10)

حيث يتم تمثيل الميزة الكامنة المرتبطة بالعاطفة بواسطة   بينما يمثل   ميزة كامنة خاصة بنمط معين. وهذا يسمح للتضمينات الخاصة بالعاطفة بالتواصل مع فضاء بشكل متكرر عبر مدخلات متعددة، بما في ذلك الصوت والمرئيات والنص، مع الحفاظ على البيانات الهيكلية الفريدة المرتبطة بكل نمط.

يتم فرض فصل فعال من خلال إعادة البناء باستخدام قيود الاستقلالية. وتتم إعادة بناء ميزة الوسائط الأصلية وفقاً لما يلي:

  (11)

حيث  هي شبكة فك تشفير. ويحافظ فقدان إعادة البناء على البيانات التالية:

   (12)

علاوة على ذلك، فإن التعامد، أو عدم الارتباط، بين العاطفة والتصويرات الخاصة بالوسيط غالباً ما يحد من تداخل المعلومات:

   (13)

من خلال تحقيق هذه الأهداف، قد يتعلم النموذج تمثيلات عاطفية موثوقة ومفهومة ومقاومة للتغير في الوسائط. وتعتمد عمليات دمج الوسائط المتقاطعة القائمة على الرسوم البيانية وميزات التعيين المرئي اللاحقة، خاصة في تصميم التفاعل الذكي، بشكل كبير على تمثيلات عاطفية مهيكلة وقابلة للتفسير.

اتساق العواطف عبر أنماط التواصل المختلفة

من الواضح أن إضافة اتساق العاطفة تعزز من فعالية الدمج بين الوسائط. ويرجع ذلك إلى أن استراتيجيات الدمج لا تحتاج إلى مراعاة الفجوات الكبيرة بين التمثيلين، بما أن تضمينات العاطفة الخاصة بكل وسائط تشترك في فضاء كامن. ويتم وصف التوضيح المدمج للعاطفتين كما يلي . سيكون الدمج الموزون أكثر استقراراً عندما تكون التمثيلات الخاصة بالعاطفة متسقة، لأن الاختلافات بين الإشارات الواردة من الوسائط المختلفة لن يكون لها تأثير على النتيجة.

   (14)

من خلال فرض المحاذاة الدلالية للمعلومات العاطفية، يقلل هذا الهدف من التباينات عبر الوسائط المختلفة ويضمن بقاء إدراك العاطفة متسقاً بغض النظر عن الوسيلة المستخدمة للتعبير عنها. وبناءً على ذلك، يتم إنشاء مساحة تمثيل وجدانية ومتماسكة عن طريق إسقاط الإشارات العاطفية المستمدة من إشارات الكلام، وتعبيرات الوجه، والمحتوى اللغوي.

التأثير على الاندماج عبر الوسائط

يصبح الدمج عبر الوسائط أكثر فعالية عند إدخال اتساق عاطفي عبر هذه الوسائط. وبذلك، لا تعود آليات الدمج بحاجة إلى تعويض الفجوات الكبيرة في التمثيل بين الوسائط، لأن التضمينات الخاصة بالعواطف تكون محاذات في فضاء كامن مشترك. ويُعرَّف تمثيل العواطف المدمج على النحو التالي:

  (15)

حيث تمثل  α_m وزن الاهتمام الممنوح للنمط m. ويصبح الدمج الموزون أكثر استقراراً ووضوحاً عندما تكون التمثيلات الخاصة بالعواطف متسقة، حيث تظهر نتيجة الدمج أدلة عاطفية تكميلية بدلاً من إشارات أنماط متناقضة.

من الناحية الرياضية، فإن تقليل التباين   بين مختلف أنواع التمثيلات الخاصة بالعواطف فيما يتعلق بـ  يعادل ما يلي:

   (16)

حيث  يمثل متوسط التعبير العاطفي. ويؤدي تقليل التباين إلى وزن أنماط الإدخال وفقاً لأهميتها العاطفية الدقيقة بدلاً من ضجيج النمط، مما يضمن تحسيناً في تقارب الشبكة وتقييماً أكثر دقة للاهتمام.

الهدف التعليمي النهائي من التصورات المرئية للعواطف المفككة هو الجمع بين التجزئة، وإعادة البناء، وتوحيد العواطف:

   (17)

حيث يتحكم معاملان فائقان، λ₁ و λ₂، في العلاقة بين موثوقية العاطفة عبر الوسائط والفك الارتباطي. ويقوم النموذج المقترح باكتساب تمثيلات عاطفية مستقلة عن الوسائط، وقابلة للتفسير، وقابلة للدمج لتحقيق ذلك، مع التركيز على توفير أساس متين لعمليات الدمج المستندة إلى الرسوم البيانية والتمثيل على مستوى السمات في تصميم الواجهات الذكية.

دمج الانتباه عبر الوسائط القائم على الرسوم البيانية

استُخدمت شبكة انتباه عابرة للأنماط قائمة على الرسوم البيانية لمحاكاة العلاقات العاطفية دقيقة التفاصيل بين الأنماط المختلفة. ولتسهيل تدفق المعلومات عبر هذه الأنماط، تم بناء رسم بياني متعدد الأنماط متصل بالكامل، حيث تم تمثيل كل تضمين خاص بالنمط (النص، والصوت، والمرئي) كعقدة في الرسم البياني. واستُخدمت العلاقات بين الأنماط لإنشاء مصفوفة الجوار للرسم البياني، والتي تم تحسينها لاحقاً عبر طريقة انتباه قابلة للتعلم. كما تم إنشاء فضاء كامن مشترك عن طريق دمج وإسقاط المخرجات من عدة رؤوس انتباه. ومن ثم، تم إنتاج تمثيل موحد للعاطفة متعدد الأنماط من خلال تجميع تمثيلات العقد باستخدام تجميع مرجح بالانتباه. بعد ذلك، استقبلت وحدات التنبؤ والتصور الخاصة بالتحليل المدرك للتفاعل والتعرف على العواطف هذا التمثيل المدمج. تميزت وحدة دمج الرسوم البيانية ببعد تمثيل خفي قدره 256 وطبقتين من انتباه الرسوم البيانية، تضم كل منهما ثمانية رؤوس انتباه. ولتحديد الأهمية النسبية للأنماط المجاورة، حُسبت معاملات الانتباه بين العقد المتصلة وتم توحيدها باستخدام دالة softmax. وتبعت كل طبقة انتباه رسوم بيانية عملية تسوية الطبقة، واتصالات متبقية، ومعدل إسقاط قدره 0.2 لزيادة استقرار التدريب وتقليل الإفراط في التخصيص. وبعد دمج وإسقاط مخرجات عدة رؤوس انتباه على فضاء كامن مشترك، جُمعت تمثيلات العقد في تضمين عاطفي واحد متعدد الأنماط باستخدام تجميع مرجح بالانتباه. بعد ذلك، استُخدم التمثيل المدمج لرسم الخرائط المرئية متعددة الرؤى والتنبؤ بالعواطف.

تم التقاط التفاعلات المتنوعة عبر الأنماط باستخدام انتباه الرسوم البيانية متعدد الرؤوس. واستُخدمت دالة softmax لتطبيع معاملات الانتباه بين العقد المتصلة لكل عقدة. ولزيادة استقرار التدريب وتجنب الإفراط في الضبط، تلت طبقات انتباه الرسوم البيانية المتراكمة في وحدة دمج الرسوم البيانية وصلات متبقية، وتطبيع الطبقة، وتسوية الإسقاط.

لنعتبر أن المصطلحات  تمثل بشكل فردي التمثيلات المقابلة للعواطف المحددة التي تم جمعها بواسطة الوسائط المرئية والصوتية والنصية؛ حيث يقع كل مكون ضمن الفضاء الكامن المشترك . تستخدم نماذج عقد الوسائط تدوينًا للرسم البياني ، بحيث تقابل عقد المجموعة  عقد الوسائط الثلاثة نفسها، وذلك لتعزيز الاعتمادات العاطفية المشتركة بين تمثيلات الوسائط المختلفة بشكل صريح.

بعد تعيين متجه سمات محدد للعاطفة لكل عقدة في الرسم البياني، نحصل على ما يلي:

   (18)

على عكس طرق الدمج التقليدية التي تستخدم أوزان دمج محددة مسبقاً أو ثابتة، فإن الطريقة المقترحة تتعلم أوزان حواف تكيفية بناءً على أهميتها وتداخلاتها، سواء عبر القنوات أو عبر الحالات العاطفية.

تُستخدم شبكة انتباه الرسوم البيانية (GAT) للدمج عبر الوسائط. يتم حساب معامل انتباه لكل عقدة i والعقد المجاورة لها، أي العقدة j:

   (19)

يتم قياس التأثير العاطفي للانتقال من الوضع j إلى الوسائط i بواسطة الأوزان المعيارية α_ij.

بعد ذلك، يتم حساب المظهر المدمج لكل عقدة نمط كـتجميع موزون لجيرانها:

   (20)

حيث تكون دالة التنشيط  غير خطية. وفي النهاية، يتم دمج الميزات المحدثة لكل عقدة للحصول على تمثيل مدمج عالمي للعاطفة:

   (21)

تُعد هذه تقنية مفيدة لنمذجة العواطف القابلة للتفسير ورسم الخرائط المرئية اللاحقة، لأنها تلتقط معلومات تكميلية من أنماط مختلفة مع الحفاظ على العلاقات المعقدة بين هذه الأنماط.

يوفر الخوارزمية 1 (الملف التكميلي 1) المخطط العام لتنفيذ الدمج عبر الوسائط المعتمد على الرسوم البيانية. في البداية، يتم إنشاء رسم بياني تربط فيه الخصائص المحددة للعاطفة بكل من الوسائط المرئية والصوتية والنصية. بعد ذلك، يتم حساب درجات الانتباه لأزواج العقد في كل رسم بياني، والتي تمثل مزيج الاعتماد العاطفي. ثم يتم تطبيع درجات الانتباه للإشارة إلى المساهمة النسبية لكل وسيط في السياق العاطفي المحدد، مما يسمح بتعلم أوزان الانتباه. وفي المرحلة الأخيرة، يتم إنتاج تضمين العاطفة العام عن طريق تجميع الميزات المرتبطة بعقد الرسم البياني. وبهذا المعنى، يظهر الدمج العام في الخوارزمية للميزات متعددة الوسائط المرتبطة بعواطف محددة إمكانات واعدة من حيث القابلية للتكيف، وقابلية التفسير، والذكاء السياقي.

الشكل 2 يوضح بنية وآلية عمل شبكة الانتباه عبر الوسائط المقترحة لدمج المشاعر متعدد الوسائط. يتم تمرير التضمينات الخاصة بالعواطف، والمستمدة بشكل مستقل من وسائط النصوص والصوت والفيديو، أولاً عبر آليات انتباه على مستوى الوسائط تتعلم الأهمية النسبية للمعلومات اللغوية والصوتية وتعبيرات الوجه لسياق عاطفي معين. ثم يتم دمج التمثيلات الموزونة بالانتباه لهذه الوسائط لتكوين تضمين عاطفي موحد، حيث تلتقط مصفوفة الانتباه التبعيات بين الوسائط وقوة التفاعل بينها. وتقوم مصفوفة الانتباه التي تعلمتها الشبكة بتعديل مساهمات الوسائط ديناميكياً، مما يمكنها من التركيز على أقوى وسائطها الإرشادية مع تجاهل الوسائط المشوشة أو الأقل إفادة. ويسمح تمثيل العواطف المدمج بالتعرف الدقيق على العواطف والتحليل التفصيلي للحالات العاطفية مثل الحياد، والعناق، والقلق.

وحدة الخرائط المرئية

بمساعدة قسم الخرائط المرئية، الذي تم إنشاؤه خصيصاً لهذا الغرض، يمكن لمصمم تفاعل ذكي تحويل التمثيل الموحد للحالة العاطفية إلى شكل مرئي مفهوم وسهل الاستيعاب بعد عملية الدمج عبر الوسائط، وذلك استناداً إلى الرسم البياني.

لتسهيل استيعاب التمثيلات العاطفية الكامنة، استُخدمت تقنيات تقليل الأبعاد لتصور تضمينات العواطف متعددة الوسائط المتعلمة. وبعد تقليل أبعاد الميزات مع الحفاظ على معظم التباين باستخدام تحليل المكونات الرئيسية (PCA)، تم إسقاط التضمينات في فضاء ثنائي الأبعاد للعرض باستخدام تضمين الجيران العشوائي الموزع t (t-SNE). وقد استُخدم في t-SNE رقم حيرة (perplexity) قدره 30، ومعدل تعلم قدره 200، و1,000 تكرار للتحسين. وتم تصور العناقيد الخاصة بالعواطف وعلاقات الوسائط باستخدام الإسقاطات التي تم الحصول عليها. كما استُخدمت أوزان الانتباه عبر الوسائط المُطبعة التي حصلت عليها شبكة الانتباه القائمة على الرسوم البيانية لإنشاء خرائط حرارية للانتباه. وتوضح هذه الخرائط الحرارية المساهمات النسبية للوسائط النصية والصوتية والبصرية أثناء التنبؤ بالعواطف. واستُخدمت معاملات الانتباه المتعلمة كأوزان للحواف لإنشاء رسوم بيانية للتفاعل عبر الوسائط، مما سمح بالفحص البصري للعلاقات بين الوسائط وتدفق المعلومات داخل إطار الدمج. كما تم إنشاء مخططات مسار العواطف من خلال مراقبة تطور تضمينات العواطف الكامنة عبر المنطوقات المتتالية لفحص الديناميكيات العاطفية الزمنية. وتسلط هذه المسارات الضوء على كيفية تطور الحالات العاطفية ومساهمات الوسائط بمرور الوقت. وقد استُخدمت حزمتي Python وهما Matplotlib وScikit-learn لإنشاء جميع التصورات. ولتقييم قابلية التفسير، وتكوين العناقيد، ومساهمات الوسائط، والديناميكيات العاطفية الزمنية، أُجريت تحليلات نوعية لتصورات التضمين، ورسوم التفاعل البيانية، وخرائط الانتباه الحرارية.

لتكن المتغير   يمثل التمثيل المدمج للحالة العاطفية بواسطة دالة شبكة انتباه الرسوم البيانية. وعلى عكس التصور على مستوى المخرجات لمخططات الحالة العاطفية، فإن الهدف الرئيسي لهذه الوحدة هو تحويل تمثيلات الحالة العاطفية والأوزان المقابلة لآلية الانتباه إلى شكل بصري مفهوم.

باستخدام α_ji المكتسبة، يتم إنشاء خريطة حرارية للانتباه لفحص مساهمة كل نمط بصرياً. ثم تُجمع أوزان الانتباه الواردة لتحديد درجة أهمية مركبة لكل نمط:

    (22)

حيث يمثل s_i المساهمة العاطفية النسبية للنمط I. وللمساعدة في إنشاء خريطة حرارية للانتباه، يتم تطبيع القيم التي تم الحصول عليها وتعيينها إلى خريطة ألوان تسهل على المستخدم تحديد النمط البارز في الخطوات الزمنية المختلفة أو الحالات التفاعلية. ومن خلال أنماط إدخال بصرية أو سمعية أو نصية متنوعة، تساعد هذه الواجهة المستخدم على فهم كيفية عمل آلية الانتباه في النظام.

يتم نمذجة الرسم البياني المكتسب تحديداً كـ "رسم بياني للتفاعلات الموزونة" لتمثيل الاعتمادية عبر الوسائط للمشاعر البشرية. وتتمثل الوسائط نفسها في كل عقدة من عقد الرسم البياني، بينما تُمثل قوة التفاعلات المتعلقة بالمشاعر البشرية من خلال أوزان على شكل α_ji على الحواف التي تربط بينها. ويوضح الرسم البياني الموزون أعلاه شدة التفاعلات العاطفية البشرية. تعريف i و j هو:

   (23)

تظهر سماكة الخط أو شفافيته في التصوير البياني بشكل مناسب بفضل هذه الأوزان، مما يسهل فهم كيفية تفاعل الأنماط. ويمكن للمصمم، بمساعدة الرسوم البيانية للتفاعل عبر الأنماط، فهم كيفية تفاعل المؤشرات العاطفية بشكل أفضل خلال عملية الدمج.

يتم تقليل تضمينات العواطف المدمجة  عند خطوات زمنية مختلفة إلى حيز منخفض الأبعاد باستخدام خوارزمية لتقليل الأبعاد مثل PCA أو t-SNE، وذلك لعرض تطور العواطف الزمنية:

   (24)

حيث يتم تمثيل دالة الإسقاط بواسطة . ويمكن تفسير ظهور مسارات العواطف ثنائية وثلاثية الأبعاد (2D/3D)، والتي توضح انتقالات العواطف وكثافتها واستقرارها في التفاعلات، على أنها تصوير حدسي لتطور الحالات العاطفية بمرور الوقت. ويمكن استخدام هذه الجوانب في التفاعل الذكي، واتخاذ القرار، والمراقبة في الوقت الفعلي.

على عكس أنظمة العواطف التقليدية التي تكتفي بتقديم خرائط لفئات أو درجات محددة، يركز هذا النظام على توضيح كيفية تشكل العواطف البشرية بداخله. وهو يكشف عن عملية صنع القرار من خلال تقديم تصورات للميزات الوسيطة، بما في ذلك عوامل الترجيح، والتفاعلات بين النماذج، والمسارات المقابلة لها. وهذا يتيح للمستخدم استيعاب كيفية تأثير كل عامل — بصرياً أو صوتياً أو لغوياً — في إنتاج استجاباته تجاه العاطفة البشرية.

وبالتالي، فإن ربط العواطف بأشكال مفهومة من خلال التمثيلات المرئية يمكن أن يسد الفجوة بين تحليل العواطف باستخدام طرق التعلم العميق ودمجها في تصميم الواجهات الذكية. ويمكن بعد ذلك استخدام البيانات التي تم جمعها من كلا النهجين لإنشاء واجهات مستخدم أكثر دقة. وبذلك، يمكن للنهج المقترح أن يزود مصممي التفاعل بمعلومات حيوية لإنشاء واجهات مستخدم أكثر دقة. وبعبارة أخرى، يصبح استيعاب العواطف جزءاً فعالاً للغاية في تصميم التفاعل. ولا يمكن أن تزداد الدقة إلا عندما يتم دمج استيعاب العواطف بشكل فعال في تصميم التفاعل.

تتيح وحدة التعيين المرئي إمكانية التفسير عبر عدة طرق مترابطة ولكنها مختلفة: تكشف القابلية للتفسير على مستوى الميزات عن التمثيلات الكامنة للعواطف التي أنشأتها الشبكة العصبونية العميقة (DNN)، مما يمكننا من فهم الدلالات المستخدمة لوصف كل ميزة متعلقة بالعاطفة؛ وتستخدم القابلية للتفسير على مستوى الوسائط بيانات من الرسوم البيانية للتفاعل والخرائط الحرارية للانتباه المرئي لوصف كيفية مساهمة كل وسيط — سواء كان مرئياً أو صوتياً أو نصياً — في القرارات المتخذة للتعبير عن العواطف؛ وأخيراً، تسمح المسارات الناتجة عن تضمين العواطف بفهم كيفية تغير كل وسيط مرئي ونصي بمرور الوقت من منظور التفاعل الديناميكي. يرجى الرجوع إلى الخوارزمية 2 (الملف التكميلي 1).

يتم تعيين السمات العاطفية متعددة الوسائط المدمجة إلى تمثيلات ذات دلالة بصرية لتصميم تفاعل ذكي باستخدام خوارزمية التعيين البصري المقترحة Algorithm 2. وتُستخدم أوزان الانتباه متعدد الوسائط القائمة على الرسوم البيانية لتحديد الفروق بين العناصر البصرية والصوتية والنصية المدخلة عند كل خطوة زمنية. ثم يتم تعيين هذه الفروق إلى تمثيلات بصرية لإبراز المصادر الرئيسية المؤثرة في العواطف باستخدام عناصر التصوير الحراري (heatmap). ولتقديم رؤية تحليلية للتفاعل بين العناصر المدخلة ونقل التطور العاطفي الناتج عن العناصر المدخلة متعددة الوسائط، يتم بعد ذلك حساب قوة التفاعل الزوجي لإنشاء أوزان التفاعل متعدد الوسائط. وفي الوقت ذاته، يتم إنشاء عرض للتطور العاطفي عن طريق تعيين العناصر العاطفية المدمجة التي تم جمعها بمرور الوقت في فضاء منخفض الأبعاد لإنتاج تطور مستمر للعناصر العاطفية.

توقع العواطف والتغذية الراجعة للتفاعل

تُستخدم نتيجة تمثيل العاطفة المدمج، والمتمثلة في ، كدالة لكل من التغذية الراجعة للتفاعل والتنبؤ بالعاطفة. علاوة على ذلك، يُوصف التنبؤ بالعاطفة بأنه نموذج متعدد المهام يشتمل على مهمة انحدار للتعرف المستمر على كثافة العاطفة ومهمة تصنيف للتعرف على العاطفة المتقطعة. ويُستخدم نموذج التصنيف القائم على softmax التالي للتعرف على العاطفة المتقطعة:

   (25)

حيث تمثل   احتمالات فئات العواطف المتوقعة، بينما تمثل W_c  و b_c قيوداً قابلة للتعلم. ويُستخدم فقدان الإنتروبيا المتقاطعة (cross-entropy loss) لتعزيز هدف التصنيف:

  (26)

حيث يمثل y_k العلامة المرجعية الحقيقية، وK هو عدد فئات العواطف. ويُستخدم فرع انحدار لتقدير شدة العاطفة بالتوازي، مما ينتج تنبؤاً بمختلف السمات الوجدانية المستمرة، بما في ذلك التكافؤ والاستثارة. وقد حُدد تعريفه على النحو التالي:

   (27)

حيث يُشار إلى درجة كثافة العاطفة المتوقعة بواسطة . ويُستخدم فقدان متوسط مربع الخطأ لتعزيز مهمة الانحدار:

   (28)

بشكل عام، يتم دمج المهمتين في هدف التنبؤ:

   (29)

حيث يتم موازنة أهداف الانحدار والتصنيف بواسطة λ. ويقترح ذلك تعديلاً ديناميكياً لوحدة التصور بناءً على الحالة العاطفية المحددة لتمكين هذا النوع من التغذية الراجعة المدركة للتفاعل. ويُمثل سياق التفاعل في وقت معين t بواسطة c_t. ويتم توفير استجابة وحدة التصور من خلال:

    (30)

حيث يتم تمثيل دالة تكييف التصور بواسطة . وهذا يتيح إمكانية ضبط الخرائط الحرارية للأنماط، ورسوم التفاعل البيانية، ومسارات العواطف في الوقت الفعلي بناءً على التغيرات والعواطف المتوقعة. ويشير هذا إلى أن النظام يوفر دعماً كبيراً للتغذية الراجعة بالإضافة إلى أدائه الجيد في التنبؤ بحالة العواطف.

النتائج

يتحقق هذا العمل من صحة إطار عمل الخرائط المرئية المقترح لميزات العاطفة متعددة الوسائط من حيث القابلية للتفسير الواعية بالتفاعل والأداء التنبؤي، وذلك باستخدام مجموعتي بيانات مرجعيتين هما CH-SIMS وCMU-MOSEI. ووفقاً للنتائج التجريبية، يتفوق النهج المقترح باستمرار على تقنيات التعرف على العواطف متعددة الوسائط الحالية عبر مجموعة متنوعة من المقاييس، بما في ذلك الارتباط، والدقة، وF1-score، ومتوسط الخطأ المطلق (MAE). وتساهم جميع العناصر المتمثلة في تمثيل العاطفة المفكك، وآلية الدمج عبر الوسائط القائمة على الرسوم البيانية، واستراتيجية تعلم التمثيل العميق من الطرف إلى الطرف في هذا التحسن من خلال تمكين نمذجة عاطفية أكثر استقراراً ومواءمة دلالياً. كما يوفر النهج المقترح رؤى أغنى على مستوى الميزات من خلال الخرائط المرئية، وهو ما يتجاوز المكاسب الكمية ويجعل من السهل فهم مساهمات الوسائط وديناميكيات العواطف. وعلى الرغم من الاختلافات في اللغة والتعبير الثقافي وحجم مجموعة البيانات، لوحظ اكتساب الأداء المذكور باستمرار عبر كلتا مجموعتي البيانات، مما يثبت القدرة القوية لإطار العمل المقترح على التعميم.

تُستخدم مجموعات البيانات العامة CH-SIMS وCMU-MOSEI الخاصة بالعواطف متعددة الوسائط في العمل المقترح. تضم مجموعة بيانات CH-SIMS عدد 2,281 مقطع فيديو من الأفلام والدراما التلفزيونية والبرامج الترفيهية، وتتوفر فيها بيانات نصية وصوتية ومرئية متزامنة. كما تُصنف تسميات المشاعر أحادية الوسائط ومتعددة الوسائط إلى فئات إيجابية ومحايدة وسلبية. وتحتوي مجموعة البيانات الإنجليزية الضخمة متعددة الوسائط المعروفة باسم CMU-MOSEI على حوالي 23,453 مقطع فيديو مشروحاً يظهر فيها أكثر من 1,000 متحدث يناقشون مجموعة واسعة من المواضيع. وتتضمن مجموعة البيانات هذه تعليقات توضيحية مستمرة لشدة العاطفة، مثل التكافؤ (valence) والاستثارة (arousal)، بالإضافة إلى تسميات عاطفية فئوية. ومن خلال دعم مجموعة متنوعة من الظروف اللغوية والثقافية والعاطفية، فإن التجريب على هاتين المجموعتين من البيانات باستخدام الإطار المقترح يعزز من المتانة والموثوقية. يوضح الجدول 2 تفاصيل بيئة المحاكاة.

تُلخص بيئة المحاكاة هذه الإعدادات التجريبية والتنفيذية الرئيسية المستخدمة لتقييم الإطار المقترح. ولضمان توحيد أبعاد السمات عبر الوسائط النصية والصوتية والمرئية، يتم تطبيق المشفرات القائمة على المحولات (transformer-based encoders) بشكل موحد. كما يستخدم النظام آلية انتباه قائمة على الرسوم البيانية (graph-based attention mechanism) للدمج عبر الوسائط، مما يتيح التعلم التكيفي للاعتمادات المتبادلة بين الوسائط فيما يتعلق بالحالات العاطفية.

يقوم الإطار المقترح باستخراج التمثيلات النصية والسمعية والبصرية باستخدام مشفرات أنماط تعتمد على المحولات (transformer). وتقوم طبقات متصلة بالكامل مع تفعيل ReLU بإسقاط التضمينات الخاصة بكل نمط في فضاء كامن مشترك. ثم تُستخدم مشفرات منفصلة خاصة بالعواطف وأخرى خاصة بالأنماط، بحيث يتكون كل منها من طبقتين متصلتين بالكامل مع تفعيل غير خطي ومعايرة، وذلك لتعلم تمثيلات مفككة. يتم إسقاط التمثيلات الكامنة في فضاء ميزات ذي 256 بُعداً، حيث يتم تعلم المعلومات الخاصة بكل نمط وعاطفة بشكل منفصل. وللحفاظ على معلومات النمط وتعزيز عملية التفكيك الفعالة، تُستخدم مفككات إعادة البناء. وقبل عملية الدمج والتنبؤ متعدد الأنماط، تقوم وحدة الانتباه المتقاطع بين الأنماط القائمة على الرسوم البيانية بنمذجة التبعيات العاطفية بين الأنماط باستخدام التمثيلات الكامنة. تم تدريب الشبكة باستخدام محسّن Adam بمعدل تعلم أولي قدره 1 × 10⁻⁴ وحجم دفعة قدره 32. كما تم تطبيق التوقف المبكر بناءً على خسارة التحقق لمنع الإفراط في التخصيص. وتكونت دالة الهدف الإجمالية من خسائر التصنيف، وإعادة البناء، واتساق التمثيلات، حيث تم وزن كل منها بواسطة معاملات فائقة قابلة للضبط. استمر تدريب النموذج لمدة تصل إلى 100 حقبة، وتم الاحتفاظ بالنموذج الأفضل أداءً على مجموعة التحقق لأغراض الاختبار.

تم تقييم الإطار المقترح باستخدام مقاييس التصنيف، بما في ذلك الدقة (Accuracy)، والدقة المحددة (Precision)، والاستدعاء (Recall)، ومقياس F1-score، جنباً إلى جنب مع مقاييس الانحدار مثل متوسط الخطأ المطلق (MAE). وقد حُسبت قيم الدقة المحددة والاستدعاء ومقياس F1-score باستخدام المتوسط الكلي (macro-averaging) لمراعاة عدم التوازن بين الفئات عبر فئات العواطف. وبالنسبة لتجارب التصنيف، استُخدمت تسميات العواطف/المشاعر المحددة مسبقاً والمقدمة في مجموعتي بيانات CH-SIMS وCMU-MOSEI كفئات الحقيقة الأرضية (ground-truth). أما بالنسبة للتنبؤ بالمشاعر القائم على الانحدار، فقد كانت درجات كثافة المشاعر المستمرة في مجموعات البيانات هي المتغيرات المستهدفة. كما تم إنشاء مصفوفات الارتباك (Confusion matrices) لتحليل أداء التنبؤ لكل فئة وأنماط التصنيف الخاطئ بفاصل ثقة قدره 95%. ولضمان المتانة، كُررت كل تجربة 5 مرات باستخدام تهيئات عشوائية مختلفة، وتطابق النتائج المذكورة متوسط الأداء ±± الانحراف المعياري عبر جميع التشغيلات. كما تم تقييم الدلالة الإحصائية باستخدام إجراءات اختبار الفرضيات المناسبة، وحُسبت فواصل الثقة حيثما كان ذلك قابلاً للتطبيق. وقيس وقت التدريب على أنه إجمالي الوقت المنقضي المطلوب لتقارب النموذج على المنصة العتادية المحددة.

يمكن مقارنة الطريقة المقترحة مع عدد من النماذج المرجعية التمثيلية، بما في ذلك الدمج المبكر والدمج المتأخر، مثل TFN، والطرق القائمة على LSTM، ونماذج الدمج متعدد الوسائط منخفضة الرتبة، والمحولات متعددة الوسائط التكيفية، والبنى الجديدة القائمة على الانتباه عبر الوسائط. وتعكس هذه النماذج المرجعية تقنيات متطورة تركز بشكل أساسي على تحسين دقة التعرف على العواطف من خلال طرق دمج متنوعة. وبخلاف هذه الطرق التي تركز أساساً على التنبؤ على مستوى المخرجات، فإن إطار العمل المقترح يعمل على تحسين القابلية للتفسير والوعي بالتفاعل من خلال تعلم التمثيل المفكك والدمج القائم على الرسوم البيانية. ومن أمثلة النماذج المرجعية التي تم تنفيذها باستخدام مستودعاتها الرسمية أو التنفيذات المرجعية المتاحة علنًا: LSTM Fusion وTFN وLow-Rank Multimodal Fusion (LMF) وAdaptive-Graph والتقنيات القائمة على المحولات. وقد استُخدمت إعدادات المعلمات الفائقة الأصلية للمؤلفين في حال توفرها. ولضمان إجراء مقارنة عادلة، تم تقييم جميع النماذج المرجعية التي أعيد تدريبها باستخدام نفس تقسيمات مجموعة البيانات، وتقنيات المعالجة المسبقة، ومعلمات التحسين، ومعايير التقييم. وتحدد جداول المقارنة بوضوح المراجع ذات الصلة للبيانات المستمدة مباشرة من المنشورات السابقة.

الدقة

يتم قياس دقة تصنيف المشاعر المنفصلة لكل من CH-SIMS وCMU-MOSEI؛ ومع ذلك، يختلف اتجاه الدقة بناءً على خصائص مجموعتي البيانات. نظرًا لأن CH-SIMS عبارة عن مجموعة بيانات متوسطة الحجم تحتوي على عدد متساوٍ من فئات المشاعر ومقاطع فيديو تمت معالجتها مسبقًا بعناية، فإن دقتها عالية، مما يشير إلى أن النموذج يمكنه التقاط المعلومات العاطفية متعددة الوسائط الدقيقة مع وجود قدر ضئيل من الضجيج. ومع ذلك، فإن تصنيف المشاعر بدقة يمثل تحديًا لأن CMU-MOSEI هي مجموعة بيانات واسعة النطاق تضم متحدثين من خلفيات متنوعة. لذلك، وبالإضافة إلى قدرة النموذج على تحديد المشاعر، تشير الدقة في مجموعة بيانات CMU-MOSEI إلى قدرته على التعميم والصمود أمام سيناريوهات تفاعلية متنوعة. ويظهر التحسن في الدقة عبر مجموعتي البيانات أن النهج المقترح يعمم بشكل جيد عبر مجموعات بيانات ذات لغات وأحجام ومستويات تعقيد عاطفي مختلفة.

تظهر دقة التصنيف للنهج المقترح والقواعد المرجعية الشائعة الأخرى على مجموعتي بيانات CH-SIMS وCMU-MOSEI في الجدول 3. وكما يتضح من الجدول 3، حقق الإطار المقترح أعلى دقة في كل من مجموعتي بيانات CH-SIMS وCMU-MOSEI، متفوقاً على أقوى قاعدة مرجعية (Adaptive-Graph) بنسبة 3.3% و3.1 نقطة مئوية تقريباً، على التوالي. كما تشير قيم الانحراف المعياري المنخفضة إلى استقرار أكبر عبر مرات التشغيل التجريبية المتكررة. وتتميز نهج دمج LSTM التقليدية بدقة أقل بسبب قدرتها المحدودة على التقاط العلاقات المعقدة عبر الوسائط المتعددة. بينما تعمل TFN وLMF على تحسين دقة التصنيف من خلال نمذجة العلاقات عبر الوسائط المتعددة.

مقياس F1 (F1-Score)

في مسائل تصنيف العواطف، يُقاس التوازن بين الاستدعاء (recall) والدقة (precision) باستخدام مقياس F1-score. لذا، يُعد هذا المقياس أكثر ملاءمة لمجموعات بيانات تصنيف العواطف متعددة الوسائط، والتي يُرجح أن تحتوي على عدد غير متساوٍ من الفئات. في مهام تصنيف العواطف، يتم قياس التوازن بين الاستدعاء والدقة باستخدام F1-score؛ وبما أنه من المتوقع أن تكون مجموعات بيانات تصنيف العواطف متعددة الوسائط غير متوازنة، فإن F1-score يكون أكثر ملاءمة. وكلما كانت قدرة النموذج على اكتشاف فئات العواطف أفضل، ارتفعت قيمة F1-score.

يوضح الشكل 3 تقييم مقياس F1-score للتقنية المقترحة مقارنة بالنماذج المرجعية على مجموعة بيانات CH-SIMS. وتكشف أقل قيمة لمقياس F1-score لنموذج LSTM المرجعي عن محدودية قدرته على نمذجة العلاقات العاطفية المعقدة عبر الوسائط المختلفة. ويتم مقارنة قيم F1-score التي حققتها التقنيات التي تم تقييمها على مجموعة بيانات CH-SIMS في الشكل 3. وكما هو موضح، فإن البنى القائمة على الرسوم البيانية (graph-based) والمحولات (transformer-based) الأكثر تطوراً تتفوق عادةً على طرق الدمج (fusion-based) التقليدية. حيث سجل نموذج LSTM أقل قيمة بمقياس F1-score بلغ 0.71، يليه نموذج TFN بـ (0.74) ونموذج LMF بـ (0.76). ثم ارتفع مقياس F1-score إلى 0.79 باستخدام Adaptive-Graph، مما يثبت قيمة نمذجة الروابط بين الوسائط. وقد تفوق الإطار المقترح بمقياس F1-score بلغ 0.82، متجاوزاً Adaptive-Graph بنسبة 3.8%، وLMF بنسبة 7.9%، وTFN بنسبة 10.8%، وLSTM بنسبة 15.5%. وتظهر هذه النتائج أن آلية الانتباه عبر الوسائط القائمة على الرسوم البيانية المقترحة وتعلم التمثيلات المفككة تلتقط المعلومات العاطفية التكميلية عبر الوسائط النصية والصوتية والبصرية بشكل أكثر فعالية، مما يؤدي إلى أداء تصنيف أفضل.

تعتبر الاتجاهات النسبية متسقة، على الرغم من أن جميع الطرق تظهر انخفاضاً طفيفاً في مقياس F1-score مقارنةً بـ CH-SIMS، كما هو موضح في الشكل 4. وتظهر النتائج تحسناً مستمراً في الأداء من طرق الدمج التقليدية إلى استراتيجيات التعلم متعدد الوسائط القائمة على الرسوم البيانية. وكانت النماذج ذات أدنى F1-score هي LSTM (0.69)، وTFN (0.72)، وLMF (0.74). وارتفع أداء نموذج Adaptive-Graph إلى 0.77، مما يوضح مدى كفاءة نمذجة الروابط عبر الوسائط. وقد تفوق الإطار المقترح على جميع النهج الأخرى، محققاً أعلى F1-score بقيمة 0.80. ويظهر التحسن مقارنةً بأقوى خط أساس، وهو Adaptive-Graph، مساهمات تعلم تمثيل العواطف المفكك وآلية الانتباه عبر الوسائط القائمة على الرسوم البيانية في التقاط الإشارات العاطفية التكميلية عبر الوسائط النصية والصوتية والمرئية. وتؤكد هذه النتائج أن الإطار المقترح للتعرف على العواطف متعدد الوسائط موثوق وفعال. كما يظهر النهج المقترح تحسناً ملحوظاً مقارنةً بكل من النهج القائم على الرسوم البيانية وطريقة الدمج التقليدية، مما يؤكد بشكل أكبر قدرة التعميم القوية لهذه الطريقة. ويدل التحسن في F1-score على مجموعة بيانات CMU-MOSEI على أن النهج المقترح يمكنه تحقيق أداء متوازن في تصنيف العواطف حتى في البيئات الصاخبة والمتنوعة.

الدقة

في أنظمة الاتصالات الذكية، تُعد الدقة أمراً بالغ الأهمية لأن الإشارات العاطفية الخاطئة يمكن أن تؤدي إلى تدهور تجربة المستخدم. وتُعرف الدقة بأنها نسبة الحالات التي تم توقعها بدقة لعاطفة معينة إلى العدد الإجمالي للحالات التي تم توقع أنها تلك العاطفة. وبما أن التمثيلات العاطفية المفككة أقل ضوضاء وأقل عرضة للتصنيف الخاطئ في النمط، فإن النموذج المقترح يتفوق على النماذج المرجعية في مجموعة بيانات CH-SIMS كما هو موضح في الشكل 5.

يوضح الشكل 5 مقارنة في الدقة التي حققتها عدة تقنيات للتعرف على العواطف متعددة الأنماط على مجموعتي بيانات CH-SIMS و CMU-MOSEI. ومع انتقال النماذج من التقنيات التقليدية القائمة على الدمج إلى بنيات أكثر تطوراً قائمة على الرسوم البيانية، تزداد الدقة بشكل مطرد. حقق الإطار المقترح أقصى دقة بلغت 0.82 على مجموعة بيانات CH-SIMS، حيث ارتفعت الدقة من 0.71 لنموذج LSTM إلى 0.74 و 0.76 و 0.79 لنماذج TFN و LMF و Adaptive-Graph على التوالي. وعلى مجموعة بيانات CMU-MOSEI، ارتفعت الدقة من 0.69 لنموذج LSTM إلى 0.72 و 0.74 و 0.77 لنماذج TFN و LMF و Adaptive-Graph على التوالي، بينما حقق النهج المقترح أعلى دقة بلغت 0.80. وقد زاد الإطار المقترح الدقة بنسبة 3.8% تقريباً في CH-SIMS و 3.9% في CMU-MOSEI مقارنة بأقوى نموذج مرجعي (Adaptive-Graph). وتظهر هذه النتائج أن آلية الانتباه عبر الأنماط القائمة على الرسوم البيانية وتعلم التمثيل المفكك المقترح تنجح في تقليل التنبؤات الإيجابية الكاذبة من خلال التقاط المعلومات العاطفية المتكاملة عبر الأنماط النصية والصوتية والبصرية. كما تساهم آلية الانتباه عبر الأنماط القائمة على الرسوم البيانية في الحد من تأثير النمط غير ذي الصلة. ويؤدي التنوع المتزايد في المتحدثين والتعبيرات اللغوية في مجموعة بيانات CMU-MOSEI إلى انخفاض طفيف في الدقة لجميع النماذج.

استرجاع

في مهام التعرف على العواطف، يعد الاستدعاء (recall)، وهو مقياس لقدرة النموذج على تصنيف الحالات العاطفية التي تنتمي إلى فئة معينة بشكل صحيح، أمرًا بالغ الأهمية لأن نقص المعلومات العاطفية يمكن أن يؤثر سلبًا على جودة التفاعل. تشير قيمة الاستدعاء الأعلى إلى أن النموذج يحدد عددًا أقل من السلبيات الكاذبة وعددًا أكبر من التعبيرات العاطفية الفعلية. ويمكن اعتبار الاستدعاء مقياسًا لكفاءة استخراج المعلومات العاطفية من الوسائط النصية والصوتية والبصرية في سياق تحليل العواطف متعدد الوسائط.

تظهر ميزة التقنية المقترحة مقارنة بالمنهجيات المرجعية الأساسية في مجموعتي بيانات CH-SIMS وCMU-MOSEI في مقارنة الاستدعاء (recall) الموضحة في الشكل 6. ومع تطور النماذج من طرق الدمج التقليدية إلى هياكل متعددة الأنماط أكثر تطوراً تعتمد على الرسوم البيانية (graphs)، تظهر النتائج باستمرار مكاسب في قيمة الاستدعاء. فقد ارتفع الاستدعاء في مجموعة بيانات CH-SIMS من 0.70 لنموذج LSTM إلى 0.73 و0.75 و0.78 لنماذج TFN وLMF وAdaptive-Graph على التوالي؛ بينما حقق الإطار المقترح أقصى قيمة استدعاء بلغت 0.82. كما حقق المنهج المقترح أفضل استدعاء قدره 0.80 في مجموعة بيانات CMU-MOSEI، حيث ارتفع الاستدعاء من 0.68 لنموذج LSTM إلى 0.71 و0.73 و0.76 لنماذج TFN وLMF وAdaptive-Graph على التوالي. وقد حقق الإطار المقترح تحسينات نسبية بلغت حوالي 5.1% في CH-SIMS و5.3% في CMU-MOSEI مقارنة بأقوى منهجية مرجعية (Adaptive-Graph). وتوضح هذه النتائج أن آلية تعلم التمثيل المفكك وانتباه الرسوم البيانية عبر الأنماط المقترحة تنجح في تقليل تنبؤات السلبية الكاذبة من خلال التقاط الإشارات العاطفية المتكاملة عبر الأنماط النصية والصوتية والبصرية، مما يؤدي بالتالي إلى تحسين تحديد فئات العواطف في كلتا مجموعتي البيانات. ونظراً لأن الطرق التقليدية تمتلك قدرة محدودة على نمذجة العلاقات المعقدة عبر الأنماط، فإنها تميل إلى امتلاك قيم استدعاء منخفضة. ومن خلال نمذجة علاقات الأنماط بشكل أكثر صراحة، حققت TFN وLMF مكاسب متوسطة. وبمحاكاة العلاقات الهيكلية بين الأنماط، نجحت طريقة Adaptive-Graph في تحسين الاستدعاء بشكل أكبر. وبالنسبة لكلتا مجموعتي البيانات، حققت الطريقة المقترحة أعلى استدعاء، مما يشير إلى قدرتها الأفضل على اكتشاف الحالات العاطفية عبر سيناريوهات تفاعل مختلفة. ويظهر هذا التحسن بشكل أكثر وضوحاً في مجموعة بيانات CMU-MOSEI واسعة النطاق، مما يثبت متانة الإطار المقترح وقدرته على التعميم.

متوسط الخطأ المطلق (MAE)

يُستخدم متوسط الخطأ المطلق (MAE) لتقييم أداء مهام التنبؤ المستمر بكثافة العاطفة، مثل التنبؤ بالتكافؤ أو الاستثارة. وبخلاف الدقة، يعكس MAE بشكل أفضل مدى قرب كثافة العاطفة المتوقعة من الحالة العاطفية الفعلية. ولهذا السبب يعد MAE أكثر ملاءمة لمجموعات البيانات مثل CH-SIMS وCMU-MOSEI، التي تحتوي على تسميات عاطفية مستمرة. وتشير القيمة المنخفضة لـ MAE إلى دقة أكبر في التنبؤ بكثافة العاطفة.

تظهر مقارنة متوسط الخطأ المطلق (MAE) بين الإطار المقترح والأساليب المرجعية في مجموعتي بيانات CH-SIMS وCMU-MOSEI في الجدول 4. تميل طرق الدمج التقليدية القائمة على LSTM إلى تسجيل قيم MAE أعلى بسبب قدرتها المحدودة على نمذجة التبعيات العاطفية متعددة الوسائط المعقدة. ويمكن لـ TFN وLMF تقليل قيمة MAE من خلال نمذجة التفاعلات متعددة الوسائط، بينما يقللها نهج Adaptive-Graph بشكل أكبر عبر تعلم علاقات الرسم البياني للوسائط. ويحقق الإطار المقترح أصغر قيمة MAE في كلتا مجموعتي البيانات، مما يشير إلى تقدير أكثر دقة لشدة العاطفة. ومن الجدير بالذكر أن التحسن كان أكثر وضوحاً في مجموعة بيانات CMU-MOSEI، حيث تجعل التباينات الواسعة في البيانات وظروف المتحدثين مهمة التنبؤ أكثر تحدياً.

مصفوفة الارتباك لمجموعة بيانات CH-SIMS

تُظهر مصفوفات الارتباك الخاصة بمجموعة بيانات CH-SIMS وجود خلط كبير بين فئات المشاعر المحايدة والإيجابية في الطرق الأساسية لكل من LSTM ذات الاندماج المبكر وTFN. ويشير ذلك إلى أن هذه الطرق ليست فعالة للغاية في تحديد التعبيرات العاطفية متعددة الوسائط والدقيقة. ومن ناحية أخرى، تظهر الطريقة المقترحة بوضوح هيمنة قطرية قوية، مع وجود عناصر قليلة جداً خارج القطر، مما يؤدي إلى تحسين القدرة على الفصل بين الفئات. وتضمن آلية تعلم العواطف المفككة في الطريقة المقترحة تمثيلاً متسقاً للعواطف عبر الوسائط المختلفة، كما يعمل نهج الاندماج الرسومي على تحسين التمييز بين فئات المشاعر المتقاربة. يوضح الشكل 7A–E مصفوفة الارتباك لمجموعة بيانات CH-SIMS باستخدام طرق أساسية متنوعة.

مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI

يستخدم الإطار المقترح تضمينات عاطفية غير متغيرة النمط وأوزان انتباه تكيفية لتقليل معدل التصنيف الخاطئ بشكل كبير، خاصة بالنسبة للمدخلات الغامضة عاطفياً. وهذا يؤكد أن الإطار المقترح يعمل بشكل جيد في مجموعة متنوعة من سيناريوهات التفاعل متعدد الأنماط واسعة النطاق. وبسبب حجم مجموعة البيانات، وتنوع المتحدثين، والطبيعة المستمرة لتصنيفات المشاعر، تُظهر مصفوفات الارتباك الخاصة بـ CMU-MOSEI معدل تصنيف خاطئ إجمالي أعلى. كما تُظهر الطرق المرجعية درجة كبيرة من الارتباك بين فئات العواطف المختلفة. يوضح الشكل 8A–E مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI باستخدام طرق مرجعية مختلفة.

وقت التدريب لكل حقبة

تظهر المقايضات الحسابية لتقنيات دمج الوسائط المتعددة المتقدمة من خلال مقارنة وقت التدريب لكل حقبة. وبسبب استخدام مشفرات المحولات وآليات انتباه الرسوم البيانية، يتطلب النموذج المقترح وقت تدريب أطول قليلاً من طرق الدمج البسيطة، ولكن هذه الزيادة ليست غير مجدية. أظهر الإطار المقترح أداءً قوياً في مجموعات بيانات تحليل العواطف متعددة الوسائط المرجعية، ويظهر إمكانية الدمج في أنظمة التفاعل الذكية بين الإنسان والآلة. ومع ذلك، لم يتم تقييم مدى ملاءمة النشر في الوقت الفعلي في الدراسة الحالية، وهو ما يتطلب مزيداً من الاستقصاء من خلال تحليلات زمن الاستجابة، ومعدل الإنتاجية، والذاكرة، والنشر. ومن الملاحظ أن الاستقرار المحسن في التقارب والأداء المتفوق في التنبؤ والقابلية للتفسير يجعل التكلفة الحسابية الإضافية تستحق العناء. يوضح الشكل 9 نتيجة وقت التدريب لكل حقبة للطريقة المقترحة.

دراسة الاستئصال

لتحديد تأثير كل عنصر هام في الإطار المقترح، مثل وحدة التعيين المرئي، والدمج عبر الوسائط القائم على الرسم البياني، وتمثيل العاطفة المفكك، تم إجراء دراسة استئصال (ablation study). ولفهم هذا التأثير، تم استبعاد كل عنصر على حدة. ووفقاً للنتائج التجريبية، فإن استراتيجية دمج الرسم البياني تعزز نمذجة التبعية عبر الوسائط، كما أن مساهمة تمثيل العاطفة المفكك هي الأكثر أهمية لاستقرار الأداء. وقد تم التحقق من الدور المساعد لوحدة التعيين المرئي من خلال التأثير الطفيف الذي أحدثه حذفها على الأداء. تظهر نتائج دراسة الاستئصال تحت نفس ظروف التدريب والتقييم في الجدول 5. وقد لوحظ أكبر تدهور في الأداء بعد إزالة وحدة الانتباه عبر الوسائط القائمة على الرسم البياني، حيث انخفضت الدقة من 81.72% إلى 77.88% وانخفض مقياس F1-score من 0.823 إلى 0.776. وهذا يؤكد أهمية نمذجة التفاعلات المعقدة بين الوسائط. كما ثبت دور وحدة تعلم التمثيل المفكك في تعلم تمثيلات قوية خاصة بالعاطفة، حيث أدى حذفها إلى خفض الدقة بمقدار 2.78 نقطة مئوية ومقياس F1-score بمقدار 0.032. أما الميزة الرئيسية لوحدة التعيين المرئي فهي القابلية للتفسير وليس دقة التصنيف، وهو ما يتضح من الانخفاض الطفيف نسبياً في أداء التنبؤ عند إزالتها. وقد سجل تكوين الدمج الأساسي (Basic Fusion) أسوأ أداء، مما يثبت أن تحقيق أفضل أداء للتعرف على العواطف متعدد الوسائط يتطلب التأثير المشترك لجميع الوحدات المقترحة.

توفّر البيانات:

مجموعات البيانات المستخدمة في هذه الدراسة هي مجموعات بيانات مرجعية متاحة للعموم. تم توفير مجموعة بيانات CMU-MOSEI من قبل Carnegie Mellon University Multimodal SDK وهي موصفة في Zadeh et al. (2018) (https://doi.org/10.18653/v1/P18-1208)، ويمكن الوصول إليها عبر https://multicomp.cs.cmu.edu/multimodal-language-analysis-in-the-wild-cmu-mosei-dataset-and-interpretable-dynamic-fusion-graph/. أما مجموعة بيانات CH-SIMS فقد وُصفت في Yu et al. (2020) (https://doi.org/10.18653/v1/2020.acl-main.343) وهي متاحة للعموم من خلال الموارد التي وفرها المؤلفون، بما في ذلك https://github.com/thuiar/MMSA. أُجريت جميع التجارب باستخدام النسخ الرسمية من مجموعات البيانات هذه. وتتوفر البيانات الخام المستخرجة، وملفات البيانات المعالجة، ومخرجات المعالجة المسبقة، وتقسيمات التدريب/التحقق/الاختبار، وتمثيلات الميزات المشتقة، وتفاصيل التنفيذ الداعمة لنتائج هذه الدراسة للعموم في مستودع Zenodo على الرابط https://doi.org/10.5281/zenodo.21124921.

الشكل 1: مخطط تخطيطي لإطار عمل رسم الخرائط المرئية لميزات العواطف متعددة الأنماط المقترح. توضيح مفاهيمي للهيكل العام، يوضح استخراج الميزات متعددة الأنماط، وتعلم التمثيل المفكك، ودمج الانتباه عبر الأنماط القائم على الرسم البياني، ومكونات رسم الخرائط المرئية لتحليل العواطف متعدد الأنماط القابل للتفسير.. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 2: مخطط تدفق بياني للمسار الحسابي المقترح.
تمثيل مفاهيمي لمسار المعالجة المتكامل، بما يشمل مراحل الحصول على مجموعة البيانات، والمعالجة المسبقة، واستخراج الميزات الخاصة بكل نمط، والدمج متعدد الأنماط، والتصور، ومراحل التنبؤ بالعواطف يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 3: مقارنة لأداء مقياس F1-score على مجموعة بيانات CH-SIMS. قيم متوسط F1-score التي تم الحصول عليها من خمس تجارب مستقلة (n = 5) باستخدام تهيئات مختلفة للبذور العشوائية. تمثل أشرطة الخطأ ±± انحرافاً معيارياً واحداً (SD). وتشير قيم F1-score الأعلى إلى أداء أفضل في تصنيف العواطف. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 4: مقارنة لأداء مقياس F1-score على مجموعة بيانات CMU-MOSEI. قيم متوسط F1-score المستمدة من خمس تجارب مستقلة (n = 5) باستخدام تهيئات بذور عشوائية مختلفة. تمثل أشرطة الخطأ ±± انحرافاً معيارياً واحداً (SD)، وتظهر قيم mean ±± SD المقابلة فوق كل نقطة بيانات. تشير قيم F1-score الأعلى إلى أداء أفضل في تصنيف العواطف. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 5: مقارنة الدقة على مجموعتي بيانات CH-SIMS و CMU-MOSEI. متوسط درجات الدقة التي حققتها نماذج LSTM و TFN و LMF و Adaptive-Graph والإطار المقترح عبر خمس عمليات تشغيل تجريبية مستقلة (n = 5). تمثل أشرطة الخطأ ±± انحرافًا معياريًا واحدًا (SD) تم حسابه من التشغيلات المتكررة بتهيئات عشوائية مختلفة. يحقق الإطار المقترح أعلى دقة في كلتا مجموعتي البيانات، مما يظهر تمييزًا محسّنًا لفئات العواطف من خلال التعلم الفعال للميزات متعددة الوسائط والدمج عبر الوسائط القائم على الرسوم البيانية. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 6: مقارنة الاستدعاء (Recall) على مجموعتي بيانات CH-SIMS وCMU-MOSEI. متوسط درجات الاستدعاء التي حققتها نماذج LSTM وTFN وLMF وAdaptive-Graph والإطار المقترح عبر خمس تجارب مستقلة (n = 5). تشير أشرطة الخطأ إلى ±± انحراف معياري واحد (SD) مشتق من التجارب المكررة. يحقق الإطار المقترح باستمرار أعلى استدعاء في كلتا مجموعتي البيانات، مما يشير إلى قدرة فائقة في التقاط المعلومات العاطفية متعددة الوسائط وتقليل التنبؤات السلبية الخاطئة. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 7: مصفوفة الارتباك لمجموعة بيانات CH-SIMS مع طرق أساسية مختلفة. تمثل الصفوف فئات العواطف الحقيقية، وتمثل الأعمدة الفئات المتوقعة. تمثل قيم الخلايا النسبة المئوية للعينات التي تمت معايرتها بالنسبة لكل فئة حقيقية. تم حساب مصفوفة الارتباك باستخدام جزء الاختبار المستبعد من CH-SIMS. تشير النسب المئوية القطرية الأعلى إلى دقة تعرّف أفضل لفئة العاطفة المقابلة. مصفوفات الارتباك لـ (A) LSTM بالدمج المبكر، و(B) TFN، و(C) LMF، و(D) الرسم البياني التكيفي، و(E) الطريقة المقترحة على مجموعة بيانات CH-SIMS. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 8: مصفوفة الارتباك لمجموعة بيانات CMU-MOSEI مع طرق أساسية متنوعة. تمثل الصفوف تسميات العواطف الفعلية وتمثل الأعمدة التسميات المتوقعة. القيم موضحة كنسب مئوية معيرة للفئات على مجموعة اختبار CMU-MOSEI. توضح المصفوفة كلاً من العينات المصنفة بشكل صحيح (المدخلات القطرية) والارتباك بين فئات العواطف (المدخلات غير القطرية). مصفوفة الارتباك في CMU-MOSEI (A) نموذج LSTM بالدمج المبكر، (B) نموذج TFN، (C) نموذج LMF، (D) الرسم البياني التكيفي (Adaptive Graph)، و (E) الطريقة المقترحة في مجموعة بيانات CMU-MOSEI. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

الشكل 9. مقارنة لوقت التدريب لكل حقبة (epoch) في مجموعات بيانات المشاعر متعددة الوسائط المرجعية.
متوسط وقت التدريب لكل حقبة تم الحصول عليه من خمس تجارب مستقلة (n = 5) لمجموعات بيانات CH-SIMS و CMU-MOSEI تحت إعدادات مادية وبرمجية متطابقة. تمثل أشرطة الخطأ ±± انحرافًا معياريًا واحدًا (SD) تم حسابه من التجارب المكررة باستخدام تهيئات بذور عشوائية مختلفة. تشير القيم الأقل إلى كفاءة حاسوبية أعلى، بينما تشير أوقات التدريب المستقرة عبر التجارب إلى تحسن في إمكانية التكرار واتساق التدريب. يرجى النقر هنا لعرض نسخة أكبر من هذا الشكل.

مجموعة البيانات	الأساليب العلاجية	عدد العينات	اللغة	تسميات العاطفة/المشاعر
مطيافية الكتلة بـأيونات ثانوية مجهرية ذات دقة عالية (CH-SIMS)34	فيديو، صوت، نص	٢,٢٨١ مقطع فيديو	الصينية	تسميات المشاعر متعددة الأنماط وأحادية النمط (سلبية، محايدة، إيجابية)
CMU-MOSEI35	فيديو، صوت، نص	~23,453 مقطعاً مشروحاً	الإنجليزية	تسميات كثافة المشاعر والعواطف (مستمرة وفئوية)

الجدول 1: وصف مجموعة البيانات. ملخص لمجموعات البيانات المستخدمة في هذه الدراسة، والأنماط، وعدد العينات، واللغة، وتصنيفات العاطفة/المشاعر لمجموعات بيانات CH-SIMS و CMU-MOSEI.

المكون	المواصفات
إطار عمل البرمجة	Python مع PyTorch
مستخرج السمات المرئية	Vision Transformer (ViT)
مستخرج السمات الصوتية	Wav2Vec 2.0
مستخرج السمات النصية	RoBERTa
استراتيجية الدمج	شبكة انتباه عبر الوسائط قائمة على الرسوم البيانية
بُعد السمات	768 لكل وسيط
محسن التدريب	Adam
معدل التعلم	1.00E-04
حجم الدفعة	16
الأجهزة	وحدة معالجة رسومات NVIDIA (على سبيل المثال، سلسلة RTX)
مجموعات بيانات التقييم	CH-SIMS, CMU-MOSEI
البعد الكامن	2.56E+02
بُعد التضمين	768
دالة التنشيط	ReLU
المحسن	Adam
معدل التعلم	1.00E-04
حجم الدفعة	32
عدد الدورات (Epochs)	100
التوقف المبكر	مفعّل
دالة الخسارة	التصنيف + إعادة البناء + الاتساق

الجدول 2: بيئة المحاكاة. إعداد التجربة وتفاصيل التنفيذ لبيئة المحاكاة، مثل تفاصيل النموذج، والميزات، والمُحسِّن، والأجهزة المستخدمة.

الطريقة	دقة CH-SIMS (%)	دقة CMU-MOSEI (%)
LSTM (دمج مبكر/متأخر)	72.84 ± 1.12	70.35 ± 1.26
TFN	74.91 ± 0.98	72.68 ± 1.10
LMF	76.23 ± 0.85	74.12 ± 0.94
Adaptive-Graph	78.46 ± 0.73	76.89 ± 0.81
الطريقة المقترحة	81.72 ± 0.61	79.94 ± 0.69

الجدول 3: تقييم دقة الطريقة المقترحة مقارنة بالتقنيات المرجعية على مجموعتي بيانات CH-SIMS وCMU-MOSEI. يتم عرض النتائج كـ متوسط ±± انحراف معياري تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام تهيئات مختلفة للبذور العشوائية. وقد تم تقييم جميع الطرق باستخدام تقسيمات متطابقة للتدريب والتحقق والاختبار لكل مجموعة بيانات لضمان إجراء مقارنة عادلة.

الطريقة	CH-SIMS MAE ↓	CMU-MOSEI MAE ↓
LSTM (دمج مبكر/متأخر)	0.412 ± 0.014	0.465 ± 0.016
TFN	0.387 ± 0.012	0.439 ± 0.014
LMF	0.361 ± 0.010	0.412 ± 0.012
Adaptive-Graph	0.334 ± 0.009	0.379 ± 0.010
الطريقة المقترحة	0.298 ± 0.007	0.341 ± 0.008

الجدول 4: نتيجة متوسط الخطأ المطلق. تم تقديم النتائج في شكل المتوسط ±± الانحراف المعياري الذي تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام تهيئات عشوائية مختلفة للبذور. تم تقييم جميع الطرق باستخدام تقسيمات متطابقة للتدريب والتحقق والاختبار لمجموعات البيانات الخاصة بها لضمان مقارنة عادلة. مقارنة لمتوسط الخطأ المطلق (MAE) للتنبؤ المستمر بكثافة العاطفة باستخدام الإطار المقترح والأساليب المرجعية على كلتا مجموعتي البيانات.

متغير النموذج	الدقة (%)	مقياس F1 (F1-score)
النموذج الكامل	81.72 ± 0.61	0.823 ± 0.008
بدون فك التشابك	78.94 ± 0.74	0.791 ± 0.010
بدون دمج الرسوم البيانية	77.88 ± 0.81	0.776 ± 0.011
بدون رسم خرائط بصري	80.11 ± 0.66	0.807 ± 0.009
الاندماج الأساسي	74.91 ± 0.98	0.742 ± 0.013

الجدول 5: نتيجة دراسة الاستئصال باستخدام الطرق المرجعية. تم تسجيل النتائج كـ متوسط ±± انحراف معياري تم الحصول عليه من خمس تجارب مستقلة (n = 5) باستخدام تهيئات مختلفة للبذور العشوائية. تم تقييم جميع الطرق باستخدام تقسيمات متطابقة للتدريب والتحقق والاختبار لكل مجموعة بيانات لضمان مقارنة عادلة. مقارنة الأداء بين متغيرات النموذج، مما يشير إلى فعالية التعلم من التمثيلات المفككة، والدمج القائم على الرسوم البيانية، ووحدة الخرائط المرئية.

الملف التكميلي 1: الخوارزمية 1 والخوارزمية 2.يرجى النقر هنا لتحميل هذا الملف.

المناقشة

تظهر النتائج التجريبية أنه، عبر مجموعات بيانات CH-SIMS وCMU-MOSEI، يتفوق إطار الربط المرئي المقترح لخصائص العواطف متعددة الوسائط على تقنيات التعرف على العواطف متعددة الوسائط الحالية. ومقارنة بنماذج الدمج المبكر والمتأخر، مثل EF-LSTM وTFN، تحقق التقنية المقترحة دقة أعلى ودرجات F1 Score أعلى، مما يثبت متانتها في التعامل مع المعلومات العاطفية المتنوعة. ويمكن إرجاع التحسن في هذه الطريقة إلى تمثيل العواطف المفكك، والذي يعمل على كبح الضوضاء الخاصة بكل وسيط ويضمن اتساق العواطف عبر الوسائط المرئية والصوتية والنصية³⁶.

مؤخرًا، أظهرت النماذج متعددة الوسائط القائمة على المحولات (transformer-based)، مثل Adaptive Multimodal Transformers³⁷ و MIAR³⁸، نتائج مبهرة في نمذجة التبعيات عبر الوسائط. ومع ذلك، تركز هذه النماذج بشكل أساسي على التنبؤ وتفتقر إلى الآليات التي تدعم القابلية للتفسير على مستوى الميزات. وفي المقابل، يجمع النظام المقترح بين الانتباه عبر الوسائط القائم على الرسوم البيانية ووحدة رسم خرائط بصرية، مما يسمح بالتحليل الشفاف للتفاعلات العاطفية وتفاعلات الوسائط. ويعد هذا جانبًا محوريًا مفقودًا حاليًا في الأدبيات العلمية، حيث يتم التعامل مع الاستدلال العاطفي كعملية "صندوق أسود".

أظهر الإطار المقترح أداءً متسقاً عبر مجموعات بيانات القياس المرجعية CH-SIMS و CMU-MOSEI. وبينما قد يكون لهذا الإطار تطبيقات محتملة في التفاعل الذكي بين الإنسان والآلة، ومراقبة الرعاية الصحية، وبيئات التعلم التكيفية، والأنظمة الأخرى المدركة للعواطف، إلا أن الدراسة الحالية قيمت الطريقة فقط في ظل ظروف قياس مرجعية مضبوطة. لم يتم إجراء أي نشر في العالم الحقيقي، أو تقييم لواجهة المستخدم، أو دراسة لسهولة الاستخدام، أو تقييم للمشاركين البشريين. وبناءً على ذلك، لا تزال الفعالية العملية للإطار في البيئات التشغيلية بحاجة إلى بحث. سيركز العمل المستقبلي على التقييمات الموجهة للنشر، والدراسات المتمحورة حول المستخدم، وتحليل زمن الاستجابة، وتقييم استهلاك الذاكرة، وأداء التفاعل في الوقت الفعلي.

علاوة على ذلك، فإن تحسينات الأداء عبر مختلف مجموعات البيانات المتنوعة ثقافيًا ولغويًا تثبت صحة الإطار المقترح. وبخلاف الأعمال السابقة التي تم التحقق من صحتها باستخدام مجموعة بيانات واحدة أو سيناريو تفاعلي محدد، يُظهر الإطار المقترح أداءً قويًا عبر مختلف اللغات والمتحدثين والتعبيرات العاطفية. وبناءً على ذلك، يعد الإطار المقترح مناسبًا جدًا لأنظمة التفاعل الذكية العملية التي تتطلب تعرّفًا دقيقًا على العواطف واتخاذ قرارات قابلة للتفسير.

تم تقييم قابلية تفسير الإطار المقترح من خلال تحليل قائم على التصور للتمثيلات متعددة الوسائط التي تم تعلمها. وبشكل محدد، تم فحص تضمينات المشاعر الكامنة، وخرائط الانتباه عبر الوسائط، ورسوم التفاعل البيانية بين الوسائط، ومسارات المشاعر الزمنية لتقديم رؤى حول عملية اتخاذ القرار في النموذج ومساهمات كل وسيلة. يهدف نموذج التخطيط البصري إلى تعزيز الشفافية من خلال تمكين مراقبة التفاعلات على مستوى السمات والديناميكيات العاطفية. ومع ذلك، لم يتم تضمين مقاييس قابلية التفسير الرسمية، أو تقييمات دقة الانتباه، أو الدراسات المستخدمة في العمل الحالي. وبناءً على ذلك، يجب تفسير فوائد قابلية التفسير المذكورة على أنها أدلة قائمة على التصور وليست مقاييس قابلية شرح تم التحقق منها كمياً.

من وجهة نظر نظرية، تقدم هذه الدراسة المساهمات التالية في مجال الحوسبة العاطفية متعددة الوسائط: فهي تقترح طريقة منهجية لنمذجة العواطف تفرق بوضوح بين التمثيلات الخاصة بالعاطفة والتمثيلات الخاصة بالوسائط. ومن خلال ضمان الاتساق العاطفي عبر الوسائط المختلفة في فضاء كامن مشترك، يطور الإطار المقترح نظرية تعلم التمثيلات في الأنظمة متعددة الوسائط. كما أن دمج آليات الانتباه القائمة على الرسوم البيانية يساهم في صياغة التبعيات بين الوسائط المختلفة في التعبير عن العواطف بشكل أكثر رسمية.

من منظور عملي، يُعد الإطار المقترح مفيداً جداً لتصميم التفاعل الذكي وواجهات المستخدم المدركة للعواطف. تتيح وحدة التخطيط المرئي في الإطار المقترح لمصممي الأنظمة فهم تأثير الوسائط المتعددة المختلفة على التنبؤ بالعواطف، وهو أمر بالغ الأهمية بالنسبة لمصممي الأنظمة. كما أن الإطار المقترح مفيد جداً في تطبيقات مثل الوكلاء الحواريين العاطفيين، وأنظمة التعلم التكيفية، وواجهات مراقبة الرعاية الصحية، ومنصات تقييم تجربة المستخدم.

ومع ذلك، فإن الإطار المقترح يعاني من بعض القصور؛ حيث يضيف استخدام آليات انتباه الرسوم البيانية ومشفّرات المحوّلات (transformer encoders) تعقيداً قد يشكل عائقاً للأجهزة ذات الإمكانات المحدودة. علاوة على ذلك، تتجاهل الدراسة الحالية الإشارات الفسيولوجية الأخرى، مثل تخطيط كهربية الدماغ (EEG) وتتبع حركة العين، لصالح التركيز على الأنماط المرئية والصوتية والنصية. ولم يتم تقييم الكفاءة الحسابية للإطار المقترح للنشر في الوقت الفعلي بشكل محدد، رغم تحقيقه لأداء تنبؤي تنافسي وقدرة محسنة على التصور. وسوف تبحث الأبحاث المستقبلية في أداء النشر في سياقات التفاعل الذكي في العالم الحقيقي، وتأخير الاستنتاج، ومعدل نقل البيانات، واستهلاك الذاكرة، وتقنيات ضغط النماذج. ولتحسين دقة نمذجة العواطف واستجابة التفاعل بشكل أكبر، ستركز الأبحاث المستقبلية على تطوير نماذج خفيفة الوزن، وتقنيات التحسين في الوقت الفعلي، ودمج أنماط إضافية. كما لم يتم تقييم أداء النشر في الوقت الفعلي، ويؤدي إدراج مشفّرات المحوّلات وطرق الانتباه القائمة على الرسوم البيانية إلى زيادة التعقيد الحسابي. وقد تم استخدام مجموعتي البيانات المرجعين CH-SIMS وCMU-MOSEI فقط للتحقق من صحة المنهجية، مما قد يؤدي إلى تحيزات خاصة بمجموعة البيانات ويقيد إمكانية التعميم على مجالات ولغات ومجموعات مستخدمين أخرى. بالإضافة إلى ذلك، لا تتضمن الدراسة الحالية إشارات فسيولوجية مثل بيانات تخطيط كهربية الدماغ أو تتبع حركة العين، بل تركز بدلاً من ذلك على الأنماط المرئية والصوتية والنصية. وبالرغم من أن التوصيفات الشاملة للتنفيذ وبيئة المحاكاة قد عززت من قابلية التكرار، إلا أن الكود المصدري والنماذج المدربة مسبقاً غير متاحة للعامة حالياً.

يتم استخدام إطار عمل جديد للتخطيط البصري لتعلم سمات العواطف متعددة الوسائط لتصميم التفاعل الذكي في هذا العمل. تدمج الطريقة المقترحة تعلم التمثيل القائم على المحولات (transformer-based) من الطرف إلى الطرف، ونمذجة العواطف المفككة، والانتباه عبر الوسائط القائم على الرسوم البيانية لتحقيق دقة تنبؤية عالية وقابلية للتفسير. وتظهر التجارب على مجموعتي بيانات CH-SIMS وCMU-MOSEI أن إطار العمل المقترح يتفوق على أحدث نماذج التعرف على العواطف متعددة الوسائط من حيث الدقة ومقياس F1-score. والأهم من ذلك، أن حل التخطيط البصري المقترح يسد الفجوة بين التعرف على العواطف واستراتيجية التفاعل، ويقدم اتجاهاً جديداً لتصميم أنظمة الحوسبة العاطفية متعددة الوسائط القابلة للتفسير والواعية بالتفاعل.

لتسهيل تصميم تفاعلي ذكي وقابل للتفسير، قدمت هذه الدراسة إطار عمل جديداً للرسم الخرائطي المرئي لتعلم سمات العواطف متعددة الوسائط. يدمج النظام المقترح بنجاح عملية اكتشاف العواطف وقابلية التفسير ضمن بنية واحدة من خلال الجمع بين استخراج السمات متعددة الوسائط القائمة على المحولات (transformer)، وتعلم تمثيل العواطف المفككة، ودمج الانتباه عبر الوسائط القائم على الرسوم البيانية، وطرق الرسم الخرائطي المرئي. وبالإضافة إلى تقديم تمثيلات مرئية واضحة لمساهمات الوسائط، والتفاعلات عبر الوسائط، وديناميكيات العواطف الزمنية، أظهر التقييم التجريبي على مجموعتي البيانات المرجعيين CH-SIMS و CMU-MOSEI أداءً محسناً مقارنة بطرق الأساس الممثلة عبر عدة مقاييس، بما في ذلك الدقة (Accuracy)، والضبط (Precision)، والاسترجاع (Recall)، ومقياس F1-score، ومتوسط الخطأ المطلق (MAE). ومع ذلك، فإن هذه الدراسة تقتصر على التقييمات بناءً على مجموعتي بيانات مرجعيتين، ولا تشمل دراسات النشر في العالم الحقيقي، أو التقييمات المرتكزة على المستخدم، أو تقييمات القابلية للتفسير الكمية، ودمج الوسائط الفسيولوجية. علاوة على ذلك، قد تواجه البيئات ذات الموارد المحدودة صعوبات بسبب التكلفة الحسابية لمشفرات المحولات وعمليات الانتباه القائمة على الرسوم البيانية. وبينما سيركز العمل المستقبلي على التحقق الموسع عبر مجموعات بيانات متنوعة، ودمج وسائط إضافية، ودراسات سهولة الاستخدام، وإصدار موارد قابلة للتكرار، والتحسين لسيناريوهات النشر في الوقت الفعلي، فإن إطار العمل المقترح يظهر بشكل عام إمكانات تحليل العواطف متعدد الوسائط القابل للتفسير في تطبيقات الحوسبة العاطفية والتفاعل الذكي.

المواد

قائمة المواد المستخدمة في هذه المقالة

الاسم	الشركة	رقم فهرسي	التعليقات
Adam	مكتبة مُحسِّنات PyTorch	https://pytorch-optimizers.readthedocs.io/en/latest/ (معدل التعلم = 1 × 10-4)	تحسين المعاملات أثناء تدريب النموذج
CH-SIMS	مستودع مجموعة البيانات الأصلية	أحدث إصدار عام	مجموعة بيانات مرجعية لتحليل المشاعر/العواطف متعدد الوسائط باللغة الصينية
CMU-MOSEI	مستودع CMU Multimodal SDK	https://github.com/CMU-MultiComp-Lab/CMU-MultimodalSDK (أحدث إصدار عام)	مجموعة بيانات مرجعية للتعرف على المشاعر والعواطف متعددة الوسائط
Disentangled Emotion Encoder	تنفيذ مخصص	https://pytorch-geometric.readthedocs.io/en/latest/(بنية المشفر المزدوج)	فصل التمثيلات الكامنة الخاصة بالعاطفة وتلك الخاصة بالوسائط
Graph Attention Network (GAT)	PyTorch Geometric	GAT متعدد الرؤوس (https://pytorch-geometric.readthedocs.io/en/latest/)	نمذجة العلاقات العاطفية عبر الوسائط ودمج الميزات التكيفي
Graph-Based Cross-Modal Attention Layer	تنفيذ مخصص	دمج الانتباه متعدد الرؤوس	تعلم الاعتمادات العاطفية دقيقة التفاصيل بين الوسائط
Matplotlib	مشروع Matplotlib	3.7+	إنشاء المخططات والتحليلات المرئية
NetworkX	مشروع NetworkX	3.0+	بناء وتصور رسوم التفاعل عبر الوسائط
NVIDIA GPU	شركة NVIDIA	وحدة معالجة رسومية تدعم CUDA	تسريع تدريب المحولات والشبكات العصبية الرسومية
Principal Component Analysis (PCA)	Scikit-learn	sklearn.decomposition.PCA	الاختزال الأولي لتضمينات العواطف عالية الأبعاد
Python	مؤسسة برمجيات Python	3.8+	لغة البرمجة الأساسية لتنفيذ إطار تحليل العواطف متعدد الوسائط
PyTorch	مؤسسة PyTorch	2.0+	تطوير وتدريب وتحسين الشبكات العصبية العميقة
RoBERTa	Hugging Face Transformers	https://huggingface.co/docs/transformers/index (roberta-base، تضمينات ببعد 768)	استخراج التمثيلات العاطفية اللغوية والدلالية السياقية
Seaborn	مشروع Seaborn	0.12+	إنشاء الخرائط الحرارية للانتباه والتصورات الإحصائية
t-distributed Stochastic Neighbor Embedding (t-SNE)	Scikit-learn	scikit-learn.org (الحيرة = 30، التكرارات = 1000)	تصور عناقيد العواطف الكامنة ومساراتها
Ubuntu Linux	Canonical Ubuntu	20.04 LTS أو إصدار أحدث	بيئة تنفيذ التجارب
Vision Transformer (ViT-Base)	Google Research Vision Transformer	ViT-Base/16، تضمينات ببعد 768	استخراج التمثيلات المرئية المدركة للعواطف من إطارات الفيديو
Wav2Vec 2.0	Meta AI Research	النموذج الأساسي، تضمينات ببعد 768	استخراج ميزات العواطف الصوتية والكلامية السياقية