مقالة مراجعة

التواصل السلس متعدد الوسائط بين الإنسان والروبوت: تقنيات التكامل في التفاعل بين الإنسان والحاسوب

DOI:

10.3791/70218

⸱

يونيو 9, 2026

 , 
1Automation Engineering Department, Meizhouwan Vocational Technology College, 2School of Electrical and Electronic Engineering, Universiti Sains Malaysia

في هذه المقالة

ملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تجمع هذه المراجعة بين التطورات الحديثة في التعلم العميق، والاستشعار متعدد الوسائل، واستراتيجيات التكامل التي تمكن من التواصل السلس والتكيفي والمتمحور حول الإنسان بين البشر والروبوتات.

الملخص

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

أصبح التواصل متعدد الوسائط السلس بين الإنسان والروبوت أمرا أساسيا مع انتقال الروبوتات الاجتماعية والمساعدة والتعليمية إلى بيئات يومية مثل المنازل والمرافق الصحية والفصول الدراسية، حيث تحتاج إلى دمج الكلام، والإشارات، والنظرات، وتعبيرات الوجه، والإشارات اللمسية بدقة عالية، وتأخير منخفض، ومتانة واقعية. تفحص هذه المراجعة بشكل منهجي كيف تحقق التقنيات الحالية تفاعلا متعدد الوسائط متبادلا في الوقت الحقيقي بين الإنسان والروبوت (HRI)، مع التركيز على استراتيجيات الاندماج، وبنى الأنظمة، والتطبيقات في مجالات محددة. بحثنا في مجموعة Web of Science الأساسية للدراسات التجريبية باللغة الإنجليزية من 2015 إلى 2025، واخترنا 148 ورقة بحثية تتناول التكامل التواصلي. تشمل أهم الرؤى تحولا واضحا نحو الاندماج الهجين والقائم على الانتباه منذ عام 2022 (حوالي 43٪ من الأساليب)، والتي تتعامل بشكل أفضل مع عدم التزامن الزمني والتفاعلات المتجسدة مقارنة بالطرق السابقة؛ عدم الاتساق الواسع في مقاييس التقييم الذي يعيق المقارنات بين الدراسات؛ وفجوة مستمرة بين الأداء القوي للمختبر وضعف المتانة الواقعية تحت الضوضاء أو الإخفاء أو تغير المستخدم. تشمل التحديات الرئيسية المعالجة في الوقت الحقيقي، والمحاذاة الدلالية، وكفاءة البيانات، ومتانة النشر، والتكامل غير المستكشف للإشارات اللمسية مع التأثير. بالنظر إلى المستقبل، تقترح المراجعة إعطاء الأولوية لسياسات الاندماج التكيفي، ومعايير موحدة للمزامنة والطلاقة، والتعلم المستمر لتمكين التكيف المخصص للمستخدم. في النهاية، يهدف إلى توجيه تطوير عوامل روبوتية أكثر تركيزا على الإنسان يمكنها التفاعل بشكل تعاوني وذو معنى ومقبول اجتماعيا في الحياة اليومية.

المقدمة

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تطورت الروبوتات من أدوات صناعية في بيئات منظمة إلى عوامل متأصلة اجتماعيا في المنازل والمستشفيات والفصول الدراسية. الآن يساعدون في التعليم والعلاج والرفقة، مما يعكس تحولا من الأتمتة الموجهة نحو التفاعل التكيفي المرتكز على المستخدم. في صميم هذا الانتقال يكمن التواصل متعدد الوسائط، مما يمكن الروبوتات من إدراك والاستجابة للإشارات البشرية—الكلام، النظرة، الإيماءات، تعابير الوجه، واللمس—بدقة زمنية ضرورية للتبادل الطبيعي في البيئات الديناميكية. يتماشى هذا التركيز على التنسيق والاستجابة مع الاهتمامات المركزية في التفاعل بين الإنسان والحاسوب وعلوم الإدراك. في هذه المراجعة، يشير التواصل متعدد الوسائط السلس إلى التفاعلات التي تبدو سلسة وبديهية للمستخدمين، وتتميز بأوقات استجابة أقل من الثانية (عادة أقل من 300 مللي ثانية)، وتأخيرات أو عدم تطابقات ملحوظة قليلة، وتكيف قوي مع التغيرات الواقعية. وهذا يميزه عن الأنظمة التقليدية المعتمدة على الأوامر أو أحادية الوضع، حيث تعطل أخطاء التوقيت أو فشل الأساليب أو الاستجابات الصلبة التدفق الطبيعي.

ضمن تفاعل الإنسان والروبوت (HRI)، يركز هذا الاستعراض على التواصل بين الإنسان والروبوت، والذي يعرف بأنه التبادل المتبادل في الوقت الحقيقي للإشارات متعددة الوسائط بين البشر والروبوتات. بينما يشمل HRI أيضا التخطيط والسيطرة والسلامة، يتعلق التواصل بتزامن الإدراك والفعل عبر القنوات الحسية. كانت الأنظمة المعتمدة على القيادة المبكرة تعطي الأولوية للكفاءة على الاشتباك، وغالبا ما تنتج سلوكا جامدا أو متأخرا. يتبع العمل المعاصر نماذج تكيفية وواعية للسياق تستوعب حالة المستخدم والمشاعر 1,2. يؤكد هذا التطور الحاجة إلى أطر تفاعل دقيقة وبديهية وشخصية.

كانت الروبوتات الاجتماعية والمساعدة في البداية تعتمد عادة على روتينات مكتوبة أو مدخلات ذات طريقة واحدة مثل الصوت أو اللمس، مما حد من المرونة3. غالبا ما أدى المنطق القائم على القواعد وبطء المعالجة إلى عدم تطابق التوقيت بين الإيماءات والكلام، أو إلى ضعف التكيف مع سلوك المستخدم. لمعالجة هذه القضايا، يستخدم الباحثون الاندماج منخفض التأخير، والتكامل الحسي متعدد الوسائط، والتعلم التكيفي للمستخدم 4,5. يمكن فهم هذه الاستراتيجيات من خلال ثلاثة مبادئ أساسية للتواصل معترف بها على نطاق واسع في HRI: التكامل (الأساليب تعوض بعضها البعض)، التكرار (التداخل يحسن المتانة)، والتآزر (التقارب يعزز الطبيعية).

أسفرت التطورات في الاستشعار والتعلم عن روبوتات اجتماعية متجاوبة تدمج المدخلات البصرية والسمعية واللمسية والفسيولوجية في الوقت الحقيقي 5,6. بدلا من السكربتات الثابتة، تتكيف هذه الأنظمة باستمرار مع إشارات المستخدم. تسمح واجهات البرمجة السهلة وطرق التعلم من خلال العرض التوضيحي للمعلمين والمعالجين بتخصيص السلوكيات للرعاية والتعليم، حيث تكون الدقة والاستجابة والقدرة على التكيف ضرورية.

يمكن تصنيف أنماط التواصل في مؤشر HRI الاجتماعي إلى أنماط متوازية، مكملة، وتفاعلية (الشكل 1). في التفاعل المتوازي، يتصرف البشر والروبوتات بشكل مستقل مع تبادل محدود جدا. التفاعل التكميلي يقدم محفزات منظمة أو دعم قائم على الأحداث. الوضع الأكثر تقدما وتفاعليا يتضمن التعديل ثنائي الاتجاه المستمر عبر قنوات مثل الكلام، والحركة، والنظرة7.

اختيار الأدبيات وتحليلها

منهجية المراجعة المنهجية: أجرينا بحثا منهائيا في الأدبيات في مجموعة Web of Science الأساسية، مستهدفا مقالات علمية محكمة ومواد كاملة من المؤتمرات من ناشرين كبار (IEEE، ACM، Springer، Elsevier، Wiley، Taylor & Francis). كان الاستعلام البولياني هو: (("تفاعل الإنسان والروبوت" أو HRI) و (متعدد الوسائط أو "دمج المستشعر" أو الإيماءة أو النظرة أو الكلام أو اللمس) و ("الوقت الحقيقي" أو "الكمون المنخفض" أو التكيف أو المتين)). كانت معايير الإدراج هي: منشورات باللغة الإنجليزية من يناير 2015 إلى 2025—وهي فترة تعكس التحول من أنظمة أحادية النمط القائمة على القواعد إلى هياكل التعلم العميق التي تركز على التفاعل منخفض الكمون والتكيف، والقوي—مع التركيز على تقنيات التكامل متعدد الوسائط لمؤشر HRI التواصلي والتحقق التجريبي (الكمي أو النوعي). استبعدنا الدراسات التي اقتصرت على التفاعل أحادي الطريقة، وتلك التي تناولت التحكم في الروبوتات دون نية تواصلية، والأعمال غير التجريبية (مثل النظرية البحتة أو المحاكاة فقط). أظهر البحث الأولي مجموعة كبيرة من المجموعات. بعد إزالة التكرارات، قمنا بفحص العناوين والملخصات مقابل معايير الإدراج، ثم أجرينا مراجعات نصية كاملة لتقييم الصلة والمساهمة في الدمج متعدد الوسائط الموثوق. وقد أسفرت هذه العملية متعددة المراحل، الملخصة في مخطط تدفق بأسلوب PRISMA (الشكل 2)، عن مجموعة نهائية من 148 ورقة بحثية تشكل الأساس التجريبي لهذه المراجعة.

نظرة عامة على الأدبيات المختارة: يوضح الشكل 3 اتجاهات النشر وتوزيع التخصصات، مع سيطرة علوم الحاسوب والأتمتة والروبوتات، إلى جانب مساهمات متزايدة من العلوم السلوكية وعلوم الأعصاب، مما يبرز المسار متعدد التخصصات لهذا المجال. قمنا بتجميع الأدبيات موضوعيا بناء على المساهمة الفنية في التكامل متعدد الوسائط (الجدول 1). شمل هذا التركيب الأساليب وطرق الاندماج، والتعامل مع التأخير، واستراتيجيات المتانة، والقدرة على التكيف، والمقاييس. استخدمت الدراسات من 2019 إلى 2021 بشكل رئيسي الاندماج المبكر أو المتأخر، وغالبا ما ركزت على الإيماءات والمدخلات اللمسية. منذ عام 2022، حظيت الهياكل الهجينة والمعتمدة على الانتباه بشعبية، خاصة في التفاعل العاطفي والمجسد. في هذا المجموعة، يمثل الاندماج الهجين حوالي 43٪ من الأساليب، والاندماج المبكر 29٪، والاندماج المتأخر 28٪ — وهو توزيع يشير إلى تحسن التحمل لعدم التزامن الزمني.

على الرغم من أن القدرة في الوقت الحقيقي تدعي عادة في الأدبيات الأوسع التي تم فحصها في البداية، إلا أن عددا محدودا فقط من الدراسات تفصل استراتيجيات التخفيف المحددة (مثل المعالجة المخزنة، النماذج التنبؤية، أو تحسين مستوى المستشعرات). عادة ما تعتمد المتانة على التصفية، أو التكرار، أو البدائل القائمة على القواعد، بينما يبقى التكيف التنبؤي نادرا. ممارسات التقييم غير متسقة، وتظل التقييمات الموحدة للالتزامن الزمني أو طلاقة التفاعل نادرة. تختلف المقاييس بشكل كبير بين الدراسات لدرجة أن المقارنات المباشرة غالبا ما تكون صعبة. الدقة، ودرجات F1، وأرقام الكمون شائعة، لكنها تنبع من مجموعات بيانات ومهام وظروف بيئية مختلفة؛ قليل من الأوراق تعتمد معايير مشتركة للمحاذاة الزمنية أو متانة الضوضاء. وبالتالي، غالبا ما يبالغ الأداء القوي في إعدادات المختبر النظيفة في تقدير ما يمكن أن تحققه الطرق خارج البيئات المحكمة. تطوير أطر تقييم متسقة — ربما تضمين اختبارات زمن استجابة موحدة تحت التغيرات الواقعية — سيجعل من الأسهل بكثير الحكم على الأساليب التي تطور المجال حقا.

لا تزال الفجوات الرئيسية في التكامل اللمسي-العاطفي (ست دراساتفقط 8,9,10,11,12,13 تعالج هذا) والتعديل الديناميكي للزمن تحت عدم اليقين الزمني الذي يقوده المستخدم. تظهر عدة توترات مثيرة للاهتمام من الأدبيات. غالبا ما يشاد بالاندماج الهجين لتعاملهمع الانحراف الزمني بشكل جيد، ومع ذلك تبقى السلوكيات التنبؤية أو التكيفية نادرة، مما يثير التساؤلات حول مدى سلاسة الأداء المزعوم في الوقت الحقيقي. وفي الوقت نفسه، فإن التقدم الملحوظ في التعرف على الرؤية والتأثير القائم على الكلام يتناقض بشكل واضح مع العمل البسيط الذي يدمج الإشارات اللمسية مع فهم المشاعر. الدقة العالية في التجارب المسيطر عليها تميل أيضا إلى التدهور في الظروف الواقعية، مما يبرز التحديات المستمرة في التعميم عبر البيئات والمستخدمين. يلخص الجدول 2 الاتجاهات المعمارية التمثيلية وأساليب التقييم، مع توجيه التحديات التي نوقشت في الأقسام التالية.

تقدم هذه المراجعة مساهمة مميزة في الأدبيات متعددة الوسائط حول مؤشر الموارد البشرية. توفر استطلاعات حديثة، مثل Zhao وآخرون 14، نظرة عامة عامة على اتخاذ القرار القائم على الإدراك، بينما يركز وانغ وآخرون على النقل البصري اللمسي الممكن. كلاهما يركز على الأطر العامة أو بروتوكولات الاتصال، مع مناقشة محدودة للمقايضة في الاندماج في الوقت الحقيقي، أو قابلية المقارنة بين المقاييس، أو تحديات النشر. وعلى النقيض من ذلك، نقدم تحليلا أكثر استهدافا: مقارنة استراتيجيات الاندماج تحت قيود محددة، ونقد التناقضات في مقاييس الدراسات المشتركة، وتسليط الضوء على الفجوات العملية — لا سيما الفجوة بين المختبر والميدان التي تجاهلتها الدراسات السابقة إلى حد كبير.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

مراجعة ومنظور

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

مع تحول الروبوتات إلى عناصر ثابتة في المنازل والفصول الدراسية وبيئات الرعاية الصحية، فإن التواصل الطبيعي والتكيف أمر بالغ الأهمية لنجاحها. ينظر إليهم بشكل متزايد ليس كأدوات بل كشركاء اجتماعيين، ويجب عليهم إدراك وتفسير والاستجابة للإشارات البشرية عبر الأنماط المختلفة. الأنظمة التي تلتقط نية المستخدم بدقة وتقدم الملاحظات في الوقت المناسب تعزز أداء المهام، والثقة، والراحة العاطفية—خاصة عند إشراك الأطفال أو كبار السن أو الأشخاص ذوي الإعاقة. يتطلب تحقيق ذلك تفاعلا مستمرا وبديهيا يتوافق بين استجابات الروبوتات والسلوك البشري المستمر بدلا من مقاطعته. تتطلب هذه الطلاقة مدخلات متعددة الوسائط — صوت، نظرة، إيماءة، تعبيرات وجه — مدمجة من خلال آليات تعكس التواصل البشري نفسه14,16.

قنوات الإدراك والتواصل
تظل الرؤية أساس التفاعل متعدد الوسائط بين الإنسان والروبوت. الإشارات البصرية مثل تعبيرات الوجه، النظرة، الوضعية، والإيماءات تدعم التعرف على النية، واستنتاج المشاعر، وتتبع التفاعل 17,18,19,20,21. غالبا ما فشلت الطرق اليدوية المبكرة التي تستخدم اكتشاف هار22 أو طرح الخلفية23 تحت تأثير الحجب أو تغييرات الإضاءة16,21. أنظمة التعلم العميق تهيمن الآن، مستخدمة شبكات CNN والنماذج المتكررة مع مدخلات متعددة الكاميرات. يوضح الشكل 4 خط أنابيب تتبع HI-ROS، الذي يقلل من خطأ الحركة بنسبة 27٪ في مراقبة الإيماءات في الوقت الحقيقي.

دمج إشارات النظرة والذراع والرأس يحسن التنبؤ بأفعال المستخدم17، بينما يعزز الاندماج الحسي والعمق الدقة24,25. تظهر تصاميم النظرة المتبادلة19 وتصاميم العين البيوميتية18 دور الإشارات الدقيقة في الثقة والتنسيق. يوضح الشكل 5 البنية من الرقم 26، حيث تلتقط وحدات تحكم الحركة المزدوجة من نوع Leap حركة اليد، مدمجة عبر LSTM-RNN لإجراء عملية جراحية قوية عن بعد. تعزز أنظمة الكاميرات المتعددة الحديثة، مثل Hi-ROS20 وRPF21,27، من متابعة الشخص في البيئات غير المنظمة. يوضح الشكل 6 دورة حياة ReID التكيفية التي تحافظ على التتبع تحت الإغلاق من خلال تحسين المصنفين المستمر. العمل التكميلي على التسمية النشطة28 وSLAMالدلالي 26 يحسن الوعي بالسياق، ويوسع الإدراك من التعرف على الأشياء إلى الفهم السلوكي.

توفر اللغة قناة تواصلية موازية. واجهت أنظمة الحوار المعتمدة على القواعد المبكرة صعوبة في الغموض، مما دفع إلى اعتماد النماذج القائمة على البيانات والمحول29. الاستجابة العاطفية والاجتماعية أصبحت الآن أساسية: الأنظمة متعددة الوسائط تتوافق مع إشارات الوجه والصوت للحوار التكيفي 2,30. التعلم المعزز يحسن التنسيق بين الإشارات العاطفية والصوتية5،31،32. نماذج اللغة الكبيرة مثل GPT-3و33 وChatGPT34 تتيح التفكير السياقي واتباع التعليمات عبر المهام35، 36، 37. تدعم دمجها مع نمذجة الرؤية والمكافأة 38,39,40,41,42,43,44 التفاعل الاجتماعي الواعي والعمومي.

الإدراك السمعي يكمل الرؤية واللغة. النبرة والنغمة والإيقاع تنقل النية عندما تكون الإشارات البصرية غير موثوقة. يحسن استخراج الميزات القائم على التعزيز التزامن بين الكلام والتعبير. تعزز مجموعات البيانات مثل AVA ActiveSpeaker45، AFFECT-HRI5، SAVEn-Vid46، HumorHRI47، وCHiME-5 متانة النماذج في البيئات الصاخبة والعاطفية. يطور Pan وآخرون مزامنة الكلام والشفاه للمشاهد متعددة المتحدثين، بينما يشكل الاندماج متعدد الوسائط مع المدخلات اللمسية أو الفسيولوجية السلوك التكيفي.

الاستشعار المجسد والفسيولوجي
الإدراك الحسي والفسيولوجي يعزز الوعي الاجتماعي والجسدي. القوة والضغط والإشارات الحيوية تمكن من استنتاج النية، والتوتر، والتفاعل. تولد محاكيات اللمس المعتمدة على الرؤية مثل TACTO4 وأجهزة رسم الخرائط العصبية مثل FOTS48 بيانات اتصال عالية الدقة بسرعة 300 إطار في الثانية، مما يدعم التحكم في زمن الاستجابة المنخفض. نماذج FOTS الإضاءة والتشوه عبر دالة الانعكاس المتعلمة R:

figure-protocol-1

وإسقاط الظلال:

figure-protocol-2

حيث يرمز Ms إلى هندسة الإسقاط. تم تحقيق أسطح لمسية عالية الدقة باستخدام الألواح المغناطيسيةالمرنة 49، ومصفوفات مستشعرات EtherCAT50، ومواد تأثير هول الإضافية51. أنظمة مثل DiGeTac13 توحد إشارات الإيماءات واللمس والمسافة عبر خطوط أنابيب معيارية. يتم نمذجة تصفية بيانات مسافة وقت الطيران على النحو التالي:

figure-protocol-3

تليها تصنيف الإيماءات العصبية وتحديد موقع الاتصال المعتمد على CNN. يتم فرض التحكم في السلامة من خلال زيادة سرعة الروبوت مع الفصل d. تمكن هذه الوحدات من تعاون قوي بين الإنسان والروبوت. تدمج المحولات متعددة الوسائط أيضا الإشارات اللمسية والبصرية والنصية. يقوم محول TVT6 بمحاذاة التمثيلات الخاصة بالنمط (qi، ki، vi) إلى مصفوفات مشتركة:

figure-protocol-4

تمكين التركيز الذاتي عبر الوسائط لفهم موحد (الشكل 7).

الإحساس الفسيولوجي يعزز التوافق العاطفي. يقوم هاينيش وآخرون بمزامنة الإشارات الفسيولوجية والسمعية البصرية لنمذجة التأثير. أنظمة الميكروغرافيا52,53 تفك الإشارات والكلام الصامت، بينما يحسن ميتاسونيك54 الإدراك المكاني من خلال تحديد الموقع الصوتي. تدعم مجموعات البيانات واسعة النطاق مثل AgiBot World Colosseo55 التدريب متعدد الوسائط مع أكثر من مليون مسار لمسي-بصري. معا، تمثل هذه التطورات انتقالا من الإدراك الأحادي إلى فهم متكامل للحالات الاجتماعية والجسدية والداخلية. تمكن دقة الاستشعار المحسنة الروبوتات ليس فقط من قياس التلامس، بل أيضا من تفسير التردد أو التوتر أو الانزعاج، استجابة بالحساسية والتحكم التكيفي، وهما أساس أساسي للأطر متعددة الوسائط السلسة التي نوقشت في الأقسام اللاحقة.

الاندماج متعدد الوسائط وتعلم التمثيل
يتيح الاندماج تحويل التيارات الحسية الموزعة إلى تحكم متماسك وواع للسياق. عادة ما تصنف الأساليب كاندماج مبكر أو متأخر أو هجين. دمج الدمج المبكر ميزات في مرحلة الإدخال، داعما لإشارات متزامنة مثل الكلام–الإيماءة أو المحاذاة الوجهية–البروصودية. يجسد المحول متعدد الوسائط من تأليف تساي وآخرون التكامل المبكر القائم على الانتباه بين الإشارات البصرية والصوتية والنصية. وسع شيو وآخرون هذا الأمر من خلال الاقتران المتبقي لمعالم الوجه وميزات الكلام، مما حسن المتانة تحت تغير الإضاءة، بينما هيو وآخرون. اقترح MMSERNet57، شبكة اندماج متعددة المقاييس تستخدم الالتفاف الموسع والاندماج المتبقي لدمج MFCC والطيف والميزات المعجمية للتعرف على المشاعر. يتم التعبير عن الناتج المنصهري كالتالي:

figure-protocol-5

أما الاندماج المتأخر، فعلى النقيض من ذلك، يجمع بين القرارات بعد معالجة مستقلة، مما يوفر تحملا أعلى للمدخلات غير المتزامنة أو المزعجة. تشمل الأمثلة على مستوى القرار مزيج إشارات النظرة، القصور الذاتي، والحركة في مؤشر HRIتحت الماء 58,59. يدمج الاندماج الهجين كلا النهجين — حيث يربط الأنماط غير المتجانسة بمساحات التضمين المشتركة مع الحفاظ على الخصوصية الزمنية. تقوم شبكة دمج الدماغ والحاسوب متعددة الوسائط60 بمحاذاة تخطيط الدماغ والميزات البصرية قبل التصنيف، بينما تدمج التصاميم متعددة الوسائط لتقدير الوضعية ثلاثية الأبعاد بيانات القصور الذاتي والأحادي العينين61. تجمع الأطر الحديثة بين طبقات الالتفاف، والتكرار، والمحول مع محاذاة الانتباه62،63، مع وزن ديناميكي للطرق حسب السياق أو الصلة بالمهمة64،65،66. الاختيار بين الاندماج المبكر والمتأخر والهجين ليس مسألة اختيار واحد يناسب الجميع. يميل الاندماج المبكر إلى العمل بشكل جيد عندما تكون الأنماط متزامنة بشكل وثيق ومستويات الضوضاء منخفضة، مما يسمح للنموذج بالتقاط علاقات متعددة الوسائط الغنية منذ البداية. أما الاندماج المتأخر، فهو عادة أكثر متانة في الظروف الواقعية الفوضوية وغير المتزامنة لأن كل طريقة يمكن معالجتها بشكل مستقل قبل دمج القرارات. الأساليب الهجينة، التي تظهر الآن في حوالي 43٪ من الدراسات الحديثة، تحقق أرضية وسطى مفيدة، خاصة في التفاعلات العاطفية والجسدية، من خلال الانتباه للمدخلات المتوازنة ديناميكيا، رغم أنها تأتي مع متطلبات حسابية إضافية. في النهاية، تعتمد أفضل استراتيجية على المهمة المحددة، وملف الضوضاء، وقيود الأجهزة، مما يشير إلى أن الأنظمة المستقبلية قد تستفيد من تبديل أوضاع الاندماج بشكل فوري.

كما أن التكامل بين الأنماط يختلف بشكل كبير حسب السياق. الرؤية المقترنة باللمسيات فعالة بشكل خاص في المهام الفيزيائية عن قرب، مثل الإمساك أو تسليم الأشياء، حيث تعوض التغذية الراجعة اللمسية عن الانسداد البصري، وتغيرات الإضاءة، أو قيود المسافة، وتوفر معلومات قوة واتصال دقيقة لا يمكن للصوت توفيرها. وعلى العكس، فإن الرؤية المدمجة مع الصوت تؤدي بشكل أفضل في البيئات البعيدة أو الاجتماعية، مثل التعرف على المشاعر أو الحوار في البيئات الصاخبة، حيث تحمل النبرة والنغمة النية والتأثير عندما تكون الإشارات البصرية غير متاحة أو غير موثوقة.

بعيدا عن الإطار الكلاسيكي المبكر والمتأخر والهجين، مكن التعلم العميق من تصنيفات أكثر تفصيلا. يسمح الدمج القائم على الانتباه للنماذج بتعلم أهمية النمط الديناميكي لكل مدخل، مما يخلق مسارات تكامل خاصة بالمهمة والسياق دون حدود مراحل صارمة. تذهب استراتيجيات الاندماج المكتسبة أبعد من ذلك من خلال التعامل مع عملية الاندماج بأكملها كوحدة قابلة للتفاضل من طرف إلى طرف، مما يسمح للشبكة باكتشاف أنماط التركيبة المثلى مباشرة من البيانات. تنقل هذه التطورات النموذج من القواعد المحددة مسبقا نحو هياكل معمارية تعتمد بالكامل على البيانات وتتعامل بشكل أفضل مع تعقيد التفاعل متعدد الوسائط في الوقت الحقيقي.

التأسيس البصري واللغة
النمو السريع لنماذج اللغة الكبيرة وسع نطاق التفكير متعدد الوسائط، لا سيما من خلال نماذج الرؤية واللغة (VLMs). تقوم هذه البنى بمحاذاة المعلومات اللغوية والبصرية لتمكين الروبوتات من تفسير الأوامر، وإدراك المشاهد، وتوليد أفعال حساسة للسياق. أنشأت أطر أساسية مثل LXMERT64 وCLIP66 تضمينات مشتركة لمحاذاة الصورة والنص. قدم Flamingo65 الاستدلال متعدد الوسائط بقليل من اللقطات، بينما يربط Clio39 من Maggio التعليمات ديناميكيا برسوم المشاهد عبر دلالات CLIP. طور Gao وآخرون 41 نظام LAMARS للتخطيط التنبؤي القائم على التنبؤ متعدد الوسائط، وطبق Xie وآخرون 67 نماذج الالتفافية المكانية والزمانية لفهم الإيماءات بكفاءة. قدم Arenas وآخرون تخصيصا بناء على الأوامر لأنماط التفاعل المخصصة68. تسمح هذه الأنظمة بتثبيت أوامر مثل التقاط الكوب الأحمر مباشرة في دلالات المشهد.

يعزز التكامل مع الاستدلال المكاني الملاحة والتفسير الروبوتي بشكل أكبر. يقوم ويلسون LatentBKI38 بتأسيس التعليمات على خرائط مكانية تعتمد على الفوكسل، بينما يدمج نوانكو وآخرون نماذج اللغة الكبيرة مع منطق VLM لتفسير أفعال الحوار في ظل عدم اليقين البصري. تضيف طرق التقسيم القائمة على الأحداث والإدراك غير المتزامن كفاءة للمهام الديناميكية. بشكل جماعي، تعمل VLMs كجسور بين التعليم الرمزي والفهم المتجسد، موفرة الأساس المعرفي للتفاعل المرن.

تطبيقات خاصة بالمجال
في الرعاية الصحية ورعاية كبار السن، يتيح التواصل متعدد الوسائط المساعدة الآمنة والبديهية والتعاطفية. الوظائف الأساسية—اكتشاف السقوط، مراقبة النشاط اليومي، الاستجابة للطوارئ—تعتمد على الوضعية، الصوت، وإشارات الوجه3. نماذج التحكم الهرمي تحسن دقة الحركة في الروبوتات المساعدة على الذراع1، بينما ترشد التغذية الراجعة الحسية المحيطة بمساعدي التضميد التعاوني69. يمثل تسليم الأشياء، الموضح في الشكل 8، الإدراك المتزامن والتنسيق الحركي70. الاستجابة العاطفية، التي تدرس من خلال أنظمة مثل LOVOT، تعزز ثقة المستخدمين لكنها تثير مخاوف أخلاقية بشأن الاعتماد الزائد.

تتطلب الروبوتات الاجتماعية استجابة متعددة الوسائط وسلسة للحفاظ على التعاطف والثقة في البيئات المنزلية والعامة. يوضح الشكل 9 هندسة معمارية نموذجية تدمج طبقات الاستشعار والتخطيط والتفكير الاجتماعي العاطفي. نماذج اللغة الكبيرة المدمجة مع الإدراك تسمح بحوار مفتوح يتم تعديله بواسطة النظرة والنغمة40. تظهر دراسات الأطفال أن الحركة التعبيرية والنثر تقللان من القلق لدى الأطفال71 عاما، بينما تبرز الاستطلاعات السلوكيات غير اللفظية كعوامل محددة للمشاركة8. تتيح النماذج الاستباقية مثل RoboAgent37 وAntcolonial Colony Optimization72 الموجهة بجانب السابق الاستكشاف المشترك للأهداف المشتركة. الأنظمة القادرة على التعبير عن الحالات الداخلية (مستعدة، مربكة)73 تعزز الشفافية والتنسيق، بينما الوكلاء الاجتماعيون التكيفيون يتوسط التعاون الجماعي74,75.

الروبوتات التعليمية: في التعليم، يعزز مؤشر الموارد البشرية متعدد الوسائط الدافعية والتعلم من خلال الاستفادة من التجسيد والإشارات الاجتماعية76. الجمع بين الإيماءات، والإشارات الوجهية، واللفظية يعزز سهولة الوصول والتفاعل 6,9,77,78. التكيف العاطفي يدعم المتعلمين الأصغر سنا: الأنظمة التي تستشعر الحالة العاطفية وتعدل الكلام والحركة تزيد من الانتباه والمفردات 7,79. التكامل مع الواقع الافتراضي يحسن الانغماس لكنه يتحدى قابلية التوسع80. مجتمعة، تحول هذه الأنظمة دور الروبوت من مدرب إلى متعاون متناغم عاطفيا.

يضمن التخصيص الصلة والثقة في الأنظمة متعددة الوسائط 71,81,82. التخصيص الأخلاقي يوازن بين الاستقلالية والتعاطف، ويخصص الردود من خلال التغذية الراجعة التشاركية. أظهر Maaz وآخرون 83 دروسا عاطفية موجهة بالإشارات الوجهية والمعرفية، بينما قام Gomez-Izquierdo وآخرون 84 بنمذجة تفضيلات المستخدم للسلوك المتزامن. يمكن صياغة التكييف الشخصي بشكل رسمي كالتالي:

figure-protocol-6

حيث أن Wi هي أوزان التفضيل المكتسبة. تحقق تطبيقات مثل RFIS إعادة التعرف على الشخص في الوقت الحقيقي والتعرف على الإيماءات عند الحافة85، بينما تتيح واجهات اللمس الحسية10 التواصل الجسدي البديهي. تؤثر تأثيرات الإدراك الاجتماعي بشكل أكبر على نتائج التخصيص، حيث تغير هوية الراوي توقيت استجابة المستخدموطول الكلام. وبالتالي، يحول التخصيص المستخدمين من مستفيدين سلبيين إلى مصممين مشاركين، مما يشكل التفاعل من خلال التكيف المتبادل.

بينما لا يزال معظم العمل الراجع في نماذج بحثية، انتقلت عدة تقنيات HRI متعددة الوسائط من نماذج بحثية إلى تطبيقات تجارية أو صناعية. على سبيل المثال، يدمج روبوت Pepper من سوفت بانك التعرف على الكلام والإيماءات وتعبيرات الوجه لخدمة العملاء والتعليم في بيئات التجزئة والتعليمية87. يستخدم روبوت الدعم البشري من تويوتا دمج الرؤية والإيماءات للمهام المساعدة في المنازل والمرافق الصحية88. غالبا ما تبسط هذه التطبيقات التجارية استراتيجيات الاندماج، وغالبا ما تستخدم أساليب متأخرة أو هجينة مع بديلات قائمة على القواعد لضمان الموثوقية والتكلفة المنخفضة، مما يبرز الفجوة المستمرة بين النماذج الأكاديمية المتقدمة والحلول الصناعية القابلة للتوسع. سد هذه الفجوة سيتطلب تركيزا أكبر على نشر الحواف والتحقق الدقيق في العالم الحقيقي.

تحديات التواصل السلس في مجال الموارد البشرية
على الرغم من التقدم في الاستشعار والاندماج متعدد الوسائط، لا يزال الحفاظ على التواصل السلس بين الإنسان والروبوت خارج البيئات المسيطر عليها أمرا صعبا. النماذج التي تتفوق في المختبرات غالبا ما تتدهور وسط الضوضاء أو التأخير أو الانسداد أو نية التغيير أو حدود الموارد. تتقاطع الأدبيات حول ستة حواجز متداخلة: تكامل الرؤية مع اللغة، التزامن في الوقت الحقيقي، المتانة متعددة الوسائط، الدقة الدلالية، تغطية مجموعات البيانات، وقيود النشر.

تكامل لغة الرؤية
الفهم البصري يدعم اللغة والعمل الراسخين. حسنت الخطوات الأساسية الاتساق المكاني والتجريد من خلال SLAM بصري-قصوري بدون تهيئة يدوية89، وإعادة التعريف بالإضافة إلى دمج المستشعرات لتتبع16 القوي للإغلاق الكهربائي، والتنبؤ برسم المسار90، والتقسيم شبه المراقب الذي يتوافق مع أداة الملاحة، والفيديو الأناني مع SLAM والتقسيم واسع النطاق لسهولة التنقل26. يبقى تعيين الوعي بعدم اليقين مركزيا: يدمج uPLAM بين التوطين الاحتمالي والتقسيم الشامل للضمير البصري للمشاهدالديناميكية 91، بينما يبني Clio بشكل تكيفي رسوم بيانية ثلاثية الأبعاد ثلاثية الأبعاد مبنية على CLIP لدلالات المهمةالحساسة 30. تطورت طرق التأريض من الوصف الهيكلي وواجهات برمجة التطبيقات للإدراك92.93 إلى مشفرات وفككات الترميز متعددة الوسائط94.95.

تدمج التعليمات التالية في البيئات المفتوحة الإدراك والتفكير. يفسر RobotGPT35 و GroundingGPT36 الأوامر عبر الاستدلال البصري واللغوي المقترن؛ تقوم SayPlan وLFG وLLM-Planner بمحاذاة الملاحة والتخطيط مع اللغة الأرضية34، 44. لتقليل الهلوسة وفرض الاتساق الدلالي، تقدم GLAM وVtimellm أهداف محاذاة96,97، بينما تتحقق الأطر التكيفية من صحة مخرجات LLM مقابل الإدراك98,99. التوقيت يشكل وضوح القراءة بشكل حاسم: توقيت الإيماءات المحسن يحسن التنبؤ9; التعلم المعزز يقلل من التأخير السمعي البصري في خطوط العاطفة2؛ يزيد تداخل الإيماءات من الطلاقة المدركة100؛ ويراجع دمج أدوات LSTM وDTW وGAN للمحاذاةالأساسية 101. بشكل عام، يتطلب السلس حلقة واعية بالكمون عبر الإدراك والاندماج والاستجابة، حيث يقيم المحاكاة30 والتنبؤالمستوحى من المخيخ توقيت الإحداثيات، كما يتضح أيضا من حلقات التوقيت على مستوى النظام في الشكل 10.

الإدراك في الوقت الحقيقي عبر الوسائط
تعتمد الطلاقة على التأخير المحدود من الطرف إلى الطرف عبر التيارات غير المتجانسة. يقدم TACTO تغذية راجعة ملموسة عالية الدقة مع تأخير منخفض للتلاعب السريع بالاستجابة. تحقق الأيدي المدفوعة بالوتر اللعب التفاعلي السريع من خلال رؤية الحدث والاستدلال الخفيف103، كما هو موضح في الشكل 11. بالنسبة للرؤية–اللغة–الإجراء، ربط CLIP مع GraspNet يسرع الفهم في الفوضى104. تدعم المحولات تصنيف الإيماءات اللمسية الاجتماعية السريعة11. النماذج السمعية البصرية المحسنة للحافة تحافظعلى الاستنتاج دون الثانية. توقيت حركة الرأس الدقيق يحسن التفاعل105. معا، تدعو هذه النتائج إلى الاندماج المتزامن، وسياسات التخزين المؤقت المصممة حسب الأسلوب الدراسي، والاهتمام الخفيف للحفاظ على التكيف الزمني. زمن الاستجابة المقبول يختلف بشكل كبير حسب مجال المهمة. في الحوار الاجتماعي أو التعرف على المشاعر، تحافظ التأخيرات التي تقل عن 200–300 مللي ثانية على الطلاقة المدركة والتفاعل الطبيعي. تتطلب المهام المساعدة مثل تسليم الأجسام أو اكتشاف السقوط قيودا أكثر صرامة (50–150 مللي ثانية) لضمان السلامة والاستجابة. غالبا ما يتطلب التشغيل عن بعد أو التلاعب التعاوني زمن استجابة أقل من 100 مللي ثانية لمنع ارتباك المشغل أو دوار الحركة، بينما يمكن لتطبيقات الملاحة أو المراقبة تحمل 300–500 مللي ثانية دون تأثير حرج.

تحديات المعالجة الزمنية والدلالية
الاختلاط والكمون يقوضان الثقة وكفاءة المهام، خاصة في أنظمة المشغل-الروبوت-الإنسان الموزعة106. تساعد استراتيجيات الإدراك والواجهة المستخدمين على تحمل التأخير: الإيماءات الجسدية والحشوات غير المعجمية107، التراكبات البصرية والإشارات التكيفية108، 109، 110، 111. التنبؤ على مستوى التحكم يقصر فجوات الاستجابة102. تتداخل خطوط أنابيب الحوار المتوازي مع توليد الحشوات، وتوليف الكلام، وتحرير الأوامر لتقليل التأخير المدرك، كما في112 والشكل 12. تقوم دراسات النظام بتحليل التأخير التراكمي عبر الالتقاط، والترميز/فك الترميز، والشبكات، والقرار، والتفعيل113. كما هو موضح في الشكل 13، يتم إدخال التأخير من خلال التقاط المستشعرات، وترميز وفك ترميز الفيديو، ونقل الشبكة، ومعالجة المشغل، وتشغيل المركبة، مما يشكل حلقة تغذية راجعة معقدة ثنائية الاتجاه. يوفر سينتالوس التزامن الميلي ثانية للتجارب المغلقة114. في التبادلات العاطفية، يعزز تقليد الوجه في الوقت الحقيقي التزامن23. تظهر المجالات الحساسة للتأخير مثل الجراحة عن بعد أن تثبيت اللمسيات مع الرؤية المتأخرة يدعم الدقة والاستجابة115. كما هو موضح في الشكل 14، أدى تثبيت التغذية الراجعة اللمسية إلى أداء أفضل وإحساس أقوى بالاستجابة.

التأثيرات الدقيقة والتعرف على النية لا تزال تحديا. غالبا ما تحدث التعبيرات الدقيقة، النبرة، النظرة، والحركة التنبؤية بشكل موجز وغير متزامن. الإيمو ينتج تعبيرات وجه متوقعة تتماشى مع حالة المستخدم116. لغة الجسد وحدها تنقل النية حيث لا يكون الوجه أو الصوت متاحا117. تجمع العروض متعددة الوسائط القائمة على الفلفل بين التصنيف اللفظي والإيماءات التعبيرية والإيموجي لتزامن المشاعر118. يعزز التعلم المعزز عبر الإنترنت دمج تدفقات الوجه والصوت2، بينما يدعم التقليد الخفيف نشر الحافة30. تشمل القضايا المفتوحة تأثير المجموعة، والتنوع الثقافي، وانحراف التأثير الزمني.

التعميم في النطاقات المفتوحة محدود أيضا. يظهر التعلم المعزز من التغذية الراجعة البشرية (RLHF) مكافآت متفرقة وهشاشة تحت المدخلات خارج التوزيع119. يمزج روبووكيل بين التفكير المكاني والتأسيس اللغوي لنقل المهاممتعددة المهام 29. يستفيد Reasoning through Action Free Data (RAD) من الفيديو السلبي واللغة لقدرات التصوير الصفري بدون تسميات يدوية120. يقوم المدرك والممثل بتأسيس خصائص الكائنات للتلاعب بعناصر غير مألوفة121. التوافق المستمر بين الإدراك والدلالات في RobotGPT و GroundingGPT يحسن التفكير التكيفي لكنه لا يزال يواجه تحديات في التغذية الراجعة الفورية35,36.

المتانة متعددة الوسائط والتغير البيئي
يجب أن تمتد المتانة على سلامة الإشارة واتساقها السلوكية. يضخ SimuMuHRI ضوضاء وفقدان صوت خاص بالأسلوب لاختبار الصمود122. محاكاة الضوء المهيكل المؤرض ماديا تحسن من موثوقية RGB-D تحت الإضاءة والانسداد123,124. يكشف اقتران الكمون واللمس عن حساسية في التلاعب عن بعد125. مبادئ التكرار والمرونة الحرارية من أنظمة الطاقة الحيوية للسلامة تقدم مؤشر HRIالمقاوم للأعطال 126,127.

التماسك السلوكي مهم بنفس القدر. عدم التوافق بين الصوت والمظهر يقلل الثقة128، والحركة المتقلبة ولكن الصحيحة تقوض التعاون129. تحكم القوة التكيفية المعتمدة على المراقب ووحدات التحكم في التفاعل القوية تحافظ على الاستقرار تحت عدم اليقين المنظموغير المنظم 130,131. كما أن تغطية مجموعات البيانات تحد من التقدم. مجموعات بيانات الإدراك المتعدد البوت—OPV2V132، CoPeD133، CSE134، وAgiBot World Colosseo55—توسع الاستشعار التعاوني عبر المحاكاة والميدان. موارد AV-HRI — CHiME-5135 مع تحدي CHiME-8136 اللاحق، AVA-ActiveSpeaker45، AFFECT-HRI5، وSAVEn-Vid46 — تمكن تتبع التعليمات في السياق الطويل. تستهدف المعايير الاجتماعية واسعة النطاق—HumorHRI47، THÖR-MAGNI137، RW4T138، وInViG139—الفكاهة، والتنقل، والتعاون، والتأسيس التفاعلي. على الرغم من الاتساع، فإن العديد من مجموعات البيانات محددة النطاق أو مكتوبة برمجيا، مع عمق زمني محدود لتقييم السلاسة، كما هو موضح في الجدول 3.

تقييم السلاسة
المقاييس التقليدية مثل الدقة والكمون لا تلتقط التكيف المشترك أو التنبؤ المتبادل أو الطلاقة الاجتماعية بشكل كامل. يقيم المقيمون الجدد التماسك السياقي والتعاونبدرجة 140، ويدمجون ملاحظات المستخدمين والإشارات الموقفية141، ويضيفون التشبؤ والتنسيق والراحة إلى مؤشر HRI المادي84. تقوم أطر الفريق بقياس التوقعات المشتركة74، بينما يتتبع التوائم الرقمية معايرة الثقة وطلاقة الفريق142. يبقى معيار موحد يجمع بين التزامن الزمني والتوافق العاطفي والطلاقة المرتكزة على المستخدم حاجة مفتوحة.

لا تزال الجهود نحو توحيد معايير مؤشر الموارد البشرية متعددة الوسائط محدودة ومجزأة. مبادرات بارزة مثل تحديات CHiME135,136 قدمت معايير متقدمة للتعرف على الكلام السمعي والبصري، لا سيما من حيث متانة الضوضاء. توفر مجموعات بيانات مثل THÖR-MAGNI137 وRW4T138 موارد مشتركة لسلوكيات التقاط الحركة والفريق. ومع ذلك، لا يوجد بروتوكول موحد معتمد على نطاق واسع بعد لمزامنة الزمن عبر الوسائط، أو طلاقة التفاعل، أو التوافق العاطفي عبر أنماط ومجالات متنوعة. هذا الغياب للمقاييس الموحدة لا يزال يعيق قابلية التكرار وقابلية المقارنة، مما يبرز الحاجة إلى معايير مدفوعة بالمجتمع.

من المختبر إلى النشر في العالم الحقيقي
غالبا ما يتدهور الأداء في البيئات غير المنظمة بسبب عدم انتظام الحواس، وتغيير النية، واختناقات الحساب143. يبرز هذا التدهور في الأداء وجود انقسام مستمر بين البيئات المختبرية والواقعية. في البيئات المسيطر عليها، يتفوق الدمج الهجين والقائم على الانتباه، حيث يوفر دقة عالية وزمن استجابة منخفض لمهام مثل معالجة الكائنات أو فهم المشاهد. لكن عمليات النشر في العالم الحقيقي تروي قصة مختلفة. الروبوتات المساعدة في رعاية كبار السن، والأنظمة المرافقة في المنازل، والأدوات التعليمية في الفصول الدراسية تتعامل بشكل روتيني مع الضوضاء، والإخراج، وتغيرات الإضاءة، وسلوكيات المستخدمين غير المتوقعة التي تقلل من فعاليتها. تميل مناهج الاندماج المتأخرة إلى إثبات أنها أكثر موثوقية في مثل هذه الظروف المتغيرة وغير المتزامنة، بينما يمكن أن تقيد النماذج الهجينة، رغم قوتها في التكيف العاطفي والسياقي، بسبب المطالب الحاسوبية على الأجهزة الحافية. لا تزال العديد من التطبيقات الميدانية الناجحة تتضمن تكرارا أبسط أو ضمانات قائمة على القواعد لضمان الموثوقية، مما يبرز أن الانتقال من عروض مختبرية واعدة إلى أداء يومي قوي لا يزال تحديا كبيرا. الاختبارات البيئية الصحيحة ضرورية لتحديد التقنيات التي تنجح حقا خارج التجارب المحكمة. تحافظ وحدات التحكم المتطورة على دقة القوة أثناء الاضطراب131. التخطيط التعاوني المدعوم بنماذج اللغة الكبيرة يحدثنا الأهداف مع تطور نية المستخدم144. تساعد الطبقات البصرية والتغذية الراجعة الواعية للزمن في الحفاظ على وعي المشغل تحت الروابط المتدهورة107,109. الإشراف الخفيف باستخدام LoRa والظلال الرقمية يتيح المراقبة في حقول منخفضة النطاقالترددي 145. تظهر الخبرة من روبوتات الفضاء أن الاستقلالية يجب أن تتطور مع الإدراك البشري تحت عدم اليقين والتأخير146.

قيود الموارد تشكل الجدوى. تعمل تقنيات التعرف على المؤثرات واللمس المعتمدة على الصوت تحت 1 ميجابايت و0.7 جيجاب فلوب للمنصات منخفضة الطاقة12. إضافة ميزات اجتماعية قد تحسن الحضور، لكنها تخاطر بالتحميل الزائد عندما ترتفع التأخيرات147. يجب أن توازن الجدولة واختيار الميزات بين الطلب المعرفي والاستمرارية148. يمتد تقليل الكمون عبر الإدراك والتحكم والشبكات كما هو منظم في 113. غالبا ما يفضل المستخدمون التفاعل الشفاف والمستقر على تحقيق أقصى كفاءة للمهام، مما يعزز أن نظام HRI السلس يجب أن يعطي الأولوية للقدرة التقنية إلى جانب راحة الإنسان149,151. عبر المجالات، تظهر عمليات النشر في العالم الحقيقي تفضيلات مميزة: غالبا ما تعتمد التطبيقات الاجتماعية والتعليمية على دمج هجين بين الرؤية والصوت للحوار العاطفي، بينما تفضل المهام المساعدة والتعاونية التركيبات بين الرؤية واللمسية مع الاندماج المتأخر أو المبكر لتحقيق تفاعل جسدي دقيق. تتماشى هذه الأنماط مع الاستراتيجيات الملخصة — إعطاء الأولوية للاندماج المتأخر للصلابة في البيئات المتغيرة والهجين/القائم على الانتباه للتكيف السياقي الأكثر ثراء — رغم أن التبسيط للموثوقية لا يزال شائعا.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الاستنتاجات

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

هذه المراجعة لها عدة قيود. قد يكون تقييد البحث في المنشورات الناطقة بالإنجليزية في مجموعة Web of Science Core قد أدخل تحيزا لغويا واستبعد الأعمال غير الإنجليزية ذات الصلة. التركيز على المقالات المحكمة من 2015 إلى 2025 قد يعكس أيضا تحيز النشر، مما قد يتجاهل المطبوعات المسبقة، الأدبيات الرمادية، أو النتائج غير المنشورة الناشئة. الفحص اليدوي للأوراق ال148، رغم أنه موجه بمعايير صريحة، ينطوي حتما على بعض الذاتية. وأخيرا، يعكس التفسير الموضوعي للاتجاهات وجهة نظرنا في مجال سريع التطور.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

الإفصاحات

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

يعلن المؤلفون أنهم لا يملكون تضارب مصالح.

شكر وتقدير

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

وقد دعم هذا العمل من قبل جامعة ساينز ماليزيا، منحة جسر برقم المشروع: R501-LR-RND003-0000001342-0000.

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

المراجع

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Frennert, S., et al. Towards a hierarchical user requirement structure for upper limb assistive robotics. ACM Trans Hum-Robot Interact. 14 (1), 1-26 (2024).
  2. Kansizoglou, I., Bampis, L., Gasteratos, A. An active learning paradigm for online audio- visual emotion recognition. IEEE Trans Affect Comput. 13 (2), 756-768 (2019).
  3. Keroglou, C., et al. A survey on technical challenges of assistive robotics for elder people in domestic environments: The aspida concept. IEEE Trans Med Robot Bionics. 5 (2), 196-205 (2023).
  4. Wang, S., Lambeta, M., Chou, P. W., Calandra, R. Tacto: A fast, flexible, and open-source simulator for high-resolution vision-based tactile sensors. IEEE Robot Autom Lett. 7 (2), 3930-3937 (2022).
  5. Heinisch, J., et al. Physiological data for affective computing in HRI with anthropomorphic service robots: The AFFECT-HRI data set. Sci Data. 11 (1), 333 (2024).
  6. Li, B., et al. TVT-Transformer: A tactile-visual-textual fusion network for object recognition. Inf Fusion. 118, 102943 (2025).
  7. Kim, H., et al. Technological applications of social robots to create healthy and comfortable smart home environment. Build Environ. , 112269 (2024).
  8. Leoste, J., Marmor, K., Heidmets, M. Nonverbal behavior of service robots in social interactions: A survey on recent studies. Interact Des Archit. 61, 164-192 (2024).
  9. Liu, N., et al. A lightweight network-based sign language robot with facial mirroring and speech system. Expert Syst Appl. 262, 125492 (2024).
  10. Iskandar, M., Albu-Schäffer, A., Dietrich, A. Intrinsic sense of touch for intuitive physical human-robot interaction. Sci Robot. 9 (93), eadn4008 (2024).
  11. Ren, Q., Hou, Y., Belpaeme, T. Low-latency classification of social haptic gestures using transformers. , (2023).
  12. Hou, Y., Ren, Q., Wang, W., Botteldooren, D. Sound-based recognition of touch gestures and emotions for enhanced human-robot interaction. , (2025).
  13. Al, G., Martinez-Hernandez, U. DiGeTac unit for multimodal communication in human-robot interaction. IEEE Sens Lett. 8 (5), 6001804 (2024).
  14. Tsai, Y. H., et al. Multimodal transformer for unaligned multimodal language sequences. , (2019).
  15. Wang, Z., Chen, M., Liu, Q. A review on multimodal communications for human-robot collaboration in 5G: From visual to tactile. Intell Robot. 5 (3), 579-606 (2025).
  16. Antonucci, A., et al. Humans as path-finders for mobile robots using teach-by-showing navigation. Auton Robots. 47 (8), 1255-1273 (2023).
  17. Duarte, N. F., Rakovic, Action anticipation: Reading the intentions of humans and robots. IEEE Robot Autom Lett. 3 (4), 4132-4139 (2018).
  18. Hayashi, K. Investigation of joint action in go/no-go tasks: Development of a human-like eye robot and verification of action space. Int J Soc Robot. , 1-14 (2024).
  19. Belkaid, M., et al. Mutual gaze with a robot affects human neural activity and delays decision-making processes. Sci Robot. 6 (58), eabc5044 (2021).
  20. Guidolin, M., Tagliapietra, L., Menegatti, E., Reggiani, M. Hi-ros: Open-source multi-camera sensor fusion for real-time people tracking. Comput Vis Image Underst. 232, 103694 (2023).
  21. Ovur, S. E., Demiris, Y. Naturalistic robot-to-human bimanual handover in complex environments through multi-sensor fusion. IEEE Trans Autom Sci Eng. 21 (3), 3730-3741 (2023).
  22. Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. , (2001).
  23. Stauffer, C., Grimson, W. E. L. Adaptive background mixture models for real-time tracking. , (1999).
  24. Qi, W., et al. Multi-sensor guided hand gesture recognition for a teleoperated robot using a recurrent neural network. IEEE Robot Autom Lett. 6 (3), 6039-6045 (2021).
  25. Sun, J., Shen, Y., Rosen, J. Sensor reduction, estimation, and control of an upper-limb exoskeleton. IEEE Robot Autom Lett. 6 (2), 1012-1019 (2021).
  26. Kim, Y., et al. Learning semantic traversability with egocentric video and automated annotation strategy. IEEE Robot Autom Lett. 9 (3), 2662-2669 (2024).
  27. Ye, H., et al. Person re-identification for robot person following with online continual learning. IEEE Robot Autom Lett. 9 (11), 9151-9158 (2024).
  28. Vaswani, A., et al. Attention is all you need. , (2017).
  29. Schneider, S., Baevski, A., Collobert, R., Auli, M. Wav2vec: Unsupervised pre-training for speech recognition. , (2024).
  30. Liu, X., Chen, Y., Li, J., Cangelosi, A. Real-time robotic mirrored behavior of facial expressions and head motions based on lightweight networks. IEEE Internet Things J. 10 (2), 6039-6048 (2022).
  31. Tsai, C. Y., Su, Y. K. MobileNet-JDE: A lightweight multi-object tracking model for embedded systems. Multimed Tools Appl. 81 (7), 9915-9937 (2022).
  32. Pan, Z., Tao, R., Xu, C., Li, H. Selective listening by synchronizing speech with lips. IEEE/ACM Trans Audio Speech Lang Process. 30, 1650-1664 (2022).
  33. Brown, T. B., et al. Language models are few-shot learners. , (2020).
  34. Jin, Y., et al. RobotGPT: Robot manipulation learning from ChatGPT. IEEE Robot Autom Lett. 9 (3), 2543-2550 (2024).
  35. Li, Z., et al. GroundingGPT: Language Enhanced Multi-modal Grounding Model. , (2024).
  36. Bharadhwaj, H., et al. Roboagent: Generalization and efficiency in robot manipulation via semantic augmentations and action chunking. , (2024).
  37. Wilson, J., et al. LatentBKI: Open-dictionary continuous mapping in visual-language latent spaces with quantifiable uncertainty. IEEE Robot Autom Lett. , (2025).
  38. Maggio, D., et al. Clio: Real-time task-driven open-set 3D scene graphs. IEEE Robot Autom Lett. 9 (10), 5123-5130 (2024).
  39. Nwankwo, L., Rueckert, E. The Conversation is the Command: Interacting with Real-World Autonomous Robots Through Natural Language. , (2024).
  40. Gao, Y., et al. LAMARS: Large language model-based anticipation mechanism acceleration in real-time robotic systems. IEEE Access. 13, 3864-3880 (2024).
  41. Rana, K., et al. Sayplan: Grounding large language models using 3d scene graphs for scalable robot task planning. , (2023).
  42. Shah, D., et al. Navigation with large language models: Semantic guesswork as a heuristic for planning. , (2023).
  43. Song, C. H., et al. LLM-Planner: Few-shot grounded planning for embodied agents with large language models. , (2023).
  44. Roth, J., et al. AVA-ActiveSpeaker: An audio-visual dataset for active speaker detection. , (2020).
  45. Li, J., et al. SAVen-Vid: Synergistic audio-visual integration for enhanced understanding in long video context. arXiv. , (2024).
  46. Zhang, H., Hei, X., Cardenas, J., Miao, X., Tapus, A. Toward a multi-dimensional humor dataset for social robots. , (2024).
  47. Zhao, Y., Qian, K., Duan, B., Luo, S. FOTS: A fast optical tactile simulator for sim2real learning of tactile-motor robot manipulation skills. IEEE Robot Autom Lett. 9 (6), 2150-2157 (2024).
  48. Chen, D., et al. A high spatial resolution magnetorheological elastomer tactile sensor for texture recognition. IEEE Sens J. 25 (5), 1234-1241 (2025).
  49. Giovinazzo, F., et al. Design, implementation and testing of an EtherCAT-based network for multi-modal distributed sensing architectures. , (2024).
  50. Yun, Y., et al. Enhancing sensitivity across scales with highly sensitive Hall effect-based auxetic tactile sensors. Adv Intell Syst. 7 (3), 2300456 (2024).
  51. Zafar, M., Moosavi, S. K. R., Sanfilippo, F. Federated learning-enhanced edge deep learning model for EMG-based gesture recognition in real-time human-robot interaction. IEEE Sens J. 25 (5), 1234-1241 (2025).
  52. Dong, P., et al. Decoding silent speech cues from muscular biopotential signals for efficient human-robot collaborations. Adv Mater Technol. 10 (4), 2301123 (2024).
  53. Wang, J., An, Z., Guo, Y. MetaSonic: Advancing robot localization with directional embedded acoustic signals. IEEE Robot Autom Lett. 10 (2), 3150-3157 (2025).
  54. AgiBot-World-Contributors. AgiBot World Colosseo: A large-scale manipulation platform for scalable and intelligent embodied systems. , (2025).
  55. Xue, F., Li, Y., Liu, D., Xie, Y., Wu, L., et al. LipFormer: Learning to lipread unseen speakers based on visual-landmark transformers. IEEE Trans Circuits Syst Video Technol. 33 (9), 4507-4517 (2023).
  56. Hu, H., et al. Speech emotion recognition based on multimodal and multiscale feature f usion. Signal Image Video Process. 19 (2), 123 (2024).
  57. Lee, D., et al. Intuitive six-degree-of-freedom human interface device for human-robot interaction. IEEE Trans Instrum Meas. 73, 1-10 (2024).
  58. Kvasic, I., et al. Diver-robot communication dataset for underwater hand gesture recognition. Comput Netw. 245, 110392 (2024).
  59. Li, Z., et al. MBCFNet: A multimodal brain-computer fusion network for human intention recognition. Knowl-Based Syst. 296, 111826 (2024).
  60. Popescu, M., et al. Fusion of inertial sensor suit and monocular camera for 3D human pelvis pose estimation. , (2024).
  61. Zhou, S., Yang, B., Yuan, M., Jiang, R., Yan, R., et al. Enhancing SNN-based spatiotemporal learning: A benchmark dataset and cross-modal attention model. IEEE Trans Neural Netw Learn Syst. 35 (8), 11234-11248 (2024).
  62. Biswas, S., Saw, R., Nandy, A. Attention-enabled hybrid convolutional neural network for enhancing human-robot collaboration through hand gesture recognition. Comput Electr Eng. 123, 110020 (2025).
  63. Tan, H., Bansal, M. LXMERT: Learning cross-modality encoder representations from transformers. , (2019).
  64. Alayrac, J. B., et al. Flamingo: a visual language model for few-shot learning. , (2022).
  65. Radford, A., et al. Learning transferable visual models from natural language supervision. , (2021).
  66. Xie, J., Zhang, B., Lu, Q., Borisov, O. A dynamic head gesture recognition method for real- time intention inference and its application to visual human-robot interaction. Int J Control Autom Syst. 22, 252-264 (2024).
  67. Arenas, M., et al. How to prompt your robot: A promptbook for manipulation skills with code as policies. , (2024).
  68. Zhu, J., Gienger, M., Franzese, G., Kober, J. Do you need a hand?—A bimanual robotic dressing assistance scheme. IEEE Trans Robot. 40, 1906-1919 (2024).
  69. Ortenzi, V., et al. Object handovers: A review for robotics. IEEE Trans Robot. 37 (6), 2150-2168 (2022).
  70. Kabacińska, K., Teng, K., Robillard, J. Social robot interactions in a pediatric hospital setting: Perspectives of children, parents, and healthcare providers. Multimodal Technol Interact. 9 (2), 14 (2025).
  71. Viyuela, &. #. 2. 1. 1. ;., Sanfeliu, A. Human-robot collaborative minimum time search through sub- priors in ant colony optimization. IEEE Robot Autom Lett. 9 (11), 1123-1130 (2024).
  72. Roy, L., Croft, E., Kulić, D. Learning to communicate functional states with nonverbal expressions for improved human-robot collaboration. IEEE Robot Autom Lett. 9 (6), 7123-7130 (2024).
  73. San Martin, A., Kildal, J., Lazkano, E. An analysis of the role of different levels of exchange of explicit information in human-robot cooperation. Front Robot AI. 12, 1511619 (2025).
  74. Gillet, S., et al. Interaction-shaping robotics: Robots that influence interactions between other agents. ACM Trans Hum-Robot Interact. 13 (1), 25 (2024).
  75. Belpaeme, T., et al. Social robots for education: A review. Sci Robot. 3 (21), eaat5954 (2018).
  76. Zhang, R., et al. Predicting emotion reactions for human-computer conversation: A variational approach. IEEE Trans Hum-Mach Syst. 51 (4), 712-721 (2022).
  77. Huang, C., Fu, L., Hung, S. C., Yang, S. Effect of visual programming instruction on students' flow experience, programming self-efficacy, and sustained willingness to learn. J Comput Assist Learn. 41 (1), 123-135 (2025).
  78. Berrezueta-Guzman, S., Dolón-Poza, M. Enhancing preschool language acquisition through robotic assistants: An evaluation of effectiveness, engagement, and acceptance. IEEE Access. , (2025).
  79. Lei, Y., Su, Z., Cheng, C. Virtual reality in human-robot interaction: Challenges and benefits. Electron Res Arch. 31 (4), 2374-2408 (2023).
  80. Pareto, J., Coeckelbergh, M. Social assistive robotics: An ethical and political inquiry through the lens of freedom. Int J Soc Robot. 16 (8), 1797-1808 (2024).
  81. Hung, L., et al. “It’s always happy to see me”: Exploring LOVOT robots as companions for older adults. J Rehabil Assist Technol Eng. 12, 20556683251320669 (2025).
  82. Maaz, N., Mounsef, J., Maalouf, N. CARE: Towards customized assistive robot-based education. Front Robot AI. 12, 1474741 (2025).
  83. Gómez-Izquierdo, G., Laplaza, J., Sanfeliu, A., Garrell, A. Enhancing context-aware human motion prediction for efficient robot handovers. , (2025).
  84. Lee, S., Lee, S., Park, H. Integration of tracking, re-identification, and gesture recognition for facilitating human-robot interaction. Sensors. 24 (15), 4850 (2024).
  85. Bakhoda, I., et al. Exploring the impact of narrator type on response latency and utterance length during interactive storytelling. , (2024).
  86. Pandey, A. K., Gelin, R. A mass-produced sociable humanoid robot: Pepper: The first machine of its kind. IEEE Robot Autom Mag. 25 (3), 40-48 (2018).
  87. Yamamoto, T., et al. Toyota Human Support Robot (HSR): Development and future prospects. 2019 IEEE/SICE International Symposium on System Integration (SII). , 634-639 (2019).
  88. Lupton, T., Sukkarieh, S. Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions. IEEE Trans Robot. 28 (1), 61-76 (2011).
  89. Zürn, J., Posner, I., Burgard, W. Autograph: Predicting lane graphs from traffic observations. IEEE Robot Autom Lett. 9 (1), 73-80 (2024).
  90. Sirohi, K., Büscher, D., Burgard, W. UPLAM: Robust panoptic localization and mapping leveraging perception uncertainties. IEEE Robot Autom Lett. 9 (8), 5123-5130 (2024).
  91. Wang, L., et al. A survey on large language model based autonomous agents. Front Comput Sci. 18 (6), 186345 (2024).
  92. Zang, Y., et al. Contextual object detection with multimodal large language models. Int J Comput Vis. 133 (2), 1-19 (2024).
  93. Ivanovic, B., et al. Multimodal deep generative models for trajectory prediction: A conditional variational autoencoder approach. IEEE Robot Autom Lett. 6 (2), 295-302 (2020).
  94. Floridi, L., Chiriatti, M. GPT-3: Its nature, scope, limits, and consequences. Minds Mach. 30, 681-694 (2020).
  95. Carta, T., et al. Grounding large language models in interactive environments with online reinforcement learning. , (2023).
  96. Huang, B., et al. VTimeLLM: Empower LLM to grasp video moments. , (2024).
  97. Gupta, M., et al. From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy. IEEE Access. 11, 80218-80245 (2023).
  98. Li, X., et al. Chain-of-knowledge: Grounding large language models via dynamic knowledge adapting over heterogeneous sources. , (2024).
  99. Kimoto, M., Iio, T., Shiomi, M., Shimohara, K. Coordinating entrainment phenomena: Robot conversation strategy for object recognition. Appl Sci. 11 (5), 2358 (2021).
  100. Nyatsanga, S., et al. A comprehensive review of data-driven co-speech gesture generation. Comput Graph Forum. 42 (2), 569-596 (2023).
  101. Abadía, I., et al. A cerebellar-based solution to the nondeterministic time delay problem in robotic control. Sci Robot. 6 (58), eabf2756 (2021).
  102. Deng, X., Weirich, S., Katzschmann, R. K., Delbruck, T. A rapid and robust tendon-driven robotic hand for human-robot interactions playing rock-paper-scissors. , (2024).
  103. Xu, K., et al. A joint modeling of vision-language-action for target-oriented grasping in clutter. , (2023).
  104. Lee, H., Hahn, S. Effect of robot head movement and its timing on human-robot interaction. Int J Soc Robot. 17 (1), 3-14 (2024).
  105. Kim, S., Hernandez, I., Nussbaum, M., Lim, S. Teleoperator-robot-human interaction in manufacturing: Perspectives from industry, robot manufacturers, and researchers. IISE Trans Occup Ergon Hum Factors. 12 (1-2), 28-40 (2024).
  106. Pelikan, H., Hofstetter, E. Managing delays in human-robot interaction. ACM Trans Comput-Hum Interact. 30 (4), 1-24 (2022).
  107. Kang, D., Nam, C., Kwak, S. Robot feedback design for response delay. Int J Soc Robot. 16 (2), 1341-1361 (2024).
  108. Akita, E., Zaidner, G., Pryor, M. Improved situational awareness and performance with dynamic task-based overlays for teleoperation. , (2024).
  109. Scholz, C., et al. Improving robot-to-human communication using flexible display technology as a robotic-skin-interface: A co-design study. Int J Intell Robot Appl. 9 (1), 146-163 (2024).
  110. Reardon, C., et al. Augmented reality visualization of autonomous mobile robot change detection in uninstrumented environments. ACM Trans Hum-Robot Interact. 13 (3), 1-30 (2024).
  111. Asaka, S., Itoyama, K., Nakadai, K. Improving impressions of response delay in AI-based spoken dialogue systems. , (2024).
  112. Kamtam, S., et al. Network latency in teleoperation of connected and autonomous vehicles: A review of trends, challenges, and mitigation strategies. Sensors. 24 (12), 3957 (2024).
  113. Klumpp, M., et al. Syntalos: A software for precise synchronization of simultaneous multi- modal data acquisition and closed-loop interventions. Nat Commun. 16 (1), 708 (2025).
  114. Du, J., et al. Sensory manipulation as a countermeasure to robot teleoperation delays: System and evidence. Sci Rep. 14, (2024).
  115. Hu, Y., et al. Human-robot facial coexpression. Sci Robot. 9 (88), eadi4724 (2024).
  116. Gao, W., Shen, S., Ji, Y., Tian, Y. Human perception of the emotional expressions of humanoid robot body movements: Evidence from survey and eye-tracking measurements. Biomimetics. 9 (11), 684 (2024).
  117. Cárdenas, P., et al. Evaluation of robot emotion expressions for human-robot interaction. Int J Soc Robot. 16 (9), 2019-2041 (2024).
  118. Casper, S., et al. Open problems and fundamental limitations of reinforcement learning from human feedback. , (2025).
  119. Clark, J., Mirchandani, S., Sadigh, D., Belkhale, S. Action-free reasoning for policy generalization. arXiv. , (2025).
  120. Shridhar, M., et al. Perceiver-Actor: A multi-task transformer for robotic manipulation. , (2022).
  121. Wang, X. Mobile robot environment perception system based on multimodal sensor fusion. Appl Comput Eng. 127, 42-49 (2025).
  122. Bai, K., Zhang, L., Chen, Z., Wan, F., Zhang, J. Close the sim2real gap via physically-based structured light synthetic data simulation. , (2024).
  123. Fatehi, K., Torres, M., Kucukyilmaz, A. An overview of high-resource automatic speech recognition methods and their empirical evaluation in low-resource environments. Speech Commun. 167, 103151 (2024).
  124. Louca, J., Eder, K., Vrublevskis, J., Tzemanaki, A. Impact of haptic feedback in high latency teleoperation for space applications. ACM Trans Hum-Robot Interact. 13 (2), 1-21 (2024).
  125. Luo, W., Zhang, S., Gao, Y., Shen, C. Review of mechanisms and detection methods of internal short circuits in lithium-ion batteries. Ionics. 31 (5), 3945-3964 (2025).
  126. Luo, W., et al. Study on the comprehensive multisource thermal runaway failure characteristics and cooling effects of extinguishing agents in 280 Ah batteries. Phys Fluids. 37 (3), (2025).
  127. Alimardani, M., Roode, R., Vaitonyte, J., Louwerse, M. Effect of a virtual agent's appearance and voice on uncanny valley and trust in human-agent collaboration. , (2024).
  128. Moradinezhad, R., Solovey, E. Investigating trust in interaction with inconsistent embodied virtual agents. Int J Soc Robot. 13 (8), 2103-2118 (2021).
  129. Zixuan, H., et al. Observer-based adaptive robust force control of a robotic manipulator integrated with external force/torque sensor. Actuators. 14 (3), 116 (2025).
  130. Huang, J., et al. Adaptive robust interaction force control of a robotic manipulator in uncertain environments. IEEE Trans Ind Electron. 72 (8), 8251-8260 (2025).
  131. Xu, R., et al. OPV2V: An open benchmark dataset and fusion pipeline for perception with vehicle-to-vehicle communication. , (2022).
  132. Zhou, Y., Quang, L., Nieto-Granda, C., Loianno, G. CoPeD: Advancing multi-robot collaborative perception—A comprehensive dataset in real-world environments. IEEE Robot Autom Lett. 9 (7), 6416-6423 (2024).
  133. Park, H., et al. A benchmark dataset for collaborative SLAM in service environments. IEEE Robot Autom Lett. 9 (12), 11337-11344 (2024).
  134. Barker, J., Watanabe, S., Vincent, E., Trmal, J. The fifth CHiME speech separation and recognition challenge: Dataset, task and baselines. , (2018).
  135. Cornell, S., et al. The CHiME-8 DASR challenge for generalizable and array agnostic distant automatic speech recognition and diarization. , (2024).
  136. Schreiter, T., et al. THÖR-MAGNI: A large-scale indoor motion capture recording of human movement and robot interaction. Int J Robot Res. 44 (4), 568-591 (2024).
  137. Savko, L., Qian, Z., Gremillion, G., Neubauer, C., Canady, J., et al. RW4T dataset: Data of human-robot behavior and cognitive states in simulated disaster response tasks. , (2024).
  138. Zatsarynna, O., Farha, Y., Gall, J. Multi-modal temporal convolutional network for anticipating actions in egocentric videos. , (2021).
  139. Gkournelos, C., Konstantinou, C., Makris, S. An LLM-based approach for enabling seamless human-robot collaboration in assembly. CIRP Ann. 73 (1), 9-12 (2024).
  140. Rahimi, H., et al. User-VLM 360: Personalized vision language models with user-aware tuning for social human-robot interactions. , (2025).
  141. Langås, E., Zafar, M., Sanfilippo, F. Exploring the synergy of human-robot teaming, digital twins, and machine learning in industry 5.0: A step towards sustainable manufacturing. J Intell Manuf. , 1-24 (2025).
  142. Nizamuddin, M., Kamisetty, A., Gummadi, J. C., Talla, R. R. Integrating neural networks with robotics: Towards smarter autonomous systems and human-robot interaction. Robotics Xplore: USA Tech Digest. 1 (1), 157-169 (2024).
  143. Asuzu, K., Singh, H., Idrissi, M. Human-robot interaction through joint robot planning with large language models. Intell Serv Robot. 18 (2), 261-277 (2025).
  144. Shamshiri, R., et al. Internet of robotic things with a local LoRa network for teleoperation of an agricultural mobile robot using a digital shadow. Discov Appl Sci. 6, 414 (2024).
  145. Smith, C., Mott, T., Williams, T. Perspectives on level of autonomy decisions in space robotics. , (2024).
  146. Kim, T., Song, Y., Kim, D., Song, H. Too much is as bad as too little: The impact of implementing multiple social interaction features on trust and acceptance of automated vehicle agents. Int J Hum-Comput Interact. 41 (21), 13875-13890 (2025).
  147. Elsayyad, S., et al. An effective robot selection and recharge scheduling approach for improving robotic networks performance. Sci Rep. 14 (1), 28439 (2024).
  148. Mayer, L., et al. Human-AI collaboration: Trade-offs between performance and preferences. Cogn Res Princ Implic. 11, 18 (2026).
  149. Yang, B., et al. Gaze and environmental context-guided deep neural network and sequential decision fusion for grasp intention recognition. IEEE Trans Neural Syst Rehabil Eng. 31, 3687-3689 (2023).
  150. Rückin, J., Magistri, F., Stachniss, C., Popović, M. Semi-supervised active learning for semantic segmentation in unknown environments using informative path planning. IEEE Robot Autom Lett. 9 (3), 2662-2669 (2024).

الوصول مقيد. يرجى تسجيل الدخول أو بدء فترة تجريبية لعرض هذا المحتوى.

إعادة الطباعة والأذونات

طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه

طلب إذن

الوسوم

مقالات ذات صلة