无缝多模态人机交互：人机交互中的融合技术

摘要

本文综述了深度学习、多模态感知以及集成策略方面的最新进展，这些进展实现了人类与机器人之间无缝、自适应且以人类为中心的通信。

摘要

随着社交机器人、辅助机器人和教育机器人进入家庭、医疗保健机构和教室等日常环境，无缝的多模态人机通信变得至关重要。在这些场景中，机器人需要以高精度、低延迟和强健的现实适应性，整合语音、手势、注视、面部表情以及触觉线索。本综述系统地考察了当前技术如何实现实时、双向的多模态人机交互（HRI），重点关注融合策略、系统架构以及在特定领域的应用。我们检索了Web of Science核心合集2015年至2025年间以英文发表的实证研究，筛选出148篇涉及交流整合的论文。其中最重要的发现包括：自2022年以来，融合方法明显转向混合式和基于注意力机制的融合（约占所有方法的43%），相较于早期方法，能更有效地处理时间异步性和具身交互；评估指标普遍存在不一致性，阻碍了跨研究的比较；实验室中表现优异的系统在面对噪声、遮挡或用户差异等现实条件时，其鲁棒性仍明显不足。关键挑战包括实时处理、语义对齐、数据效率、部署鲁棒性，以及触觉信号与情感信息整合的研究尚不充分。展望未来，本综述建议优先发展自适应融合策略、建立针对同步性和流畅性的标准化基准，并推动持续学习，以实现面向用户个性化适应的能力。最终目标是指导开发更具人性化、能够在日常生活中实现协作性、有意义且社会可接受的机器人智能体。

引言

机器人已从结构化环境中使用的工业工具，发展为融入家庭、医院和教室等社会场景的智能体。如今，它们在教育、治疗和陪伴等方面提供辅助，体现了从以任务为导向的自动化向以用户为中心、具备适应性交互的转变。这一转变的核心在于多模态通信，使机器人能够以动态环境中自然交流所需的时序精度，感知并响应人类的多种线索——包括言语、注视、手势、面部表情和触觉。这种对协调性与响应性的强调，与人机交互和认知科学领域的核心问题高度一致。本文所指的无缝多模态通信，是指对用户而言流畅且直观的交互体验，其特征包括亚秒级响应时间（通常小于300毫秒）、可感知的延迟或不匹配最小化，以及对现实世界中各种变化的强适应能力。这使其区别于传统的基于指令或单模态的系统，后者常因时序误差、模态失效或僵化的响应而破坏交互的自然性。

在人机交互（HRI）领域，本综述聚焦于人机通信，即人类与机器人之间多模态信号的双向实时交换。尽管HRI还包括规划、控制与安全等方面，但通信关注的是跨感官通道的感知与行为的同步。早期基于命令的系统优先考虑效率而非交互性，常导致僵化或延迟的行为表现。当前的研究致力于开发适应性强、具备情境感知能力的模型，以适应用户状态与情绪^1,2。这一发展趋势凸显了构建精确、直观且个性化的交互框架的必要性。

早期的社交与辅助机器人通常依赖预设脚本程序或单一模态输入（如语音或触控），灵活性受限³。基于规则的逻辑和较慢的处理速度常导致手势与语音之间的时间不同步，或难以适应用户行为。为解决这些问题，研究人员采用低延迟融合、多模态感觉整合以及用户自适应学习技术^4,5。这些策略可通过人机交互（HRI）领域广泛认可的三个基本沟通原则加以理解：互补性（不同模态相互补偿）、冗余性（信息重叠提升鲁棒性）和协同性（多模态汇聚增强自然性）。

传感与学习技术的进步催生了能够实时整合视觉、听觉、触觉及生理输入的社交响应型机器人^5,6。这类系统不再依赖固定脚本，而是持续根据用户的提示进行自适应调整。便捷的编程接口与示范学习方法使教育工作者和治疗师能够针对护理与教学场景定制机器人的行为，这些场景对精确性、响应能力与适应性具有较高要求。

社交人机交互中的交流模式可分为并行式、互补式和交互式三种（图1）。在并行交互中，人类与机器人独立行动，交流极少。互补交互引入了结构化提示或基于事件的支持。最先进的交互式模式则涉及在言语、动作和视线等多个通道上持续进行的双向调整⁷。

文献筛选与分析

系统综述方法学：我们在 Web of Science 核心合集数据库中进行了系统的文献检索，目标为来自主要出版商（IEEE、ACM、Springer、Elsevier、Wiley、Taylor & Francis）的同行评审期刊文章和完整的会议论文集。布尔检索式为：(("human-robot interaction" OR HRI) AND (multimodal OR "sensor fusion" OR gesture OR gaze OR speech OR tactile) AND ("real-time" OR "low-latency" OR adaptive OR robust))。纳入标准为：2015年1月至2025年期间以英文发表的文献——该时间段涵盖了从基于规则的单模态系统向强调低延迟、自适应和鲁棒性交互的深度学习架构的转变过程——重点关注用于交流型人机交互的多模态融合技术，并具有实证验证（定量或定性）。排除仅限于单模态交互的研究、仅涉及机器人控制而无交流意图的研究，以及非实证性工作（例如纯理论性或仅基于仿真的研究）。初始检索获得大量文献，去除重复项后，我们根据纳入标准对标题和摘要进行筛选，随后进行全文审阅，以评估其相关性及对可靠多模态融合的贡献。这一多阶段筛选过程如 PRISMA 风格流程图（图2）所示，最终确定148篇论文作为本综述的实证基础。

精选文献概述: 图3 显示出版趋势与学科分布，涵盖计算机科学与自动化领域 & 机器人学占据主导地位，同时行为科学与神经科学的贡献日益增长，凸显了该领域的跨学科发展趋势。我们根据文献在多模态融合方面的技术贡献进行了主题聚类表1）。该综述涵盖了模态选择、融合方法、延迟处理、鲁棒性策略、适应性以及评估指标。2019年至2021年的研究主要采用早期融合或晚期融合，通常侧重于手势和触觉输入。自2022年以来，混合融合与基于注意力机制的架构逐渐受到青睐，尤其适用于情感计算与具身交互场景。在该语料库中，混合融合约占研究方法的43%，早期融合占29%，晚期融合占28%，这一分布表明对时间异步性的容忍度有所提升。

尽管在初步筛选的广泛文献中，实时性能力常被提及，但仅有少数研究详细描述了具体的缓解策略（例如，缓冲处理、预测模型或传感器层面的优化）。鲁棒性通常依赖于滤波、冗余设计或基于规则的备用方案，而具有前瞻性的自适应方法仍然罕见。评估方法不一致，对时间同步性或交互流畅性的标准化评估仍不常见。各研究之间的指标差异极大，导致直接比较往往困难。准确率、F1分数和延迟数据虽常见，但它们来源于不同的数据集、任务和环境条件；很少有论文采用共享的基准来评估时间对齐或抗噪声能力。因此，在干净的实验室环境中表现出的优异性能，常常夸大了这些方法在受控环境之外的实际效果。建立一致的评估框架——或许可包括在真实变异性条件下的标准化延迟测试——将极大地方便判断哪些方法真正推动了该领域的发展。

在触觉-情感整合方面仍存在关键空白（仅有六项研究^{8,9,10,11,12,13}涉及此问题），以及在用户驱动的时间不确定性下动态调整延迟的问题。文献中暴露出若干值得关注的矛盾。尽管混合融合常被认为能有效处理时间错位问题¹⁴，但真正具有前瞻性或适应性的行为仍十分罕见，这令人质疑其所宣称的实时性能是否真正无缝。与此同时，基于视觉和语音的情感识别已取得显著进展，相比之下，将触觉线索与情感理解相结合的研究却极为有限。在受控实验中表现出的高准确率在真实世界条件下往往显著下降，凸显出在不同环境和用户之间泛化能力方面持续存在的挑战。表2总结了具有代表性的架构趋势和评估方法，为后续章节讨论的挑战提供了依据。

本综述为多模态人机交互（HRI）领域的文献提供了独特的贡献。近期的综述，如 Zhao 等人¹⁴，对感知驱动的决策机制进行了广泛概述，而 Wang 等人¹⁵则聚焦于5G支持的视觉-触觉信息传输。这些研究均强调通用框架或通信协议，对实时融合的权衡、指标可比性或部署挑战的讨论较为有限。相比之下，我们提出了更具针对性的分析：在特定约束条件下比较融合策略，批判跨研究间指标的不一致性，并突出实际应用中的差距——尤其是先前综述普遍忽视的实验室到实际场景的性能差异问题。