使用移动眼动仪捕捉联合视觉注意的方法学

大家好，我叫Bertrand Schneider，是哈佛大学教育研究生院的助理教授。在这段视频中，我将向您展示如何使用移动眼动仪来捕捉社会科学中的一个核心概念——共同视觉注意。心理学家已对共同视觉注意进行了广泛研究，发现它与小组成员之间互动质量密切相关。

事实证明，当人们建立共同的认知基础并形成对任务的共享理解时，他们往往会同时注视相同的位置。传统上，研究人员通过手动编码视频来定性研究联合视觉注意。接下来，我将向您展示如何利用移动眼动仪在共处一地的情境中对这一现象进行定量测量。

在本视频中，我们将使用 Tobii Pro Glasses Two。这款眼镜是一种可穿戴式眼动仪，能够在真实世界环境中捕捉眼部运动。除了镜架上配备有用于追踪眼动的专用摄像头外，该设备还装有全高清场景摄像头和麦克风，因此可以在佩戴者视野背景下可视化其注视行为。

这些眼镜每秒可捕捉50次视线，且眼镜的实时视频流可通过无线方式或以太网电缆传输到计算机。不过，这些眼镜存在一个限制，即无法在普通眼镜之上正常使用。设置眼动仪的步骤相对简单。

首先，将要求参与者像佩戴普通眼镜一样戴上眼动追踪眼镜。根据参与者不同的面部特征，可能需要使用不同高度的鼻托，以确保数据质量。开启眼动仪后，参与者应将数据采集单元夹在身上，以便自由活动身体。

应打开 Tobii Pro Glasses 控制器，并指导参与者注视 Tobii 提供的校准标记中心，同时启用软件的校准功能。校准完成后，即可通过软件开始记录。记录会话结束后，应在指导参与者摘下眼动追踪眼镜和数据采集单元之前，先通过 Tobii 软件终止记录。

然后，关闭设备。可通过从数据采集单元中取出 SD 卡并插入计算机，利用另一款软件 Tobii Pro Lab 导出数据。Tobii Pro Lab 能够同时导入存储在 SD 卡中的所有记录会话。

随后可在 Tobii Pro Lab 中对文件进行处理，以生成视频、不同的可视化图像，或输出为制表符分隔值（TSV 文件），以便进一步分析。此处展示的是我们近期一项研究中的原始眼动追踪数据，该研究中有两名参与者正在学习编程控制机器人。在两侧您可以看到由每个眼动仪生成的视频流，其中标示出参与者的视线位置。

如您所见，由于每位参与者的视角不同，因此无法判断他们是否在同一时间注视相同的位置。此外，数据记录的开始时间也可能不同。这意味着需要对数据进行时间和空间上的同步。

我将在本视频中向您展示如何解决这两个问题。首先，我将介绍一种临时同步数据的方法。对于第一位参与者，您拥有特定数量的视频帧。

其中一些步骤位于实际实验任务之前或之后。例如第一个画面，实验人员正在校准眼动仪。同样地，对于其他参与者，您也会获得类似类型的数据。

此处未展示，但视频的每一帧都关联有代表每位参与者注视位置的 x 和 y 坐标。为了同步数据，我们在实验任务开始前和结束后，会在计算机屏幕上短暂显示一个基准标记。通过使用计算机视觉算法，我们可以检测该标记向每位参与者呈现的时间点，从而实现对数据的裁剪与对齐。

因此，这是一种处理数据同步问题的方法。在接下来的部分中，我们将探讨第二个问题：如何在空间上同步数据。如前所述，数据以视频流的形式来自每个眼动仪，并与每位参与者视线位置相关联，此处以蓝色和绿色表示。

尽管两位参与者的 x 和 y 坐标可能相同，但这并不意味着他们正在注视同一位置，因为他们是从两个不同视角观察屏幕的。解决此问题的一种方法是构建一个实验装置的图像作为参考，并在此图像中重新映射每位参与者注视位置的坐标。这使得我们能够检测眼动追踪视频的每一帧中，参与者是否在同一时刻注视于同一位置。

但是，我们如何将这些坐标重新映射到左侧的图像中呢？我们将使用之前用于同步数据的相同协同视觉算法。通过对视频记录的每一帧应用该算法，我们现在可以从参与者的视角检测出标记点的位置。

这使我们能够连接左侧参考图像上的相同标记。通过已知这一组共有标记点的坐标，我们可以利用一种称为单应性变换（homography）的数学运算来推断每个人视线的位置。通过对每一帧图像执行此操作，我们可以生成一段视频，以确认单应性变换的效果是否正确。

在右侧，您可以看到每位参与者的视频记录，其注视位置以蓝色和绿色显示。左侧图像与右侧参与者视角之间，相同的基准标记点通过白色线条连接。左侧显示的是重新映射后的注视点，当出现联合视觉注意时，注视点会变为红色。

生成该视频是确保数据干净且单应性变换正确执行的重要步骤。此外，还可以生成另外两种可视化结果以对数据进行合理性验证。第一种可视化结果是热图。

对于每位参与者，我们可以在实验装置图像上标出每个注视点。这可以确保单应性变换正确执行，并允许我们将这些注视点归类到不同的兴趣区域。例如，我们可以看到，大部分时间都集中在观察计算机屏幕，而注视备忘提示卡的时间非常少。

第二种可视化方法称为交叉递归图。交叉递归图使我们能够可视化成对参与者的眼动追踪数据。第一位参与者的时间显示在x轴上，第二位参与者的时间显示在y轴上。

黑色方块表示两名参与者正在观看同一位置，白色方块表示数据缺失，灰色方块表示参与者正在观看不同位置。对角线上的黑色方块表示他们同时观看同一位置。偏离对角线的黑色方块表示参与者在不同时间观看同一位置。

左侧显示的是具有较高水平共同视觉注意的二人组。中间显示的是具有较低水平共同视觉注意的二人组。右侧显示的是存在大量缺失数据的组。

通过执行这些合理性检查，您可以确保已将数据正确同步并重新映射到实验设置的公共图像中。这些步骤至关重要，必须在进行任何分析之前完成。最后，在计算联合视觉注意度量之前，需要选择两个参数。

第一个参数是参与者可以注视同一位置的时间窗口。Richardson 和 Dale 之前的研究表明，参与者可能需要长达两秒钟的时间才能从当前任务中转移注意力，转而关注其同伴正在注视的位置。因此，我们确定，如果两名参与者在正负两秒的时间窗口内注视了同一位置，则存在联合视觉注意。

第二个参数是两个注视点之间构成联合视觉注意所需的最小距离。该距离取决于具体情境，需要研究人员根据所实施的任务及其研究问题来确定。对于某些任务，该距离可能较短。

这里，例如，我们使用了 100 像素。对于其他任务，此距离可能更大。接下来，我将展示一些使用该方法获得的结果。

在获得该群体共同视觉注意程度的估计值后，可将此测量指标与其它感兴趣的变量进行相关性分析。例如，在我们的研究中，已将此指标与学习科学领域开发的一种评分体系进行关联，该体系用于评估群体协作的质量。针对每个小组，我们对这里列出的九个维度分别进行了评分。

例如，人们维持相互理解的程度，或达成共识的难易程度。这些评分必须与另一个配额达到可接受的评分者间信度。最后，我们还可以将这些评分汇总为一个综合指标，用以近似衡量每个小组的协作质量。

我们的研究以及其他研究均发现，联合视觉注意与协作质量之间存在显著相关性，该相关性通过前文介绍的评分方案进行衡量。使用此编码方案评分较高的小组，其联合视觉注意通常多于得分较低的小组。这表明，有效的互动往往与更多的联合视觉注意相关联。

在下一张幻灯片中，我将向您展示基于这一发现的另一项结果。因此，拥有精细的眼动追踪数据的一个优势在于，我们可以提取联合视觉注意的其他测量指标。例如，我们可以计算出谁发起了联合视觉注意的提议，以及谁对此作出了回应。

具体而言，在该图的横轴上，得分为零表示这些行为的分布相等，得分为一表示始终由同一个人响应或发起共同视觉注意的时刻。本研究发现，如纵轴所示，通过前后测验所测量的学习增益与该得分呈负相关。在共同视觉注意的发起或响应行为始终由同一人承担的小组中，学习效果较差；而在该责任被均等分担的小组中，控制前测得分的情况下，后测得分更有可能更高。

在本视频中，我介绍了帮助研究人员在时间和空间上同步移动眼动追踪数据的方法。研究结果表明，通过计算共同视觉注意的指标，双人眼动追踪数据可以提供协作的指示信息。此外，我还展示了相关结果，说明我们可以超越对共同注意的简单测量，例如通过分析是谁发起或回应了一次共同视觉注意事件。

我们发现，该指标与其他结果测量指标（如学习增益）相关。若无眼动追踪数据，此类指标的计算将无法实现。总之，我们发现本视频中介绍的方法学可帮助研究人员深入理解协作过程。

非常感谢观看本视频，欢迎参考相关论文以获取更多信息。