基于眼动追踪的屏幕交互式数字艺术环境中视觉注意力量化测量框架

摘要

本方案描述了一种用于量化交互式数字艺术中视觉注意力的综合框架。该方案详细说明了将眼动追踪数据与交互日志同步的系统架构、动态兴趣区（AOI）映射的方法，以及将注意力动态特征与用户体验结果相关联的分析流程。

摘要

本文介绍了一种基于注视的测量框架，旨在量化用户在交互式数字艺术体验过程中的视觉注意力，并将注意力动态特征与体验结果相关联。与传统的静态艺术观赏不同，交互式数字艺术涉及动态媒体、多源信息以及持续的反馈回路，这对标准的眼动追踪方法提出了挑战。所提出的系统将眼动数据采集、交互行为记录、时间戳同步、动态兴趣区（AOI）映射及指标计算整合为一个统一的分析流程。该实验方案阐述了可重复数据工作流的构建过程，实现眼动数据与特定交互事件的精确对齐，从而准确计算注意力分配、注意力切换代价以及探索性熵值。实验设计包含自由探索与目标导向任务两种范式，并在一项包含37名参与者的实验中进行了验证。应用该方案的结果表明，系统具有较高的用户感知易用性与满意度，测量模型支持将可用性与满意度划分为两个独立构念。此外，结果建模证实，感知可用性是整体用户满意度的基础性预测因子，而个案演示则验证了该流程量化情境感知注意力转移的能力。本方案为研究人员与设计者提供了一套严谨且可重复的工具集，用于分析交互设计要素（如反馈延迟与引导强度）如何影响沉浸式数字环境中用户的注意力分配及其后续主观体验。

引言

交互式数字艺术涵盖多种表现形式，从沉浸式空间装置到基于屏幕的交互平台^1，2。尽管完全沉浸式的设置代表了这一领域发展的前沿，但基于屏幕的交互艺术仍是一种基础性媒介，亟需在无约束的空间扩展之前建立严谨且标准化的评估方法。这种艺术形式有效地将观众的角色从被动观察转变为积极的共同创作者，其参与行为直接塑造了作品的意义³。艺术心理学中的经典理论框架，尤其是维也纳艺术感知整合模型（Vienna Integrated Model of Art Perception, VIMAP），为理解审美体验过程中自上而下的认知控制与自下而上的感知处理之间的相互作用提供了深入的分析视角。然而，尽管这些模型为静态观赏提供了坚实的理论基础，将其最新应用拓展至交互式数字环境时，则需要更先进的测量技术。将这些理论构念转化为交互式应用，必须依赖实时生理指标，以客观捕捉用户输入与系统响应之间的持续反馈循环。因此，从静态观看向主动交互的转变显著增加了用户体验评估的复杂性。目前该领域主流的评估方法主要依赖于事件后的问卷调查、回顾性访谈以及对观众观看习惯、观看顺序和停留时间的现场观察⁴。这些方法通常辅以粗粒度的行为指标，如总停留时长和点击频率⁵。尽管这些方法在捕捉总体偏好和整体满意度方面有效，但它们本质上难以追踪体验过程中实时的、微观层面的注意力变化。与依赖延迟回忆、因而易受认知偏差影响的回顾性问卷不同，本文提出的基于眼动追踪的框架能够提供连续、实时且客观的生理数据。此外，相较于总停留时间或表面点击频率等粗略行为指标，这种基于注视的分析方法能够捕捉微观层面的认知过程，例如犹豫瞬间、视觉搜索策略以及对系统反馈的即时感知反应。通过这种方式，它为交互设计的迭代优化提供了传统评估方法所不具备的可操作、精细化的实证支持⁶。该技术为理解交互艺术中的注意力分配、维持与转移提供了过程层面的量化指标，能够客观反映用户认知状态的生理数据^7，8，9。通过分析用户在何时、何地以及以多长时间注视特定元素，研究人员可为展览优化和交互设计提供客观依据。然而，在交互式数字艺术体验的背景下实施眼动追踪，面临着多个非同小可的技术与方法学挑战，这些挑战使其区别于标准的可用性测试或静态图像观看研究。

交互式环境通常涉及动态媒体、多种信息来源以及复杂的多步骤任务。视觉刺激并非固定不变，而是根据用户的输入不断演化。视觉刺激和系统反馈的持续变化导致注意力在移动对象和界面区域之间快速转移。这种动态性使得传统的基于静态界面的分割方法和指标解释容易产生偏差^10,11。例如，某一时刻相关的兴趣区域（AOI）可能在下一时刻消失或改变其语义含义，从而使静态热图变得不足。

此外，真实世界中的交互通常涉及自然的物理行为，例如头部运动、遮挡以及与屏幕距离的变化，这些因素会导致校准漂移^12,13。追踪质量的这些波动会引入缺失值和噪声，降低被试间数据的可比性以及统计检验的稳定性。标准的实验室方案通常要求严格的固定措施（例如使用下颌托架），但这会削弱艺术欣赏所需的自然体验¹⁴。因此，一个有效的实验方案必须在严格的数据质量控制与用户姿势的生态效度之间取得平衡。通过采用远程基于屏幕的眼动追踪技术，本研究所提出的框架允许躯干和头部自然、无约束的微小运动，为捕捉审美反应提供了一种实用的基线方法，同时避免了侵入性的物理限制。

至关重要的是，眼动数据与交互日志之间的时间同步性直接影响因果关系的解释。在静态观看任务中，刺激起始时间是唯一相关的时间标记。而在交互式艺术中，每一次触摸、手势或注视触发都会引发一个新的时间事件参考点。若缺乏统一的时间基准和事件对齐机制，将难以判断注意力的变化是由系统反馈所触发，还是由个体探索策略所驱动¹⁵。为了全面评估数字艺术，研究人员通常依赖两类不同的数据来源：交互日志（记录用户输入和系统状态）以及生理信号（例如用于视觉注意力的注视追踪）。然而，这些模态数据常常被孤立分析。在分析流程的早期阶段就对它们进行整合，在概念上和实践上都至关重要，因为二者本质上具有互补性：交互日志提供了精确的上下文“触发”信息（即系统反馈的内容和时间），而连续的注视数据则揭示了相应的认知“反应”（即注意力分配的位置和方式）。若缺乏统一的时间基准和多模态事件对齐机制，将难以确定注意力的转移是由系统反馈（例如视觉涟漪效应）引起，还是由个体的探索策略驱动。通过融合这些数据流，该框架在理论上实现了交互设计特征与用户认知之间因果闭环的衔接。

因此，推进交互式艺术中的眼动追踪研究不仅需要捕捉注视点，还必须具备严格的质量控制、同步对齐以及可重复的数据处理流程。现有解决方案的局限性进一步凸显了这一研究动机。目前艺术语境下的眼动追踪研究主要集中在静态观看任务，或将文本说明和导览视为外部变量，缺乏与交互机制的整合^16,17。尽管有证据表明，信息呈现方式和引导策略会显著改变观众的注意力路径和关注焦点，但大多数研究结果仍停留在单一干预与结果的相关性层面，未能解释在体验过程中交互反馈回路如何塑造注意力策略。

相反，尽管互动艺术实践已开发出以注视作为自然交互输入的原型系统——强调将观众从被动观察者转变为积极参与者——但这些尝试往往侧重于装置展示或技术验证^18,19。它们通常缺乏统一的注意力度量指标、可重复的实验范式以及建立注意力动态与体验结果之间可检验关联的闭环研究模型。这一空白阻碍了可迁移设计原则的发展，导致无法可靠预测特定设计选择（例如视觉转换的速度）将如何影响用户的沉浸感或可用性。

关键在于，现有文献缺乏一个将视觉注意力与实时交互系统从根本上关联起来的统一框架。尽管动态兴趣区（AOI）映射和注视事件同步方面的进展已在一般人机交互（HCI）背景下得到探索，但这些方法很少被整合到数字艺术所处的流畅且高度可变的环境中。当前研究的根本空白在于，单一模态的评估方法无法解释系统反馈与用户认知之间的因果循环。通过早期整合多模态数据——特别是将连续的注视坐标与毫秒级精确的交互日志相融合——研究人员可以超越基本的可用性度量。这种整合在理论上具有重要意义，能够将特定的微观注意力转移（例如搜索策略与稳定聚焦）直接归因于特定的交互设计选择，从而将用户体验流程从一种主观感受转化为可量化的认知状态。

为解决这些不足，本方案提出了一种基于眼动追踪的注意力测量框架，专门针对基于屏幕的交互式数字艺术而设计。尽管其底层技术流程在结构上与通用的人机交互（HCI）测试相似，但该框架独特地将非功利性的审美任务（例如，对生成性媒介进行自由视觉探索）与目标导向的操作相结合。这种结合明确区分了艺术欣赏过程中流动且探索性的本质与传统软件评估中功利性的标准方法。理论上，本研究处于交互式数字艺术、人机交互（HCI）与眼动追踪分析的交叉领域，旨在应对数字艺术评估中持续存在的挑战：客观刻画体验过程的连续性，以及确定交互输入与注意力输出之间的相关性。

本研究不仅立足于交互式数字艺术的体验情境，还将眼动追踪数据与交互日志相结合，以建立一个系统性的证据链——从体验输入到注意力指标，最终关联结果变量。在系统层面，我们构建了一个可重复的数据处理流程，将眼动数据采集、交互日志记录和时间同步整合到统一的架构中。该框架对预处理、区域映射和注意力指标生成进行了标准化，同时提供了可追溯的数据结构和分析脚本。

概念框架（图1）阐明了交互设计如何通过改变观看者的视觉注意过程来影响主观体验结果。该框架的核心逻辑是将交互元素（如反馈延迟和引导强度）视为可控输入，将视觉注意动态作为关键过程变量，将体验结果（沉浸感、可用性和满意度）视为输出，并将个体差异作为调节因素纳入考虑。在实验设计中，开发出兼顾自由探索与目标导向的交互任务。在建模层面，我们通过关联注意动态与结果变量，来检验交互设计元素如何通过视觉注意影响用户体验的内在机制。本实验方案提供了复制该框架的详细方法学步骤，确保用户、系统与艺术作品之间复杂交互作用能够以科学严谨的方式进行测量。

方案

本研究遵循澳门城市大学创新设计学院的机构指南。所有参与者在数据收集前均签署了知情同意书。

1. 系统开发与架构配置

1. 定义研究工作流程
   1. 采用如图2所示的四阶段闭环流程：系统开发、眼动追踪实验、数据分析和结果建模。
   2. 确保该工作流程支持迭代优化，即分析阶段的数据可用于指导后续迭代中系统开发的调整。
2. 配置系统架构
   1. 按照图3所示的流水线架构构建系统，包含五个独立模块：体验（任务）、眼动追踪、日志、同步（Sync）和分析。
   2. 体验模块：开发交互式艺术界面作为统一入口点。配置其生成两条并行数据流：
      1. 眼动追踪数据流：输出设备提供的原始注视坐标和时间戳。
      2. 交互日志流：记录用户操作（点击、手势）和系统状态变化（反馈触发、场景切换）。
   3. 在同步模块中实现用户数据报协议（UDP）脚本，以便在视觉刺激发生变化或用户输入被记录的确切毫秒，将事件标记从交互渲染引擎发送至眼动追踪设备的API。
   4. 在实验前运行60秒的同步测试循环，评估时序偏移的稳定性。验证交互时钟与眼动追踪时钟之间的延迟标准差（SD）严格低于6.5 ms（参见表1）。若标准差超过6.5 ms，需重置网络连接并重新校准。
   5. 对齐数据存储：配置数据库或文件系统，以存储对齐后的数据，其中每个数据点包含同步的注视坐标、事件标志和兴趣区（AOI）索引。
3. 建立系统运行时循环
   1. 按照图4所示实现运行时循环。
   2. 编程顺序必须严格遵循：启动会话 → 校准 → 加载场景 + 兴趣区（AOI） → 实时循环（用户交互 / 注视采集 / 渲染反馈）。
   3. 确保数据流水线（写入日志 → 时间戳同步 → 注视点解析 → 兴趣区映射）在数据采集后立即运行，以支持快速质量检查。

2. 刺激与交互设计

1. 选择交互模式
   1. 根据分类体系选择交互模式。根据研究问题，选择基于注视的交互、基于触摸/手势的交互，或多人共址交互。
   2. 在本实验方案中，采用注视与触摸输入相结合的方式，以遵循“最小化输入难度、最大化输出可解释性”的原则。
2. 定义交互模块与触发事件。
   ​注：此处，“交互模块”在操作上定义为数字艺术作品中的离散功能单元（例如，特定的交互式视觉效果），而“触发事件”指激活该模块的特定用户输入或系统状态变化，其时间戳精确到毫秒。
   1. 编程实现 表 2 中定义的具体交互模块。
   2. 环境吸引子：将触发条件设置为进入场景或空闲状态持续 ≥ 3.2 s。预期注意反应为更广泛的探索行为和更高的注视分散度。
   3. 注视高亮：将触发条件配置为注视停留在某一对象的兴趣区（AOI）≥ 420 ms。确保此操作触发视觉高亮以强化聚焦。
   4. 触摸涟漪：在画布点击事件发生时，在坐标 (x,y) 处实现视觉涟漪效果。记录波前出现后的扫视幅度变化。
   5. 引导提示：编程使视觉提示在预设的兴趣区（AOI）显示 1.4–2.1 s。利用该提示测量首次注视时间（TTFF）。
   6. 选择门控：创建一个决策点，要求用户在 7.5 s 内从 3 个选项中选择 1 个。利用此设置测量用户对所选选项与被拒绝选项的注视停留时间。
3. 设计兴趣区（AOIs）
   1. 创建如 图 5 所示的静态与动态兴趣区（AOIs）。
   2. 为固定的用户界面（UI）元素（例如菜单、边框）定义静态兴趣区（AOIs）。
   3. 为移动的视觉元素（例如漂浮的球体、粒子系统）定义动态兴趣区（AOIs）。确保兴趣区坐标以系统刷新率更新至日志文件中。
   4. 为兴趣区（AOIs）实施语义标记（例如 目标对象、干扰项、指令文本），以便在分析过程中计算语义可信度。

3. 受试者招募与筛选

1. 招募策略
   1. 从相关人群（例如，数字艺术研究中的大学生）中招募参与者，以确保具备基本的数字素养。
   2. 获取知情同意，并向参与者简要说明眼动追踪实验的过程。
2. 筛选标准
   1. 筛查视力情况，确认参与者具有正常或矫正至正常的视力。
   2. 排除患有影响标准眼动追踪校准的眼部疾病（如斜视、重度散光）的个体。
   3. 校准检查：在初始设置期间，执行5点或9点校准。排除平均校准误差无法达到 ≤ 0.85° 或出现持续追踪丢失（有效样本比率 < 85%）的参与者。
   4. 记录人口统计学数据，包括年龄、性别、利手性以及自我报告的数字艺术接触情况（参见 表3 参数）。

4. 实验步骤

1. 物理设置
   1. 在安静且环境光照稳定的房间内进行实验。避免阳光直射或屏幕上的强烈反光。
   2. 让受试者坐在固定的观看距离（例如，60–70 cm），该距离应与特定的商用基于屏幕的眼动追踪设备相适应。
   3. 调节座椅高度，使受试者的眼睛与屏幕中心齐平。
2. 实验会话执行
   1. 校准：执行校准程序。验证校准准确性。如果漂移值 > 1.10°，则需重新校准（漂移检查）。
   2. 练习试验：进行一次标准化的练习环节（约2分钟），使受试者熟悉交互协议（例如，如何触发注视高亮功能）。
   3. 任务执行：以交叉平衡的顺序呈现两种任务类型，以最小化顺序效应：
      1. 自由探索任务：指导受试者“自由浏览艺术作品，并与你感兴趣的内容进行交互”。
      2. 目标导向任务：指导受试者“寻找特定的隐藏元素”或“完成交互序列以解锁最终视觉内容”。
   4. 数据记录：确保系统在整个任务过程中自动同步记录眼动数据流和交互日志，并使用统一的时间戳。
   5. 任务后问卷：在每个任务模块结束后立即发放体验量表（沉浸感、审美愉悦、可用性、满意度）。

5. 数据处理与分析流程

1. 数据预处理与质量控制
   1. 参考 图6 有关注视处理流程的全面概述，请参见该视觉示意图，其详细展示了将原始注视坐标转化为可解释分析数据所需的各个顺序步骤：初始信号质量控制（包括眨眼插值和空间滤波）、基于速度的眼动解析以区分注视与眼跳、将注视点动态映射至活动兴趣区（AOIs），以及最终定量注意力指标的计算。
   2. 使用标准化的插值与滤波流程处理眨眼及信号丢失。识别瞳孔直径为零或追踪有效性标志无效的眨眼和信号丢失片段。
   3. 对于较短的间隙（≤75 ms），采用线性插值算法估算缺失的注视坐标。对于超过75 ms的间隙，保留数据未映射状态，以防止人为伪迹的产生。插值后，应用移动平均滤波器（窗口大小 = 3个样本）以平滑微小的高频噪声。
   4. 检测并剔除空间异常值，即落在屏幕物理边界之外的注视点，或表现出生物学上不可能的扫视速度的注视点> 1000^o/秒
   5. 计算最终的脱落率；排除任务总时长中不可恢复的损失超过12%的会话。
   6. 应用试次水平的漂移校正。如果在特定任务区块开始前的验证检查中检测到系统性偏移，则对该试次的原始眼动数据应用线性坐标校正向量，以补偿轻微的头部姿势偏移。
2. 固定与扫视解析
   1. 应用基于速度阈值的识别（I-VT）解析算法。若眼动速度超过30°/s，则将原始数据点分类为眼跳；否则，分类为注视。
   2. 应用至少80 ms的注视持续时间阈值，以滤除微扫视和伪迹噪声。
   3. 将眼动分为注视（稳定凝视）和扫视（快速移动）。生成注视表和扫视表。
3. 时间对齐与兴趣区映射
   1. 使用UDP事件标记作为绝对参考锚点，将注视事件的时间戳与交互日志的时间戳对齐。
   2. 通过从所有注视时间戳中减去初始化测试循环期间记录的平均偏移量，来校正任何固有的硬件传输延迟。
   3. 参考 表 4 有关说明在分析层面实现此整合的同步数据行的示意图示例，请参见。请注意该矩阵如何以毫秒级分辨率融合连续的注视坐标、离散的交互事件标志和动态的兴趣区（AOI）索引，从而构成后续指标计算的基础数据集。
   4. 实施动态AOI映射以克服静态空间划分在流动数字艺术环境中的局限性。
   5. 使用点在多边形内算法，将每个注视坐标映射到针对该精确毫秒时间戳特异性更新的活动兴趣区（AOI）。
   6. 注意：这确保了即使视觉元素持续移动或状态发生变化，注视数据仍能正确归因于目标交互对象，而非固定且已过时的屏幕位置。
   7. 使用严格的 z 缓冲区层级规则为重叠的感兴趣区域（AOI）分配优先级。映射原始（x,y) 注视坐标更新至该特定毫秒时间戳对应的边界框数组。
   8. 如果坐标落在多个活动的边界框内，则将注视点 exclusively 分配给渲染层索引最高（即最前方的视觉元素）的感兴趣区域。丢弃来自较低层的重叠数据，以防止重复计数。
   9. 计算未映射注视点的百分比。确保该数值保持在 ≤ 0.18（18%）以内，以验证兴趣区（AOI）定义的完整性。
4. 指标计算
   1. 根据所示，在三个维度上计算指标 图1 框架：
   2. 计算首次注视时间（TTFF），即从特定视觉刺激呈现开始至首次进入相应目标兴趣区（AOI）的注视起始点之间的时间间隔。计算注视时长（在兴趣区内所有注视的总持续时间）和重访率。
   3. 计算转移矩阵以量化注意力切换。计算转移概率 P_AB 通过将从兴趣区A到兴趣区B的注视转移次数除以从A发出的总转移次数，计算从兴趣区A转移到兴趣区B的比例。通过将兴趣区之间的总转移次数除以有效任务时长，计算转换率。
   4. 计算全局凝视熵（Global Gaze Entropy）H）使用香农信息论公式来量化视觉探索的随机性。将方程表述如下：
      (1)
      其中变量定义如下：：全局注视熵，表示视觉注意力的分散程度。 N场景中定义的动态兴趣区域总数。 p_i: 凝视落入特定兴趣区（AOI）的概率。该值由兴趣区内停留时间占总有效任务时长的比例计算得出。
   5. 按任务阶段（自由探索 vs. 目标导向）对这些指标进行汇总。
5. 统计建模
   1. 将计算指标与问卷评分合并，构建最终数据集。
   2. 进行验证性因子分析（CFA）以验证可用性和满意度的构念。
   3. 使用混合效应模型或结构方程模型（SEM）来检验假设（例如 交互延迟预测注意力转换, 注意力切换可预测可用性).

结果

样本特征与数据质量

本方案的应用共招募了43名学生，其中37名最终被纳入最终分析（纳入率：86.0%）。如表3所述，6名参与者的排除完全依据数据质量控制标准：眼动追踪丢失或校准不佳（n=2）、缺失样本过多（n=2）、因交互阶段自述晕动症导致任务未完成（n=1），以及因个人时间安排冲突在完成问卷前自愿退出（n=1）。纳入样本的数据质量较高，平均校准误差为0.74 ± 0.18°，有效眼动采样比例为91.6 ± 4.8%。未映射注视点的中位比率为12.7%，远低于可接受阈值，证实了动态AOI映射策略的有效性。

尽管所提出的技術流程旨在計算細粒度的注視指標（詳見數據處理協議），但本研究實證驗證階段的主要目標是評估系統的運行時穩定性及其對用戶主觀體驗的影響。持續的實時渲染與眼動追蹤常常會破壞用戶的沉浸感。因此，結果建模重點在於驗證整合該測量框架是否能在互動式數位藝術體驗過程中保持高可用性與整體滿意度。

讨论

本研究建立了一个经过验证的眼动追踪测量框架，专门针对交互式数字艺术进行定制。核心发现表明，动态兴趣区（AOI）映射结合毫秒级多模态同步，能够成功量化以往在流动媒体中难以察觉的微观视觉注意力转移。理论上，本研究通过将功能性可用性确立为交互情境中主观满意度的可量化前置预测指标，弥合了被动观察与主动参与模型之间的概念鸿沟。实践上，所提出的流程为设计人员提供了一套客观、连续的评估工具，可用于优化反馈延迟和视觉引导，从而将交互设计从依赖直觉的实践转变为基于证据的实践。因此，研究结果揭示了关于交互体验的方法论及其更广泛本质的重要见解。

首先，在实验条件下记录到的高可用性和高满意度评分证实了所提出的系统运行循环的可行性（图4）。通常情况下，实验设备（如下巴托架、眼动仪）的介入会破坏艺术体验的沉浸感或流畅性²⁰。然而，较高的满意度评分表明，该实验方案的非侵入性设计和高效的校准流程保持了艺术体验的完整性。这验证了该系统在实验严谨性与生态效度之间的良好平衡^21...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
眼动仪	Tobii AB	Pro Nano	基于60 Hz屏幕的眼动捕捉；5/9点校准
监测	ASUS	VP249QGR	23.8'', 1920×1080；观看距离约65 cm
相互作用PC	戴尔	OptiPlex 7010	Windows 10；运行界面并记录日志
同步时钟	自定义	v1.0	统一注视方向 &以及交互时间戳
固定液解析器	开源	I-VT	固定阈值 80–120 毫秒
AOI Mapper	自定义	二维点在多边形内	将注视点映射到静态/动态兴趣区