基于人工智能的学生注意力水平检测系统

我们的研究重点是探索利用人工智能在课堂环境中测量和检测学生注意力水平的可行性。我们正在研究自主开发的算法和方法是否能够有效评估学生在课堂上的参与程度。目前最新的方法基于人工智能技术。

具体而言，这些学习算法属于前沿技术。这类算法利用大量数据来训练线性模型，随后可用于图像分类、估计人体姿态，以及完成其他一系列有趣的任务。

我们的研究面临两个主要的关键挑战。首先，存在一些必须解决的技术问题。例如，如何设置设备，如何从图像中估计运动、姿态以及我们在方法中考虑的其他参数。

此外还有一个主观性分支，因为尚不明确所有个体是否以相同方式表达注意力水平。我们系统最突出的优势在于采用了多模态方法。我们分析多种输入信息，包括面部表情、身体姿态、头部姿态、加速度计数据和心率，以自动分类注意力水平。

此外，我们的方法在很大程度上依赖于人工智能，该技术已在其他相关研究领域中被成功广泛应用。首先，在目标位置安装一台具备 Wi-Fi 功能的路由器，以覆盖整个房间。为每位学生的所在位置配置一块智能手表和一台摄像头。

为每两名学生配置一台嵌入式设备。将两台摄像机分别固定在两个三脚架上，并连接至另一台嵌入式设备。通过USB连接线将摄像机与对应的嵌入式设备连接，并开启设备。

同时打开智能手表。然后将所有嵌入式设备和智能手表连接至路由器的 Wi-Fi 网络。将摄像头放置在每位学生课桌的角落，朝前并略微向上倾斜，以确保学生的面部清晰可见。

然后，将两个装有摄像头的三脚架放置在教室第一排靠近过道的课桌前方。调节三脚架的升降杆至最高位置，以确保能够清晰地观察到大多数学生。运行智能手表和嵌入式设备上的采集软件，以发送图像以及加速度计、陀螺仪、心率和光照数据。

此外，运行服务器软件以收集和存储这些数据。接下来，将天顶相机定位以覆盖整个场景，确保能够清晰地看到学生身体。同时在每位学生前方放置一台额外的相机。

让学生就座，向他们说明实验目的，并指导他们将智能手表佩戴在惯用手手腕上。在服务器上启动数据采集与收集，然后恢复正常的课堂教学。首先，设置用于检测学生注意力水平所需的硬件和软件。

指导学生将智能手表佩戴在惯用手手腕上，并开始数据采集。通过收集每位学生智能手表中的所有图像和生物识别数据来获取所需数据。随后构建一个数据框，其中包含一秒钟内的数据，包括来自个体相机和天顶相机的各一张图像，以及陀螺仪、加速度计、心率和光照条件值各自对应的50条记录。

现在利用算法提供的双眼、鼻、口和下巴的估计位置，通过 OpenCV 库中的 cv:solvePnP 方法求解透视端点问题，从而获得定义头部朝向的旋转矩阵。为了计算身体姿态，使用 BlazePose 18 个关键点估计算法处理天顶视角图像，并提取图像中身体关节的二维坐标列表。

获取学生的面部图像，并通过将关键点列表中的坐标投影到图像平面上来确定眼睛的位置。接着，绘制一条连接两眼位置的虚拟向量。计算该向量与水平线之间的夹角，并构建一个单应性矩阵。

将图像进行反向角度调整，并利用关键点使双眼水平对齐。然后根据关键点确定面部边界并裁剪出面部区域，输入至情绪检测卷积神经网络。获取网络输出结果，即一个包含七个位置的向量，分别表示七种基本情绪的对应概率。

为了测量注意力水平，从数据帧中获取加速度计、陀螺仪和心率数据。将加速度计和陀螺仪数据流输入到自定义构建的基于深度学习的模型后，获取模型输出，该输出指示书写、在键盘上打字、使用手机或静止状态的概率。通过融合头部方向、情绪识别结果、身体姿态、陀螺仪、加速度计和心率数据，输入至最终的注意力分类器。

然后获取分类器结果，并将连续得分划分为低、中、高三种注意力等级。通过教师计算机上的图形用户界面，在普通网页浏览器中向教师展示注意力水平的结果。该模型共训练了 300 个轮次。

验证损失低于0.1%，验证准确率为97%，表明该模型性能良好。