一种融合AI代理反馈的动态书面纠错框架，用于结构化与迭代式作文支持

摘要

本研究以多轮人工智能与教师辅助修改为基础，对STEP-DWCF-R（面向动态书面纠正反馈的结构化、分层式、循证流程，结合机器人人工智能代理）在提升雅思写作表现方面的效果进行基准评估。

摘要

自动写作反馈系统虽已广泛应用，但大多数系统提供的反馈是静态且零散的，对修改过程的支架支持有限。本研究评估了STEP-DWCF-R框架（基于机器人AI代理的结构化、分层式、证据驱动的动态书面纠错反馈流程），该框架在一个为期一周的任务周期内，通过机器人AI代理以多轮迭代方式传递由教师监督的AI生成反馈。在一项为期八周的准实验研究中，32名英语作为外语（EFL）学习者被随机分配至传统书面纠错反馈组（每项任务仅一轮反馈）或STEP-DWCF-R组。两组均在基线和后测阶段完成雅思Task 2议论文写作，所有作文经匿名化和随机化处理后，由两名独立评分员进行评分（组内相关系数ICC = 0.86–0.93）。线性混合效应模型显示，STEP-DWCF-R组在总分提升方面显著优于对照组（Δ = 1.03 vs. 0.31分），且在四项分析维度上均有显著进步，其中“连贯与衔接”维度的提升最为明显。过程数据表明，STEP-DWCF-R组学习者平均每项任务完成2.26轮修改，且错误数量随轮次呈线性下降趋势。研究结果表明，整合了AI生成反馈、教师监督以及多轮机器人AI代理传递的STEP-DWCF-R框架，相较于传统的单轮反馈模式，更能有效促进EFL学习者的雅思写作能力提升，为人工智能增强型动态反馈在EFL教学中的实际应用提供了有力支持。

引言

书面纠正性反馈（WCF）在二语写作教学中仍处于核心地位。有证据表明，全面的书面纠正性反馈能够长期提升学习者的语言准确性，并且当其与课堂教学实践相配合时，可与在真实教学环境中切实可行的聚焦式反馈方法并存^1,2,3。近期的课堂研究表明，持续实施全面的书面纠正性反馈能带来持久的准确性与流利度提升。关于反馈范围的研究提醒教师应有策略地选择需纠正的语言形式，而非标记所有错误^4,5,6,7,8,9。与此同时，自动写作评估（AWE）与自动书面纠正性反馈（AWCF）迅速发展。研究结果存在分歧：一些研究发现，使用AWCF或类似Criterion系统的项目能在任务完成度和语法广度方面带来提升，而另一些研究则发现其相较于仅由教师提供反馈并无显著优势，或仅观察到大量局部性、表层性的修改。为反映这一研究结果的异质性，我们有意综合多项AWCF研究进行三角验证，而非依赖单一来源^10,11,12,13。

学习者对反馈提供者身份的信念同样重要：关于感知来源的准实验研究表明，当相同的反馈被设定为“教师提供”或“系统自动提供”时，学习表现和信任度均可能发生改变，这凸显了在自动写作反馈设计中考虑感知效应的必要性^14,15。在此基础上，新兴研究进一步指出，教育机器人由于具备具身存在性，也可作为反馈提供者，可能以独特的方式影响学习者的参与度和信任感¹⁶。

另一条研究路径——动态书面纠正性反馈（DWCF），强调通过编码方式实现频繁、适度且全面的反馈循环，并快速进行修改。来自多种教学环境的证据表明，DWCF能够稳定提升语言准确性（并对流利度产生频率效应），尽管其效果可能因课程目标和学习者群体而异^17,18,19,20。最后，关于生成式人工智能辅助反馈的早期研究显示，其在写作成果上的效果与教师反馈相当，若结合明确的元语言指导，还可能带来额外益处，这推动了在二语教学情境中进一步整合人工与人工智能反馈的探索^21,22。

为应对这些挑战，我们提出了 STEP-DWCF-R 框架（基于结构化、分层、循证流程的机器人人工智能代理动态书面纠正反馈，Structured, Tiered, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent），这是一种新型的多阶段动态书面纠正反馈（DWCF）系统，旨在提供结构化、迭代式且以过程为导向的写作支持。本系统利用大语言模型（Large Language Models, LLMs）的预测与生成能力，通过机器人人工智能代理界面传递反馈，并结合教师干预，将复杂的写作问题分解为可管理的类别，通过多轮互动提供反馈，并采用基于结果与基于过程的双重指标评估反馈效果。通过将反馈转化为结构化和互动式的过程，STEP-DWCF-R 推动自动化写作支持从静态的错误纠正，迈向更具参与性、具身性和以学习为中心的系统。

我们的贡献集中在三个相互关联的进展上。首先，我们提出了一种结构化的反馈表示框架，该框架对错误类型（如语法、连贯性）进行分类，从而使机器人AI代理提供的大语言模型（LLM）反馈既具有可操作性，又具备教学上的可解释性。其次，我们引入了一种迭代式的多阶段流程，将语言、结构和推理层面的反馈按轮次有序组织，以降低认知负荷并加深学习参与度。第三，我们将评估范围从最终得分扩展到包括错误减少率和反馈采纳率等以过程为导向的指标，从而更全面地反映学习效果。书面纠正性反馈（WCF）框架代表了在教育技术中系统化书面纠错反馈的最早尝试。这类系统起源于自动写作评估（AWE）和自动作文评分（AES），强调错误识别和能力评分^13,14。其优势在于可扩展性：成千上万的学习者可以在无需依赖人工批改瓶颈的情况下获得反馈。然而，这些框架通常仅提供静态且零散的评语，例如语法检查、词汇建议或整体评分，学习者难以将其转化为有意义的修改行为^23,24,25,26。

随着时间推移，写作计算机反馈（WCF）研究逐步发展，纳入了更多以技术为媒介的方法。这些较新的系统致力于通过计算方法捕捉写作的更广泛层面^13,21。近年来，研究范围进一步扩展至具身技术领域，教育机器人开始在写作反馈或辅导情境中充当反馈提供者。其物理存在和交互特性引入了关于信任、参与度和学习者动机的新动态。然而，尽管取得了这些进展，WCF 的主流取向仍以结果为导向^8,27：即以一次性方式生成评分或孤立的评语。从教学法角度看，这种取向与形成性评估不相契合；理想的反馈应能在多轮草稿修改过程中提供支架式支持，并促进元认知参与^{16,28,29,30,31}。因此，WCF 的概念边界暴露出一个长期存在的差距：反馈虽已传递，却未被结构化或序列化以引导学习过程。

针对这些局限性，学者们开始探索更具动态性的写作反馈方法。早期研究强调了迭代反馈循环的重要性，即学习者在支架式指导下进行多次修改^17,32。此外，有研究提出通过结构化错误分类来提高反馈的可解释性，并使其与教学目标保持一致^33,34。动态书面纠正性反馈（DWCF）框架整合了这些方向，嵌入了三项设计原则：明确的错误图式、分阶段且迭代式的反馈传递方式，以及面向过程的评估指标^19,35。DWCF 不再一次性向学生提供大量修改意见使其不堪重负，而是通过多轮反馈，将关注点分布在写作的不同层次上——包括表层准确性、结构连贯性以及论证深度^17,33。评估范围也超越了最终得分，扩展至包括错误减少率、反馈采纳情况和修改深度等过程性指标^10,19,25。尽管该框架前景广阔，但其实际应用仍较为有限，大多数研究尚未在大规模、技术中介的环境中实现其操作化^10,36,37。这一空白凸显了亟需发展不仅在理论上构建 DWCF，还能在真实教育情境中验证其可行性的框架。 图1展示了文献中提出的 DWCF 的整体理论框架。该图从一般意义上说明了动态书面纠正性反馈可能在多个层面发挥作用的理论依据，包括本研究中可测量的结果（如准确性、连贯性）以及本研究中提出但未直接测量的理论构念（如写作焦虑减轻、流利度和语言复杂性）。该图旨在提供理论导向，而非本研究试验的直接模型。图中已标出与本文分析的结果和过程指标相对应的要素；其他路径仅为示意图，未在本研究中进行评估。

大型语言模型（LLMs）和多模态系统的兴起为大规模实施DWCF提供了强有力的手段。LLMs凭借其零样本和少样本能力，能够在无需针对特定任务训练的情况下生成具有上下文敏感性的反馈^21,22。最近的实验表明，LLMs在指令分割、分阶段优化和解释生成方面具有潜力，这些功能与DWCF的原则高度契合^13,37,38,39。在人机协作方面的互补研究表明，通过与AI反馈进行交互、调整并有选择性地采纳，形成迭代循环，可提升反馈的接受度和修改质量^25,30。当这些过程通过机器人具象化实现时，交互在理论上可具备多模态特征——结合手势、语音和实体存在——这可能进一步增强学习者的感知与学习动机⁴⁰。

基于最近发展区（Zone of Proximal Development, ZPD）⁴¹、输入假说（Input Hypothesis）⁴² 和技能习得理论（Skill Acquisition Theory）⁴³，我们将 STEP-DWCF-R 定位为一种连接学习者支持、输入处理与技能发展的调控机制。具体而言，与评分量规关联的条目化设计、及时整合的清单，以及多轮次由教师主导的 AI、人类与机器人循环，在一个整合层上运行，协调修改过程，并产生本研究分析的可观测终点指标（IELTS 总分及任务回应/连贯与衔接/词汇资源/语法多样性与准确性得分；修改轮次、语言吸收、持续性错误、时间）。诸如写作焦虑降低等构念在理论上有所探讨，但在本试验中未予测量。

方案

本方案已获上饶幼儿师范高等专科学校初等教育学院伦理委员会批准。所有参与者均为成年人（≥18岁），并在研究开始前签署书面知情同意书。

1. 研究设计

注意：由于可用的英语作为外语（EFL）教室的限制（总人数 N = 32），参与者被随机分为两组，每组16人。尽管样本量较小，但鉴于采用组内被试的前后测设计以及基于以往DWCF研究^17,18,19,20所预期的较大效应量，该样本量被认为足以支持一项初步探索性研究。

1. 采用简单随机化方法将参与者随机分为两组（每组 n = 16）。使用计算机生成的随机数字列表生成分配序列。在基线评估完成前，对授课教师隐藏分组信息。
2. 确保两组由同一教师使用相同的教学材料和授课时数进行教学。
3. 通过直接人工纠正（WCF）或通过 STEP-DWCF-R 工作流程提供反馈，其中人工智能和教师的反馈通过机器人人工智能代理呈现。

2. 写作任务

1. 在第1周考试条件下进行一次基线IELTS Task 2作文测试（≥250词，40分钟）。
2. 在第2至第7周进行六次每周写作任务。每次任务包括：
   1. 在WCF组中，由人工对作文提供一轮反馈。
   2. 在STEP-DWCF-R组中，生成AI反馈，由人类教师进行审核与调整，并指导机器人AI代理以互动方式向学习者呈现反馈。
   3. 在STEP-DWCF-R组中，重复STEP-DWCF-R反馈循环2–3轮，直至完成修改。
3. 在第8周相同考试条件下进行一次后测IELTS Task 2作文测试。两个组均遵循相同的每周时间安排。在STEP-DWCF-R组中，要求在学生提交初稿后24小时内提供第一轮反馈；学生须在48小时内完成修改并重新提交。后续各轮反馈遵循相同时间安排，并在每周规定时间内完成所有反馈循环。

3. 反馈工作流程

1. 使用 GPT-5 API（模型 = "gpt-5"，温度 = 0.7，最大输出令牌数 = 2048）处理每一份学习者草稿，生成涵盖四个固定类别的条目式反馈：语法、词汇、组织结构和推理能力。具体的系统提示词和 JSON 输出模式可在开源仓库中获取（https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback/blob/main/evaluate.py，函数 build_prompt() 和 normalize_reasoning()）。
2. 根据以下标准对 AI 生成的反馈进行人工审核：删除误报或不准确的评语；补充符合雅思评分标准但被遗漏的关键问题；确保评语具有可操作性并体现鼓励性；保持与四类别框架的一致性。手动记录每次审核决策。
3. 将经过审核的反馈以 JSON 格式保存，并上传至机器人 AI 代理界面（一个轻量级的 Flask Web 应用程序）。
4. 通过 Web 界面呈现反馈内容。为每个类别显示结构化表格（包括摘要、问题列表和修改建议）。通过系统日志记录学习者的确认反馈和澄清请求。指导学习者修改并重新提交草稿。每项任务最多重复此循环三次。
5. 验证与故障排查。
   1. 通过确认输出为包含全部四个必需类别（语法、词汇、组织结构和推理能力）的有效 JSON，验证 AI 反馈生成是否成功。通过确保已删除误报、补充了遗漏问题，并已保存经审核的 JSON 文件，确认教师审核已完成。
   2. 通过上传端点将经审核的 JSON 文件上传至基于 Flask 的机器人 AI 代理界面。通过界面确认消息和数据库日志条目确认上传成功。通过表单提交日志自动记录学习者的重新提交情况。
   3. 使用 ensure_json() 和 normalize_reasoning() 函数处理不符合要求的 AI 输出（例如格式错误的 JSON、缺失类别或不准确的反馈）。根据需要调整提示参数后重新生成 API 输出。如有必要，在教师审核过程中手动修正 JSON，确保上传前四个类别均完整存在。
      注：原始 AI 反馈示例、教师审核版本及最终界面输出可在仓库中查看（data/ 文件夹和 notebooks/ 目录）。

4. 结果测量

1. 将主要结局定义为雅思总分在第1周至第8周之间的变化。
2. 将次要结局定义为任务回应、连贯与衔接、词汇资源以及语法范围与准确性的变化。
3. 指派两名具有雅思写作任务2评分经验的独立评分员评估所有文章。移除所有文章中的姓名和组别标识信息。随机化文章顺序，并对评分员设盲，使其不知晓分组情况和时间点。在第1周基线测试和第8周后测中使用相同的雅思写作任务2题目。对于评分差异超过0.5分的情况，通过讨论达成共识。采用平均测量值组内相关系数（ICC[2,2]）评估评分者间信度。

5. 过程测量

1. 记录每项任务的修改轮次数量。
2. 记录学习者对反馈意见的采纳情况（采纳、修改、拒绝）。
3. 跟踪各循环之间持续存在的错误。
4. 记录教师反馈时间、机器人反馈时间以及学习者修改时间。

6. 数据分析

1. 使用组别、时间以及组别×时间交互作用拟合线性混合效应模型。
2. 对过程指标应用广义混合效应模型。
3. 报告效应量、95%置信区间以及校正后的 p 值。
4. 通过协方差分析（ANCOVA）、评分者特异性模型和稳健标准误进行稳健性检验。

7. 代码可用性

用于重现 STEP-DWCF-R 系统所需的所有代码、提示词、JSON 模式及示例实现文件均可在 https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback 公开获取。

结果

实验与分析

所有32名学习者均提供了基线数据。每个组（WCF和STEP-DWCF-R）各有16名学习者的测试后数据可用（图2）。研究时间线和测量指标见图3，端到端反馈工作流程如图4所示。本研究人工智能系统的实验设置与实施参数见表1。分析按照预先设定的意向性治疗计划进行。我们首先评估基线等效性（表2），然后报告主要结果（图5和表3），接着是次要结果（表4），并进行稳健性和可靠性检验。

基线等效性

在基线水平（第1周），各组在预先指定的协变...

讨论

本研究在为期八周的雅思写作课程中，比较了由机器人人工智能代理支持的多组分动态书面纠正性反馈框架STEP-DWCF-R与单轮次书面纠正性反馈（WCF）的效果。结果显示，STEP-DWCF-R在总分及任务回应（TR）、连贯与衔接（CC）、词汇资源（LR）和语法多样性与准确性（GRA）各项指标上的前后测提升均更为显著。接受STEP-DWCF-R教学的学习者完成的修改轮次更多，错误减少速度更快，模型估计每轮修改可减少约4.1个错误。其中，连贯与衔接方面的提升最为突出（ΔΔ = 0.85），表明结构化、与评分标准挂钩的反馈不仅有助于提高语言准确性，还能促进更高层次的篇章组织能力。这些发现与以往关于动态书面纠正性反馈（DWCF）的研究一致，表明迭代式、全面性的反馈能够随时间推移持续提升写作准确性^14,15,16,17。

STEP-DWCF-...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Flask（Web 框架）	Pallets Projects	https://flask.palletsprojects.com	版本 2.1；用于机器人 AI 代理的网页界面
GPT-5 API	OpenAI	https://platform.openai.com	模型 gpt-5，temperature=0.7；用于生成结构化 JSON 反馈
Jinja2	Pallets Projects	https://jinja.palletsprojects.com	用于网页界面的服务器端渲染模板
Python	Python Software Foundation	https://www.python.org	版本 3.10；后端脚本编写
Windows 11	Microsoft	https://www.microsoft.com/windows	AI 反馈系统的操作系统