Ein dynamisches schriftliches Korrekturfeedback-Framework, das KI-Agentenlieferung für strukturierte und iterative Essay-Unterstützung integriert

Zusammenfassung

Diese Studie vergleicht STEP-DWCF-R (Structured, Tiered, Evidence-Driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent) zur Verbesserung der IELTS-Schreibleistung durch mehrrundige KI und von Lehrkräften unterstützte Überarbeitungen.

Zusammenfassung

Automatisierte Schreib-Feedbacksysteme sind weit verbreitet, doch die meisten liefern statische, fragmentierte Kommentare, die nur begrenzte Unterstützung für Überarbeitungen bieten. Diese Studie bewertet das STEP-DWCF-R-Framework (Structured, Tiered, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent), bei dem KI-generiertes Feedback, moderiert von einem Lehrer, über mehrere iterative Runden innerhalb eines einwöchigen Aufgabenzyklus über mehrere iterative Runden verteilt wird. In einer achtwöchigen quasi-experimentellen Studie wurden 32 EFL-Lernende entweder auf traditionelles schriftliches Korrekturfeedback (eine Runde pro Aufgabe) oder auf STEP-DWCF-R randomisiert. Beide Gruppen erstellten IELTS Task 2 Essays am Ausgangspunkt und nach dem Test, die anonymisiert, randomisiert und von zwei unabhängigen Bewertern bewertet wurden (ICC = 0,86–0,93). Lineare Mixed-Effects-Modelle zeigten, dass die STEP-DWCF-R-Gruppe signifikant größere Zuwächse im Gesamtbandwert (Δ = 1,03 vs. 0,31 Bänder) und in allen vier analytischen Dimensionen aufwies, wobei die größte Verbesserung in Kohärenz und Kohäsion beobachtet wurde. Prozessdaten zeigten, dass STEP-DWCF-R-Lernende durchschnittlich 2,26 Wiederholungsrunden pro Aufgabe absolvierten, wobei die Fehleranzahl linear über die Runden hinweg abnahm. Diese Ergebnisse deuten darauf hin, dass das integrierte STEP-DWCF-R-Framework, das KI-generiertes Feedback, Lehrermoderation und iterative robotische KI-Agentenlieferung umfasst, mit einer größeren Verbesserung des IELTS-Schreibens als traditionelles Einrunden-Feedback verbunden ist, was auf praktische Anwendungen für KI-gestütztes dynamisches Feedback in EFL-Kontexten hinweist.

Einleitung

Schriftliches korrigierendes Feedback (WCF) bleibt zentral für die L2-Schreibpädagogik. Belege zeigen, dass umfassende WCF die Genauigkeit der Lernenden im Laufe der Zeit verbessert und, wenn es mit der Praxis im Klassenzimmer abgestimmt ist, mit fokussierten Ansätzen koexistieren kann, die in authentischen Kontexten praktikabel^{sind 1,2,3}. Aktuelle Studien im Klassenzimmer zeigen nachhaltige Verbesserungen in Genauigkeit und Sprachflüssigkeit durch anhaltende, umfassende WCF. Forschungen zum Feedback-Umfang warnen, dass Lehrkräfte Formulare strategisch ansteuern sollten, anstatt alles^mit 4,5,6,7,8,9 zu bewerten. Parallel dazu haben automatisierte Schreibbewertung (AWE) und automatisiertes schriftliches Korrekturfeedback (AWCF) rasch zugenommen. Die Ergebnisse sind gemischt: Einige Studien zeigen Fortschritte bei der Aufgabenerreichung und im grammatikalischen Bereich mit AWCF- oder Criterion-Programmen, während andere keinen signifikanten Vorteil gegenüber reiner Lehrerrückmeldung finden oder überwiegend lokale, oberflächliche Überarbeitungen anmerken. Um diese Heterogenität widerzuspiegeln, triangulieren wir bewusst mehrere AWCF-Studien, anstatt uns auf eine einzige Quelle zu stützen^{: 10,11,12,13}.

Auch die Überzeugungen der Lernenden darüber, wer Feedback gibt, sind von Bedeutung: Quasi-experimentelle Arbeit zur wahrgenommenen Quelle zeigt, dass Leistung und Vertrauen sich verschieben können, wenn identisches Feedback als "Lehrer" statt "automatisiert" dargestellt wird, was die Notwendigkeit unterstreicht, Wahrnehmungseffekte in AWCF-Designs^{zu berücksichtigen 14,15}. Ausgehend von dieser Linie deuten neue Studien darauf hin, dass Bildungsroboter aufgrund ihrer verkörperten Präsenz auch als Feedbackgeber fungieren können, was das Engagement und Vertrauen der Lernenden auf besondere Weise beeinflussen kann¹⁶.

Eine ergänzende Forschungsrichtung, dynamisches schriftliches korrektives Feedback (DWCF), legt Wert auf häufige, handhabbare und umfassende Rückmeldungszyklen mit Codierung und schneller Überarbeitung. Belege aus verschiedenen Kontexten deuten darauf hin, dass DWCF die Genauigkeit zuverlässig verbessert (mit häufigen Auswirkungen auf die Sprachflüssigkeit), wobei die Ergebnisse je nach Kursziel und Lernpopulation variieren können^{: 17,18,19,20}. Schließlich berichten frühe Studien zu generativ-KI-vermitteltem Feedback von Parität mit Lehrerfeedback zu Schreibergebnissen und potenziellen Vorteilen, wenn sie mit expliziter metalinguistischer Anleitung kombiniert werden, was eine engere Integration von menschlichem und KI-Feedback in L2-Kontexten motiviert^21,22.

Um diese Herausforderungen zu bewältigen, schlagen wir das STEP-DWCF-R (Structured, Tiered, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent) vor, ein neuartiges mehrstufiges DWCF-Feedbacksystem, das strukturierte, iterative und prozessorientierte Schreibunterstützung bietet. Unser System nutzt die prädiktive und generative Kraft von Large Language Models (LLMs), mit Bereitstellung über eine robotische KI-Agentenschnittstelle und Lehrermoderation, um komplexe Schreibthemen in handhabbare Kategorien zu segmentieren, Feedback über mehrere Interaktionsrunden zu geben und deren Wirksamkeit sowohl anhand ergebnisbasierter als auch prozessbasierter Kennzahlen zu bewerten. Durch die Umwandlung von Feedback in einen strukturierten und interaktiven Prozess erweitert STEP-DWCF-R die automatisierte Schreibunterstützung von statischer Fehlerkorrektur hin zu einem ansprechenderen, verkörperten und lernorientierten System.

Unsere Beiträge konzentrieren sich auf drei integrierte Fortschritte. Zunächst schlagen wir ein strukturiertes Feedback-Repräsentationsschema vor, das Fehler (z. B. Grammatik, Kohärenz) kategorisiert, sodass robotergeneriertes, von KI-Agenten geliefertes LLM-Feedback sowohl umsetzbar als auch pädagogisch interpretierbar ist. Zweitens führen wir einen iterativen mehrstufigen Prozess ein, der Rückkopplungen über Sprache, Struktur und Argumentation über mehrere Runden hinweg sequenziert, um die kognitive Belastung zu verringern und das Engagement zu vertiefen. Drittens erweitern wir die Evaluation über Post-Scores hinaus auf prozessorientierte Kennzahlen wie Fehlerminderung und Feedback-Übernahme und bieten so einen reichhaltigeren Einblick in die Lernwirkung. WCF-Rahmenwerke stellen die frühesten Versuche dar, schriftliches Korrekturfeedback innerhalb der Bildungstechnologie zu systematisieren. Diese Systeme stammen aus der automatisierten Schreibbewertung (AWE) und der automatisierten Aufsatzbewertung (AES) und legten den Schwerpunkt auf Fehlererkennung und Kompetenzbewertung^{mit 13,14}. Ihr Beitrag liegt in der Skalierbarkeit: Tausende von Lernenden könnten Feedback erhalten, ohne den Engpass einer menschlichen Bewertung zu erhalten. Diese Frameworks lieferten jedoch typischerweise statische und fragmentierte Kommentare wie Grammatikprüfungen, lexikalische Vorschläge oder globale Ergebnisse, die die Lernenden schwer in sinnvolle Überarbeitungen umwandeln konnten – 23,24,25,26.

Im Laufe der Zeit entwickelte sich die WCF-Forschung weiter, um mehr technologievermittelte Ansätze einzubeziehen. Diese neueren Systeme versuchten, breitere Aspekte des Schreibens durch den Einsatz von rechnergestützten Methoden^abzufangen. In jüngerer Zeit hat sich der Umfang durch verkörperte Technologien weiter ausgeweitet, bei denen Bildungsroboter als Feedbackgeber in schriftlichen oder Nachhilfekontexten fungieren. Ihre physische Präsenz und interaktiven Möglichkeiten bringen neue Dynamiken von Vertrauen, Engagement und Lernmotivation mit sich. Trotz dieser Entwicklungen blieb die dominierende Ausrichtung der WCF ergebnisorientiert ^8,27: Punktzahlen oder isolierte Kommentare werden in einer einmaligen Phase produziert. Pädagogisch ist diese Ausrichtung nicht mit der formativen Bewertung übereinstimmend, wobei Feedback die Überarbeitung über Entwürfe hinweg unterstützen und metakognitives Engagement unterstützen^sollte 16,28,29,30,31. Daher offenbart die konzeptionelle Grenze von WCF eine anhaltende Lücke: Feedback wird gegeben, aber nicht strukturiert oder sequenziert, um Lernprozesse zu steuern.

Als Reaktion auf diese Einschränkungen haben Wissenschaftler begonnen, dynamischere Ansätze zum Schreiben von Feedback zu erkunden. Frühe Untersuchungen hoben die Bedeutung iterativer Rückkopplungszyklen hervor, bei denen Lernende mehrfach unter gerüsteter Anleitung wiederholen^17,32. Strukturierte Fehlerkategorisierung wurde ebenfalls vorgeschlagen, um die Interpretierbarkeit von Feedback zu verbessern und es mit den pädagogischen Zielen^{abzustimmen 33,34}. Der Begriff eines DWCF-Rahmens konsolidiert diese Richtungen, indem es drei Designprinzipien einbettet: explizite Fehlerschemata, gestufte und iterative Auslieferung sowie prozessorientierte Evaluationsmetriken^19,35. Anstatt die Studierenden mit einer Vielzahl von Korrekturen auf einmal zu überfordern, verteilt DWCF die Aufmerksamkeit über Schreibebenen – oberflächliche Genauigkeit, strukturelle Kohärenz und argumentative Tiefe – durch aufeinanderfolgende Runden^17,33. Die Bewertung geht über die Endwerte hinaus und umfasst Prozessindikatoren wie Fehlerminderungsraten, Feedback-Akzeptanz und^{Revisionstiefe} 10,19,25. Trotz seines Versprechens bleiben die praktischen Anwendungen von DWCF spärlich, und die meisten Studien verfehlen es, es in groß angelegten, technologievermittelten Kontexten in Betrieb zu nehmen⁽10,36,37). Diese Lücke unterstreicht die Notwendigkeit von Rahmenwerken, die nicht nur DWCF theoretisieren, sondern auch dessen Machbarkeit in realen Bildungseinrichtungen demonstrieren. Abbildung 1 zeigt den breiteren theoretischen Rahmen des DWCF, der in der Literatur vorgeschlagen wird. Die Abbildung liefert eine allgemeine Begründung dafür, wie dynamisches schriftliches korrektives Feedback auf mehreren Ebenen funktionieren kann, einschließlich gemessener Ergebnisse (z. B. Genauigkeit, Kohärenz) als auch theoretischer, aber nicht gemessener Konstrukte in der vorliegenden Studie (z. B. Reduzierung, Flüssigkeit und Komplexität von Schreibangst). Sie ist aus theoretischer Orientierung enthalten und nicht als direktes Modell dieses Versuchs. Elemente, die den hier analysierten Ergebnissen und Prozesskennzahlen entsprechen, sind in der Abbildung dargestellt; Andere Signalwege sind anschaulich und wurden in dieser Studie nicht untersucht.

Das Aufkommen von LLMs und multimodalen Systemen bietet ein kraftvolles Mittel, DWCF in großem Maßstab zu operationalisieren. LLMs können mit ihren Zero-Shot- und Few-Shot-Fähigkeiten kontextsensitives Feedback ohne aufgabenspezifisches Training^{generieren 21,22}. Jüngste Experimente deuten auf ihr Potenzial für direktive Segmentierung, gestufte Verfeinerung und Erklärungsgenerierung hin, die eng mit den Prinzipien von DWCF 13,37,38,39 übereinstimmen. Komplementäre Forschung in der Zusammenarbeit zwischen Mensch und KI hat gezeigt, dass iterative Schleifen aus der Auseinandersetzung, Anpassung und selektiven Anwendung von KI-Feedback sowohl die Akzeptanz als auch die Überarbeitungsqualität verbessern können^25,30. Wenn diese Prozesse durch Roboter verkörpert werden, hat die Interaktion theoretisch das Potenzial, multimodal zu werden – indem Gesten, Stimme und Präsenz kombiniert werden – was die Wahrnehmung und Motivation der Lernenden weiter verbessern^kann.

Verwurzelt in der Zone of Proximal Development (ZPD)⁴¹, der Input-Hypothese⁴² und der Skill Acquisition^{Theory 43} positionieren wir STEP-DWCF-R als einen Controller, der Lernunterstützung, Input-Verarbeitung und Fähigkeitsentwicklung verbindet. Konkret arbeiten die mit Rubriken verknüpfte Itemisierung, zeitnahe konsolidierte Listen und mehrrundige, von Lehrkräften moderierte KI-, Mensch- und Roboterzyklen auf einer Integrationsschicht, die die Überarbeitung vermittelt und die hier analysierten beobachtbaren Endpunkte liefert (IELTS Overall und TR/CC/LR/GRA; Runden, Aufnahme, persistente Fehler, Zeit). Konstrukte wie die Reduzierung von Schreibangst werden in dieser Studie theoretisch, aber nicht gemessen.

Protokoll

Dieses Protokoll wurde vom Ethikausschuss der Grundschulschule des Shangrao Preschool Education College genehmigt. Alle Teilnehmer waren Erwachsene (≥18 Jahre) und gaben vor Beginn der Studie eine schriftliche informierte Einwilligung ab.

1. Studiendesign

HINWEIS: Aufgrund der Einschränkungen des verfügbaren EFL-Klassenraums (Gesamtzahl N = 32) wurden die Teilnehmer zufällig in zwei Gruppen zu je 16 Personen eingeteilt. Diese Stichprobengröße, obwohl bescheiden, wurde aufgrund des prä-post-designorientierten Konzepts innerhalb des Subjekts und erwarteter großer Effektgrößen basierend auf früheren DWCF-Studien 17,18,19,20 als ausreichend für eine Pilotstudie eingestuft.

1. Randomisieren Sie die Teilnehmer in zwei Gruppen (n = 16 jeweils) mittels einfacher Randomisierung. Erzeugen Sie die Zuteilungssequenz mithilfe einer computergenerierten Zufallszahlenliste. Verbergen Sie die Zuweisung vor dem Ausbilder, bis die Basisbewertung abgeschlossen ist.
2. Stellen Sie sicher, dass beide Gruppen vom selben Lehrer mit identischen Materialien und Kontaktstunden unterrichtet werden.
3. Geben Sie Feedback entweder durch direkte menschliche Korrektur (WCF) oder über den STEP-DWCF-R-Workflow, bei dem KI- und Lehrerfeedback über einen robotischen KI-Agenten präsentiert wird.

2. Schreibaufgaben

1. Führen Sie in Woche 1 unter Prüfungsbedingungen einen Basisaufsatz zu IELTS Task 2 (≥250 Wörter, 40 Min).
2. Führen Sie sechs wöchentliche Schreibaufgaben durch (Wochen 2–7). Für jede Aufgabe:
   1. Im WCF geben Sie eine Runde menschliches Feedback zum Aufsatz.
   2. In STEP-DWCF-R generieren Sie KI-Feedback, moderieren Sie es mit einem menschlichen Lehrer und weisen Sie den robotischen KI-Agenten an, das Feedback interaktiv an den Lernenden zu übermitteln.
   3. In STEP-DWCF-R wiederholt man den STEP-DWCF-R-Feedbackzyklus für 2–3 Runden, bis die Überarbeitung abgeschlossen ist.
3. Führen Sie in Woche 8 einen IELTS Task 2-Aufsatz nach dem Test unter denselben Prüfungsbedingungen durch. Folgen Sie für jede Aufgabe in beiden Gruppen demselben einwöchigen Kalender. Geben Sie innerhalb von 24 Stunden nach Einreichung des Entwurfs das Feedback für Runde 1 in STEP-DWCF-R ein. Verlangen Sie von den Lernenden, innerhalb von 48 Stunden zu überarbeiten und erneut einzureichen. Folgen Sie demselben Zeitplan für die folgenden Runden und schließen Sie alle Zyklen innerhalb des wöchentlichen Zeitfensters ab.

3. Feedback-Workflow

1. Bearbeiten Sie jeden Lernentwurf mit der GPT-5-API (Modell = "GPT-5", Temperatur = 0,7, max_output_tokens = 2048), um detailliertes Feedback über vier feste Kategorien zu erhalten: Grammatik, Vokabular, Organisation und Argumentation. Der genaue Systemprompt und das JSON-Ausgabeschema werden im Open-Source-Repository bereitgestellt (https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback/blob/main/evaluate.py, Funktion build_prompt() und normalize_reasoning()).
2. Moderieren Sie das KI-generierte Feedback nach folgenden Kriterien: Entfernen von Fehlalarmen oder ungenauen Kommentaren; übersehene kritische Punkte hinzufügen, die mit der IELTS-Rubrik übereinstimmen; Sicherstellen, dass Kommentare umsetzbar und ermutigend sind; und die Konsistenz mit dem Vier-Kategorien-Schema aufrechtzuerhalten. Protokolliere Moderationsentscheidungen manuell.
3. Speichere das moderierte Feedback im JSON-Format und lade es auf die robotische KI-Agentenoberfläche (eine leichte Flask-Webanwendung) hoch.
4. Geben Sie Feedback über die Weboberfläche. Zeigen Sie strukturierte Tabellen für jede Kategorie an (Zusammenfassung, Probleme und Überarbeitungstipps). Erfassen Sie Lernbestätigungen und Erläuterungsanfragen über Systemprotokolle. Weisen Sie die Lernenden an, ihre Entwürfe zu überarbeiten und erneut einzureichen. Wiederhole den Zyklus bis zu dreimal pro Aufgabe.
5. Verifizierung und Fehlersuche.
   1. Überprüfen Sie die erfolgreiche KI-Feedbackgenerierung, indem Sie bestätigen, dass das Ergebnis gültig JSON ist und alle vier erforderlichen Kategorien enthält: Grammatik, Vokabular, Organisation und Argumentation. Bestätigen Sie den Abschluss der Lehrermoderation, indem Sie sicherstellen, dass Fehlalarme entfernt wurden, fehlende Probleme hinzugefügt und die moderierte JSON-Datei gespeichert wurde.
   2. Laden Sie die moderierte JSON-Datei über den Upload-Endpunkt auf die Flask-basierte Roboter-KI-Agenten-Schnittstelle hoch. Bestätigen Sie den erfolgreichen Upload über die Bestätigungsmeldung der Schnittstelle und den Eintrag in das Datenbankprotokoll. Erneute Einreichungen der Lernenden automatisch über Formularabgabeprotokolle aufzeichnen.
   3. Verarbeiten Sie nicht konforme KI-Ausgaben (z. B. fehlgeleitetes JSON, fehlende Kategorien oder ungenaues Feedback) mit den Funktionen ensure_json() und normalize_reasoning(). Regeneriere die API-Ausgabe mit angepassten Prompt-Parametern nach Bedarf. Korrigieren Sie das JSON während der Lehrermoderation bei Bedarf manuell, um sicherzustellen, dass alle vier Kategorien vor dem Hochladen vorhanden sind.
      HINWEIS: Beispiele für rohes KI-Feedback, von Lehrern moderierte Versionen und die bereitgestellte Schnittstellenausgabe sind im Repository verfügbar (Daten-/Ordner und Notizbücher).

4. Ergebnismessung

1. Definieren Sie das primäre Ergebnis als die Änderung des IELTS-Gesamtbandpunkts (Woche 1 bis Woche 8).
2. Definieren Sie sekundäre Ergebnisse als Veränderungen in Aufgabenantwort, Kohärenz und Kohäsion, lexikalischer Ressource sowie grammatikalischer Bandbreite und Genauigkeit.
3. Weisen Sie zwei unabhängige Bewerter mit Erfahrung in der Bewertung der IELTS-Aufgabe 2 alle Essays zu. Entferne Namen und Gruppenkennungen aus allen Aufsätzen. Randomisieren Sie die Reihenfolge des Aufsatzes und prüfen Sie blinde Bewerter auf Gruppenaufgabe und Zeitpunkt. Verwenden Sie denselben IELTS Task 2 Prompt sowohl für den Wochen-1-Baseline als auch für Woche 8 nach dem Test. Diskutieren Sie Punktendifferenzen über 0,5 Bändern durch Diskussion, bis ein Konsens erreicht ist. Bewertung der Inter-Rater-Zuverlässigkeit anhand des intraklassischen Korrelationskoeffizienten mit Durchschnittsmaßen (ICC[2,2]).

5. Prozessmessung

1. Protokolliere die Anzahl der Überarbeitungsrunden pro Aufgabe.
2. Aufzeichnung der Aufnahme von Feedback (übernommen, modifiziert, abgelehnt) durch Lernende.
3. Verfolgen Sie persistente Fehler zwischen den Zyklen.
4. Erfassen Sie die Zeit des Lehrerfeedbacks, die Roboter-Lieferzeit und die Lerner-Wiederholungszeit.

6. Datenanalyse

1. Lineare Mixed-Effects-Modelle mit Gruppen-, Zeit- und Gruppen-×-Zeit-Interaktionen anpassen.
2. Verallgemeinerte Mixed-Effects-Modelle für Prozessmaße anwenden.
3. Berichtseffektgrößen, 95%-Konfidenzintervalle und angepasste p-Werte.
4. Führen Sie Robustheitsprüfungen mit ANCOVA, bewerterspezifischen Modellen und robusten SEs durch.

7. Code-Verfügbarkeit

Sämtlicher Code, Prompts, JSON-Schemata und Beispielimplementierungsdateien, die zur Reproduktion des STEP-DWCF-R-Systems erforderlich sind, sind offen verfügbar bei https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback.

Ergebnisse

Experimente und Analyse

Alle 32 Lernenden lieferten Basisdaten. Nach-Testdaten lagen für 16 Lernende in jeder Gruppe zur Verfügung (WCF und STEP-DWCF-R; Abbildung 2). Der Studienzeitplan und die Messungen sind in Abbildung 3 dargestellt, und der End-to-End-Feedback-Workflow ist in Abbildung 4 dargestellt. Die experimentellen Aufbau- und Implementierungspa...

Diskussion

Diese Studie verglich STEP-DWCF-R, ein mehrkomponentiges dynamisches schriftliches Korrekturfeedback-Framework, mit einem robotischen KI-Agenten mit einem ein-Runden-WCF in einem achtwöchigen IELTS-Schreibkurs. STEP-DWCF-R erzielte größere Pre-Post-Gewinne im Gesamtband sowie über TR, CC, LR und GRA hinweg. Lernende unter STEP-DWCF-R absolvierten außerdem mehr Überarbeitungsrunden und zeigten eine schnellere Fehlerreduktion, wobei Modelle einen Rückgang von etwa 4,1 Fehlern pro Runde sch...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Flask (Web Framework)	Pallets Projects	https://flask.palletsprojects.com	Version 2.1; verwendet für die Webschnittstelle des robotischen KI-Agenten
GPT-5 API	OpenAI	https://platform.openai.com	Modell gpt-5, Temperatur=0,7; für die Generierung strukturierter JSON-Feedbacks
Jinja2	Pallets Projects	https://jinja.palletsprojects.com	Serverseitig gerenderte Vorlagen für die Webschnittstelle
Python	Python Software Foundation	https://www.python.org	Version 3.10; Backend-Skripting
Windows 11	Microsoft	https://www.microsoft.com/windows	Betriebssystem für KI-Feedback-System