Dynamiczna rama poprawek piśmiennych integrująca dostarczanie poprawek przez agenta sztucznej inteligencji dla strukturalnej i iteracyjnej pomocy w pisaniu eseju

Podsumowanie

To badanie ustanawia punkt odniesienia dla STEP-DWCF-R (Ustrukturyzowany, Wielopoziomowy, Oparty na Dowodach Proces Dynamicznej Pisemnej Poprawy z Robotyczną Agencją Sztucznej Inteligencji) w celu poprawy wyników w pisaniu IELTS poprzez wielorundową poprawę wspierana przez sztuczną inteligencję i nauczyciela.

Streszczenie

Systemy automatycznej oceny pisania są powszechne, jednak większość z nich dostarcza statyczne, pofragmentowane komentarze, które zapewniają ograniczone wsparcie do poprawy. Niniejsze badanie ocenia ram STEP-DWCF-R (Structured, Tiered, Evidence-driven Process for Dynamic Written Corrective Feedback with Robotic AI Agent), w którym opinia wygenerowana przez sztuczną inteligencję, moderowana przez nauczyciela, jest dostarczana przez robotycznego agenta AI w wielu iteracyjnych rundach w ciągu jednotygodniowego cyklu zadań. W ośmiotygodniowym prawie-eksperymencie 32 uczniów języka angielskiego jako obcego zostało losowo przydzielone do tradycyjnej opinii pisemnej (jedna runda na zadanie) lub STEP-DWCF-R. Obie grupy wykonały eseje IELTS Task 2 na poziomie początkowym i końcowym, które zostały anonimowe, losowo ułożone i oceniane przez dwóch niezależnych oceniających (ICC = 0,86–0,93). Linie modeli efektów mieszanych pokazały, że grupa STEP-DWCF-R wykazała znacznie większy wzrost w ogólnym wynikach bandów (Δ = 1,03 vs. 0,31 bandów) i we wszystkich czterech wymiarach analitycznych, przy czym największą poprawę zaobserwowano w Koherencji i Spójności. Dane procesu wskazały, że uczniowie korzystający z STEP-DWCF-R wykonywali średnio 2,26 rund poprawek na zadanie, przy czym liczba błędów zmniejszała się liniowo w kolejnych rundach. Te wyniki sugerują, że zintegrowany ram STEP-DWCF-R, obejmujący opinię wygenerowaną przez sztuczną inteligencję, moderację nauczyciela i iteracyjną dostawę robotycznego agenta AI, jest związany z większymi poprawami pisania IELTS niż tradycyjna jednorundowa opinia, co wskazuje na praktyczne zastosowania dynamicznej opinii wzmocnionej sztuczną inteligencją w kontekście EFL.

Wprowadzenie

Korekta pisemna (WCF) pozostaje centralnym elementem pedagogiki pisania na poziomie L2. Dowody pokazują, że kompleksowa korekta pisemna poprawia dokładność uczniów z czasem i, gdy jest dostosowana do praktyki w klasie, może współistnieć z ukierunkowanymi podejściami, które są wykonalne w autentycznych kontekstach^1,2,3. Ostatnie badania klasowe pokazują trwałe poprawy w dokładności i płynności po zrównoważonej, kompleksowej korekcie pisemnej. Badania nad zakresem opinii ostrzegają, że nauczyciele powinni celować strategicznie w formy, zamiast zaznaczać wszystko^4,5,6,7,8,9. Równolegle, zautomatyzowana ocena pisania (AWE) i zautomatyzowana korekta pisemna (AWCF) rosły szybko. Wyniki są mieszane: niektóre badania pokazują poprawę w osiągnięciu zadań i zakresie gramatycznym z AWCF lub programami w stylu Criterion, podczas gdy inne nie znajdują żadnej znaczącej przewagi nad opinią tylko nauczyciela lub zauważają głównie lokalne, powierzchowne poprawki. Aby odzwierciedlić tę niejednorodność, celowo triangulowaliśmy wiele badań AWCF zamiast polegać na pojedynczym źródle^10,11,12,13.

Przekonania uczniów o tym, kto dostarcza korektę, również mają znaczenie: praca quasi-eksperymentalna dotycząca postrzeganego źródła wskazuje, że wydajność i zaufanie mogą się zmieniać, gdy identyczna korekta jest przedstawiana jako „nauczyciel” versus „zautomatyzowana”, podkreślając potrzebę uwzględnienia efektów percepcji w projektach AWCF^14,15. Rozwijając tę linię, nowe badania sugerują, że roboty edukacyjne, ze względu na swoją wcieloną obecność, mogą także działać jako dostawcy opinii, potencjalnie wpływając na zaangażowanie uczniów i zaufanie na unikalne sposoby¹⁶.

Uzupełniająca linia badań, dynamiczna korekta pisemna (DWCF), podkreśla częste, zarządzalne, kompleksowe cykle opinii z kodowaniem i szybkim poprawianiem. Dowody z wielu ustawień sugerują, że DWCF niezawodnie poprawia dokładność (z efektami częstotliwości na płynność), choć wyniki mogą się różnić w zależności od celów kursu i populacji uczniów^17,18,19,20. Wreszcie, wczesne badania nad opiniami za pośrednictwem generatywnej AI raportują równorzędność z opinią nauczyciela w zakresie wyników pisania i potencjalne korzyści, gdy są łączone z wyraźnymi metajęzykowymi wskazówkami, motywując bliższą integrację ludzkiej i AI opinii w kontekstach L2^21,22.

Aby sprostać tym wyzwaniom, proponujemy ramy STEP-DWCF-R (Ustrukturyzowany, Wielopoziomowy, Oparty na Dowodach Proces Dynamicznej Korekty Pisemnej z Robotycznym Agentem AI), nowy wieloetapowy system opinii DWCF zaprojektowany, aby zapewnić ustrukturyzowaną, iteracyjną i zorientowaną na proces wsparcie pisania. Nasz system wykorzystuje przewidującą i generatywną moc Dużych Modeli Językowych (LLM), z dostarczeniem przez interfejs robotycznego agenta AI i moderacją nauczyciela, aby segmentować złożone problemy z pisaniem na zarządzalne kategorie, dostarczać opinię przez wiele rund interakcji i oceniać jej skuteczność zarówno za pomocą metryk opartych na wynikach, jak i na procesie. Przekształcając opinię na ustrukturyzowany i interaktywny proces, STEP-DWCF-R rozwija zautomatyzowane wsparcie w pisaniu od statycznej korekty błędów ku bardziej angażującemu, wcielonemu i zorientowanemu na naukę systemowi.

Nasze wkłady koncentrują się na trzech zintegrowanych zaawansowaniach. Po pierwsze, proponujemy ustrukturyzowany schemat reprezentacji opinii, który klasyfikuje błędy (np. gramatyka, spójność), tak aby opinia dostarczana przez agenta AI była zarówno działalna, jak i pedagogicznie interpretowalna. Po drugie, wprowadzamy iteracyjny wieloetapowy proces, który sekwencjonuje opinię w zakresie języka, struktury i rozumowania przez wiele rund, aby zmniejszyć obciążenie poznawcze i pogłębić zaangażowanie. Po trzecie, rozszerzamy ocenę poza punktację końcową, aby uwzględnić metryki zorientowane na proces, takie jak redukcja błędów i przyjęcie opinii, oferując bogatszy widok wpływu na naukę. Ramy WCF reprezentują najwcześniejsze próby systematyzacji pisemnej korekty w technologii edukacyjnej. Pochodzące z Automatycznej Oceny Pisania (AWE) i Automatycznej Oceny Esejów (AES), te systemy podkreślały wykrywanie błędów i ocenianie kompetencji^13,14. Ich wkład polega na skalowalności: tysiące uczniów mogło otrzymywać opinię bez cieśni autentycznego oceniania przez ludzi. Jednak te ram

Protokół

Ten protokół został zatwierdzony przez Komitet Etyczny Szkoły Pedagogiki Wczesnoszkolnej, Shangrao Preschool Education College. Wszyscy uczestnicy byli pełnoletni (≥18 lat) i przed rozpoczęciem badania wyrazili pisemną zgodę na udział.

1. Projekt badania

UWAGA: Ze względu na ograniczenia dostępnej klasy nauczania języka angielskiego jako obcego (łączna liczba uczestników N = 32), uczestnicy zostali losowo przydzieleni do dwóch grup po 16 osób każda. Wielkość próby, choć umiarkowanie duża, została uznana za wystarczającą dla badania pilotażowego, biorąc pod uwagę projekt pre-post z wewnątrzpodmiotową analizą i oczekiwanymi dużymi wielkościami efektów na podstawie wcześniejszych badań DWCF^17,18,19,20.

1. Losowo przydziel uczestników do dwóch grup (n = 16 w każdej) za pomocą prostej randomizacji. Wygeneruj sekwencję alokacji za pomocą listy losowych liczb wygenerowanej komputerowo. Ukryj alokację przed instruktorem do momentu zakończenia oceny początkowej.
2. Upewnij się, że obie grupy są uczono przez tego samego instruktora, używając identycznych materiałów i godzin kontaktu.
3. Przekazywanie informacji zwrotnej albo poprzez bezpośrednią korektę przez człowieka (WCF) albo poprzez przepływ STEP-DWCF-R, gdzie informacje zwrotne od AI i nauczyciela są przedstawiane przez robotycznego agenta AI.

2. Zadania pisemne

1. Przeprowadź początkową próbę IELTS Task 2 eseju w tygodniu 1 w warunkach egzaminacyjnych (≥250 słów, 40 min).
2. Przeprowadź sześć tygodniowych zadań pisemnych (tygodnie 2–7). Dla każdego zadania:
   1. W WCF dostarcz jedną rundę informacji zwrotnej od człowieka na temat eseju.
   2. W STEP-DWCF-R, wygeneruj informacje zwrotne AI, skoryguj je z ludzkim nauczycielem i poleć robotycznemu agentowi AI, aby przedstawił informacje zwrotne interaktywnie uczniowi.
   3. W STEP-DWCF-R, powtórz cykl informacji zwrotnych STEP-DWCF-R przez 2–3 rundy, aż zostanie zakończona rewizja.
3. Przeprowadź końcową próbę IELTS Task 2 eseju w tygodniu 8 w tych samych warunkach egzaminacyjnych. Stosuj ten sam jednotygodniowy kalendarz dla każdego zadania w obu grupach. Dostarcz informacje zwrotne z rundy 1 w ciągu 24 godzin od przesłania projektu w STEP-DWCF-R. Wymagaj od uczniów rewizji i ponownego przesłania w ciągu 48 godzin. Stosuj ten sam harmonogram dla kolejnych rund i zakończ wszystkie cykle w ciągu tygodnia.

3. Przepływ informacji zwrotnej

1. Przetwórz każdą wersję projektu ucznia za pomocą interfejsu API GPT-5 (model = „gpt-5”, temperatura = 0,7, max_output_tokens = 2048), aby wygenerować informacje zwrotne w postaci listy w czterech stałych kategoriach: Gramatyka, Słownictwo, Organizacja i Rozumowanie. Dokładny systemowy prompt oraz schemat wyjścia JSON są dostępne w repozytorium open-source (https://github.com/YifangGaoinPG/Dynamic-Writing-Correction-Feedback/blob/main/evaluate.py, funkcja build_prompt() i normalize_reasoning()).
2. Skoryguj informacje zwrotne wygenerowane przez AI zgodnie z następującymi kryteriami: usuń fałszywe dodatnie lub niedokładne komentarze; dodaj pominięte kluczowe problemy zgodne z kluczem oceniającym IELTS; upewnij się, że komentarze są działalne i zachęcające; i zachowaj spójność z czterokategoriowym schematem. Ręcznie rejestruj decyzje dotyczące korekty.
3. Zapisz skorygowany feedback w formacie JSON i wczytaj go do interfejsu robotycznego agenta AI (lekka aplikacja internetowa Flask).
4. Przedstaw informacje zwrotne przez interfejs internetowy. Wyświetl strukturalne tabele dla każdej kategorii (podsumowanie, problemy i wskazówki dotyczące poprawy). Rejestruj potwierdzenia od uczniów i wnioski o wyjaśnienia za pośrednictwem logów systemowych. Poleć uczniom, aby poprawili i ponownie przesłali swoje projekty. Powtórz cykl do trzech razy na zadanie.
5. Weryfikacja i rozwiązywanie problemów.
   1. Weryfikuj pomyślne wygenerowanie informacji zwrotnych AI, potwierdzając, że wyjście jest prawidłowym JSON zawierającym wszystkie cztery wymagane kategorie: Gramatyka, Słownictwo, Organizacja i Rozumowanie. Potwierdź zakończenie korekty przez nauczyciela, upewniając się, że fałszywie dodatnie zostały usunięte, brakujące problemy zostały dodane, a skorygowany plik JSON został zapisany.
   2. Wczytaj skorygowany plik JSON do interfejsu robotycznego agenta AI opartego na Flasku przez punkt wczytywania. Potwierdź pomyślne wczytanie za pomocą wiadomości potwierdzającej interfejsu i wpisu logu bazy danych. Automatycznie rejestruj ponowne przesłania uczniów za pomocą logów składania formularza.
   3. Przetwórz niezgodne wyjścia AI (np. błędnie uformowane JSON, brakujące kategorie lub niedokładne informacje zwrotne) za pomocą funkcji ensure_json() i normalize_reasoning(). Regeneruj wyjście API z dostosowanymi parametrami promptu w razie potrzeby. Ręcznie skoryguj

Wyniki

Eksperymenty i analiza

Wszyscy 32 uczniowie dostarczyli danych wyjściowych. Dane z testu końcowego były dostępne dla 16 uczniów w każdej grupie (WCF i STEP-DWCF-R; Rysunek 2). Harmonogram badania i zastosowane miary przedstawiono na Rysunku 3, a kompleksowy przebieg procesu udzielania informacji zwrotnej zilustrowano na Rysunku 4). Konfigurację eksperymentalną oraz parametry implementacji...

Dyskusja

To badanie porównało STEP-DWCF-R, wieloskładnikowy dynamiczny framework korekty pisemnej z agentem AI-robotem, z jednorazową korektą WCF w ośmiotygodniowym kursie pisania IELTS. STEP-DWCF-R dał większe zyski przed–po w ogólnym bandzie i w TR, CC, LR oraz GRA. Uczniowie pod STEP-DWCF-R również wykonywali więcej rund poprawek i wykazywali szybsze zmniejszenie błędów, przy czym modele szacowały spadek o około 4,1 błędów na rundę. Największą poprawę zaobserwowano w spójności i koherencji (σσ = 0,85), co wskazuje, że struktur...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Flask (Web Framework)	Pallets Projects	https://flask.palletsprojects.com	Wersja 2.1; używany do interfejsu internetowego agenta AI robotycznego
API GPT-5	OpenAI	https://platform.openai.com	Model gpt-5, temperatura=0.7; do strukturalnej generacji opinii JSON
Jinja2	Pallets Projects	https://jinja.palletsprojects.com	Szablony renderowane na serwerze dla interfejsu internetowego
Python	Python Software Foundation	https://www.python.org	Wersja 3.10; skryptowanie backendu
Windows 11	Microsoft	https://www.microsoft.com/windows	System operacyjny dla systemu opinii AI