$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Wszystkie programy i narzędzia wykorzystane w badaniu zostały wymienione w Tabeli materiałów.
Kryteria oceniania
Klasyfikacja oceny przyjęta w niniejszym badaniu obejmuje dwie główne domeny, mianowicie płynność i poprawność, które zawierają wszystkie wymagania niezbędne do kompleksowej oceny pisania w języku angielskim jako języku obcym (EFL). Wymiary te mają na celu pomiar kluczowych aspektów jakości pisania, które pomagają w skutecznej komunikacji i wykazaniu biegłości językowej. Moduł płynności mierzy naturalność, ekspresyjność i spójność tekstu poprzez ocenę płynności wywodu oraz stopnia właściwego wykorzystania słownictwa i struktury zdań. Moduł poprawności koncentruje się na precyzyjnej poprawności gramatycznej, braku błędów technicznych oraz zgodności ze standardowymi konwencjami języka angielskiego i w sposób hipotetyczny mierzy oraz zlicza błędy językowe na kilku poziomach (patrz Tabela 1)
Definicja zadania
Biorąc pod uwagę warunki zautomatyzowanej oceny pisemnej uczniów uczących się języka angielskiego, niniejsze badanie proponuje nowy model systemu komputerowego wspomagania oceny pisania w języku angielskim (EG). W porównaniu z poprzednimi badaniami, które były ograniczone zakresem systemów zautomatyzowanej oceny pisemnej, proponowany system pomoże rozwiązać te ograniczenia poprzez wprowadzenie innowacyjnych technik głębokiego uczenia, aby umożliwić użytkownikom poziom analizy lingwistycznej, zakres modyfikacji oraz analizę informacji zwrotnej w całym systemie w oparciu o rozległe przetwarzanie danych. System dwumodelowy, operujący na dwóch najważniejszych wskaźnikach kompozycji, mianowicie płynności (na ile utwór jest naturalny, spójny i ekspresyjny) oraz poprawności (na ile poprawnie napisany jest tekst obarczony błędami gramatycznymi, mechanicznymi i językowymi) za pomocą oddzielnych komponentów sieci neuronowych, musi przeprowadzić szereg ewaluacji. Ponadto identyfikuje on błędy na kilku poziomach lingwistycznych, zaleca środki naprawcze i przekazuje informacje zwrotne w formie listy, aby umożliwić użytkownikom metodyczną poprawę procesu nauki języka u uczniów. W celu opisania procesu obliczeń w komputerowym systemie automatycznej oceny proponujemy następujący model matematyczny w wzorach (1)–(4) (patrz Tabela 2).
(1)
(2)
(3)
(4)
gdzie: Final Score = złożony wynik oceny pisemnej; w1 = waga przypisana do wyniku płynności; w2 = waga przypisana do wyniku poprawności; Sf = wynik płynności oparty na modelu BERT (znormalizowany do [0, 1]); Sc = wynik poprawności z wykładniczym zanikiem; λ = stała zaniku kontrolująca karę za błędy; σ(x) = logistyczna funkcja aktywacji sigmoid; ErrorRatio = stosunek liczby błędów do całkowitej liczby tokenów w tekście. Wyniki płynności są normalizowane do przedziału [0, 1] za pomocą logistycznej funkcji sigmoid σ(x), natomiast funkcja wykładniczego zaniku jest stosowana przy ocenie poprawności, aby nałożyć odpowiednią karę za częstotliwość występowania błędów.
Architektura i projekt systemu
Jego architektura systemowa opiera się na systemie dwumodułowym z architekturą przetwarzania równoległego, w której analiza wprowadzonych wypracowań jest przeprowadzana równolegle za pośrednictwem równoległych ścieżek ewaluacji. Moduły Płynności i Poprawności generują odpowiednio wyniki, a końcowy wynik zbiorczy stanowi średnia ważona tych dwóch wyników cząstkowych. Moduł poprawności, poza punktacją, oferuje również sugestie dotyczące wykrywania i korygowania błędów (patrz Rysunek 1).
Moduł płynności
Płynność pisania można zdefiniować jako charakter lub wzorzec użycia języka w odniesieniu do poprawnego doboru słownictwa, różnorodności struktur zdań, złożoności syntaktycznej, spójności itp.4. Modele oceny płynności wychwytują przekazywane idee bez jąkania się czy nienaturalności, brzmiąc zbliżenie do natywnych trendów komunikacyjnych. Tradycyjny pomiar płynności opiera się na skalach, co rodzi problemy z niezawodnością między sędziami. Proponowany system eliminuje tę wadę, ponieważ zawiera sieć neuronową opartą na modelu BERT, aby automatycznie indukować spójność semantyczną i naturalność językową poprzez głębokie rozumienie sytuacyjne. Decyzja architektoniczna została podjęta z uwzględnieniem zalet modelu BERT, który okazał się skuteczny w identyfikacji relacji kontekstowych i wzorców semantycznych niezbędnych w pomiarze płynności. Sekwencje wejściowe są wprowadzane do systemu i przekazywane przez 12 warstw transformera z wielogłowicową samoatencją (multi-head self-attention) w celu zidentyfikowania długodystansowych zależności i relacji kontekstowych (patrz Rycina 2).
Mechanizm uwagi przedstawia się następująco:
(5)
Przyjmijmy, że Q, K i V są macierzami reprezentującymi odpowiednio zapytanie (query), klucz (key) i wartość (value), a d i k są wymiarami wektorów kluczy. Osadzenie tokena CLS jest osadzeniem podsumowującym, które rejestruje ogólną spójność semantyczną całej sekwencji wejściowej.
Obliczenie wyniku płynności przebiega w następujący sposób:
(6)
gdzie hCLS jest osadzeniem (embeddingiem) tokenu BERT [CLS], Wreg oraz breg są parametrami głowicy regresyjnej, a σ to funkcja aktywacji sigmoidalnej, która normalizuje wynik do przedziału [0, 1].
Moduł poprawności
Ocena poprawności koncentruje się na dokładności gramatycznej, precyzji mechanicznej oraz przestrzeganiu standardowych konwencji języka angielskiego. Wymiar ten odnosi się do technicznych aspektów pisania, w tym do składni, morfologii, interpunkcji oraz poprawności ortograficznej. Komponent poprawności nie tylko ocenia liczbę błędów językowych, ale także bada ich wpływ na ogólną jakość tekstu. W przeciwieństwie do oceny biegłości, która kładzie nacisk na spójność semantyczną i naturalny przepływ, moduł oceny poprawności wymaga precyzyjnej identyfikacji błędów i systematycznej korekty. Moduł ten rozróżnia poszczególne rodzaje błędów, ocenia ich stopień dotkliwości i dostarcza celowanych poprawek w celu wspierania procesu nauki. Do obliczania straty poprawności wykorzystano model FLAN-T5, który został dostrojony do wykrywania i korygowania błędów gramatycznych. Wybór ten wynika z możliwości transformacji tekstu w tekście modelu T5, co pozwala systemowi nie tylko na znajdowanie błędów, ale także na wprowadzanie odpowiednich korekt w ramach jednego systemu. System ma formę koder-dekoder, a tekst jest wprowadzany w formie tej transformacji: (patrz Rysunek 3)
(7)
Element kodera generuje reprezentacje wrażliwe na kontekst, które oddają nie tylko tendencje gramatyczne, ale także potencjalne obszary występowania błędów:
(8)
Dzięki generowaniu odpowiednich wariantów gramatycznych dla błędnie zidentyfikowanych pomyłek, dekoder generuje poprawione sekwencje:
(9)
Tego rodzaju dwukierunkowe przetwarzanie pozwala systemowi na rozpoznawanie kontekstów błędów oraz sposobu ich korygowania, dzięki czemu wskazówki są spójne semantycznie, a jednocześnie koncentrują się na poprawkach gramatycznych.
Kwantyfikacja błędu i algorytm punktacji
Wskaźnik dokładności porównywał tekst oryginalny z wersją poprawioną, uwzględniając błędy językowe oraz ich stopień nasilenia w zależności od pozycji w tekście i stopnia zakłócenia znaczenia. Metoda ta pozwala uchwycić rozróżnienie między rodzajami błędów a ich wpływem na zrozumienie treści tekstu. Zależność między częstotliwością błędów a niską jakością tekstu została w systemie oceniania uwzględniona w sposób logarytmiczny. Podstawowym etapem porównywania tokenów tekstu oryginalnego i poprawionego są dwa stopnie porównania, które opierają się na technice wyrównywania ciągów znaków na poziomie bitowym. Drugi etap obejmuje identyfikację i klasyfikację rodzajów błędów w oparciu o znane taksonomie językowe, które rozróżniają błędy gramatyczne (zgoda podmiotu z orzeczeniem, spójność czasów i poprawność struktury składniowej), błędy mechaniczne (pisownia wielkich liter, interpunkcja i ortografia) oraz błędy użycia (dobór słownictwa, wyrażenia idiomatyczne i odpowiedni rejestr). Trzecim etapem jest obliczenie współczynnika błędów na podstawie całkowitej długości tekstu. Czwarty krok wykorzystuje algorytm punktacji oparty na wykładniczym zaniku, który przekształca współczynniki błędów w bezpośrednio interpretowalne wyniki poprawności, aby przybliżyć nieaddytywną i nieliniową zależność między częstotliwością błędów a jakością tekstu.
Matematyczne opracowanie procesu kwantyfikacji błędów rozpoczyna się od obliczenia stosunku wprowadzonych błędów, co pozwala na wyznaczenie znormalizowanej wartości wskaźnika wprowadzania błędów, co z kolei umożliwia rzetelne porównanie tekstów o różnej długości:
(10)
(11)
Na podstawie empirycznej walidacji z ocenami ekspertów ustalono parametr kalibracji wynoszący 2,5, tak aby funkcja punktacji dostarczała wyników zgodnych z ludzkim rozumieniem spadku jakości tekstu wraz ze wzrostem częstotliwości błędów. Ustalenie wartości tego parametru w ten sposób gwarantuje, że każdy tekst o niskim współczynniku błędów (Error_Ratio < 0,1) otrzyma wysoką ocenę poprawności, ponieważ ściśle przestrzega zasad standardowego języka angielskiego; każdy tekst o umiarkowanym współczynniku błędów (0,1 < Error_Ratio ≤ 0,3) otrzyma pośrednią ocenę poprawności, wskazującą na występowanie pewnych zastrzeżeń językowych, które nie są jednak całkowicie krytyczne; natomiast każdy tekst o wysokim współczynniku błędów (Error_Ratio > 0,3) otrzyma niską ocenę poprawności ze względu na krytyczne błędy językowe, które znacząco utrudniają zrozumienie treści.
Algorytm punktacji poprawności stosowany w ocenie poprawności systematycznie uwzględnia wszystkie błędy zlokalizowane i naprawione przez system oparty na modelu T5 jako pozycje karne przy obliczaniu końcowego współczynnika błędów. Mechanizm przyznawania punktów karnych stosowany w przypadku błędów gramatycznych jest reprezentowany przez wykładniczy spadek wraz ze wzrostem proporcji błędów w stronę wysokich wartości, co oznacza bardzo niską jakość tekstu, a osiąga wartość 100, gdy współczynnik błędów wynosi 0, co oznacza całkowity brak wykrytych błędów. Stanowi to przykład perfekcyjnego zastosowania standardowych konwencji języka angielskiego. Taka relacja matematyczna zapewnia, że wskaźnik poprawności oferuje znaczące rozróżnienie w całym spektrum poziomów biegłości językowej i jest responsywny na niewielkie, sukcesywne postępy, które wskazują na rzeczywiste nabycie kompetencji.
Zbiory danych: korpus treningowy i ewaluacyjny
Dane treningowe o odpowiedniej jakości i zakresie mają kluczowe znaczenie dla wydajności systemu dwumodelowego. W niniejszym badaniu wykorzystano dobrze zaprojektowany zestaw danych tekstów napisanych przez studentów w celu opracowania i oceny modelu, który powstał poprzez zastosowanie różnych zadań pisarskich. Próba obejmowała 45 mężczyzn i 45 kobiet – studentów pakistańskich uniwersytetów w średnim wieku 19 lat, realizujących obowiązkowy kurs „Functional English”. Każdy student napisał osiem esejów w ciągu ośmiu tygodni, w tym w ramach pretestu, esejów interwencyjnych oraz posttestu. Studenci mieli za zadanie napisać od 400–450 słów dla każdego zadania pisarskiego. Statystyki zestawów danych wykazują następujące cechy:
70 500 słów
Średnia długość zdania: 15,7 słowa (SD = 3,2)
Zakres słownictwa (wskaźnik Type-Token Ratio): 0,64 (SD 0,08) Gęstość błędów gramatycznych: 2,3 na 100 słów (SD = 1,1)
Uzasadnienie i zapewnienie jakości wybranych danych
Wybór zbioru danych był podyktowany kilkoma istotnymi względami, które zapewniły bogactwo i relewantność w kontekście badań nad automatyczną oceną pisania. Po pierwsze, wybrano populację studentów ekonomii ze względu na charakter zbliżony do osób uczących się EFL w szkolnictwie wyższym w Pakistanie, co umożliwiło zaprezentowanie bardziej autentycznych prób pisemnych odzwierciedlających rzeczywiste sytuacje. Po drugie, ustalenie maksymalnego i minimalnego potencjalnego zakresu słów (400–450 słów) oparto na danych z badań pilotażowych, które wykazały, że zakres ten jest wystarczająco złożony językowo, aby mógł zostać wiarygodnie przeanalizowany przez maszynę, a jednocześnie zachowuje rozmiar umożliwiający spójną ocenę przez ludzi. Każda z prac została oceniona przez trzech przeszkolonych nauczycieli języka angielskiego (wiarygodność międzyoceniającymi κ = 0.847 dla wymiaru płynności oraz 0.823 dla wymiaru poprawności) przy użyciu zestandaryzowanych 10-punktowych skal oceny płynności i poprawności. Szkolenie oceniających było rygorystyczne i opierało się na opracowanych rubrykach oceniania w odniesieniu do kryteriów oceniania pisania w testach IELTS i TOEFL. Dane stanowią zestaw adnotowany przez ludzi, który może być wykorzystany do trenowania i walidacji modeli uczonych na danych z ludzkimi adnotacjami.
Procedury preprocessingu i walidacji danych
Zbiór danych został poddany systematycznemu wstępnemu przetwarzaniu, które obejmowało normalizację tekstu, tokenizację tekstu za pomocą tokenizatora BERT WordPiece oraz weryfikację jakości. W celu zapewnienia integralności danych wykluczono osoby, które przesłały niepełne prace lub przygotowały teksty zawierające plagiat. Końcowy zbiór danych został losowo podzielony na zbiór treningowy (70%, n = 189), walidacyjny (15%, n = 41) i testowy (15%, n = 40) poprzez próbkowanie warstwowe, aby zapewnić zrównoważenie poziomów biegłości oraz rodzajów zadań. Przeprowadzono analizę lingwistyczną dużego korpusu referencyjnego zawierającego profesjonalnie zredagowane teksty akademickie, artykuły prasowe oraz opublikowane eseje, obejmującego około 50 milionów słów. Korpus ten dostarcza wzorców językowych niezbędnych do przeprowadzenia testów płynności i wspomaga procedury wykrywania błędów poprzez porównanie ich ze standardowym użyciem języka. W korpusie referencyjnym etapami poprzedzającymi wstępne przetwarzanie i indeksowanie są tokenizacja, tagowanie części mowy, analiza składniowa i etykietowanie semantyczne, co ma na celu ułatwienie efektywnego dostępu podczas oceny w czasie rzeczywistym.
Strategia trenowania modelu płynności
Zaproponowano sekwencyjny system optymalizacji w celu przeszkolenia danych dla osiągnięcia płynności. W procesie uczenia wykorzystano najnowocześniejsze funkcje, w tym adaptacyjne harmonogramowanie tempa uczenia, progresywny rozmiar partii (batch size) oraz zaawansowane metody regularyzacji zapobiegające przeuczeniu w miarę postępu treningu, co pozwala utrzymać skuteczność modelu w identyfikacji wzorców językowych wskazujących na biegłość językową. Tempo uczenia wynosi 5 × 10-4 z liniowym harmonogramem spadku, skonfigurowanym tak, aby zapewnić stabilną zbieżność i uniknąć oscylacji wokół optymalnych wartości parametrów. Tempo uczenia to wybrano za pomocą wyszukiwania siatkowego (grid search) w przedziale [1 x 10-6, 1 x 10-4], przy czym 5 x 10-5 okazało się najbardziej odpowiednim kompromisem między szybkością zbieżności a stabilnością. Właściwe trenowanie zostało ograniczone do zaledwie 3 epok, co jest konfiguracją zoptymalizowaną na podstawie korzyści empirycznych wynikających z monitorowania straty walidacyjnej, aby zapobiec przeuczeniu, nie ograniczając jednocześnie aktualizacji parametrów w stopniu uniemożliwiającym efektywną naukę. W celu zapobieżenia degradacji zastosowano mechanizmy wczesnego zatrzymania (early halting) z cierpliwością (patience) wynoszącą 2 epoki i minimalnym delta na poziomie 0,001.
Optymalizacja jest przeprowadzana za pomocą optymalizatora AdamW, przy uproszczonych wyborach parametrów takich jak β₁ = 0.9 (pęd, który wykładniczo kontroluje zanik oszacowań pierwszego momentu), β₂ = 0.999 (estymacja drugiego momentu, która wykładniczo kontroluje zanik oszacowań drugiego momentu) oraz ε = 1 × 10⁻8 (wyraz stabilności numerycznej). Regularyzacja w postaci weight decay (λ = 0.01) zapobiega nadmiernemu wzrostowi wartości parametrów, a wartość ta została wybrana na podstawie analizy wyników walidacji w zakresie [0.001, 0.1]. Rozbudowany system monitorowania pozwala śledzić różne metryki w trakcie treningu, aby zagwarantować optymalną wydajność modelu i uniknąć przeuczenia. W ramach struktury monitorowania ujęto:
Śledzenie strat: Straty treningowe i walidacyjne są monitorowane w każdej epoce, a wczesne zatrzymanie (early stopping) następuje automatycznie, gdy strata walidacyjna nie ulega poprawie przez 2 kolejne epoki.
Metryki wydajności: Dane walidacyjne są wykorzystywane do obliczania współczynników korelacji Pearsona między wynikami przewidywanymi a rzeczywistymi co 100 kroków treningowych.
Wykrywanie gradientów: Normy gradientów są monitorowane w celu wykrycia zanikających i eksplodujących gradientów, a przy normie gradientu wynoszącej 1,0 stosowane jest przycinanie gradientów.
Harmonogram tempa uczenia: Zmniejszenie tempa uczenia na podstawie walidacji (czynnik = 0,5) w przypadku wykrycia plateau trwającego ponad 1 epokę.
Kwestie regularyzacji: Współczynniki dropout (0,1 dla BERT, 0,3 dla głowicy regresyjnej) zostały określone poprzez systematyczną ablację. Podczas procesu trenowania zastosowano kilka metod regularyzacji zapobiegających przeuczeniu: (1) regularyzację dropout z wykorzystaniem zoptymalizowanych współczynników dla każdego typu warstwy w sieci, (2) decay wag, zgodnie z powyższym opisem, (3) wczesne zatrzymanie (early stopping), determinowane przez wyniki na zbiorze walidacyjnym, oraz (4) augmentację danych polegającą na parafrazowaniu 15% przykładów treningowych przy użyciu metod tłumaczenia zwrotnego. Punkty kontrolne (checkpoints) najlepiej działającego modelu zapisywano po każdej epoce, a modele z najwyższymi wynikami wybierano na podstawie wskaźników korelacji walidacyjnej. Funkcją straty użytą w części oceny płynności jest błąd średniokwadratowy (MSE), który stanowi główną funkcję celu dla zadania regresji polegającego na przewidywaniu ciągłych wyników płynności. Matematyczny zapis funkcji straty przedstawia się następująco:
(12)
N to całkowita wielkość próby treningowej, y_pred, i to przewidywany wynik biegłości dla i-tej próbki, a y_true, i to odpowiadający mu wynik rzeczywisty ustalony przez ekspertów oceniających. Ta funkcja straty jest bardzo użyteczna w kwadratowym ograniczaniu błędu między wartością przewidywaną a rzeczywistą, tak aby większe błędy wiązały się z większą karą; jest ona również różniczkowalna. Mechanizm harmonogramowania tempa uczenia jest zaawansowany i składa się z dwufazowego procesu: rozpoczyna się od etapu liniowego rozgrzewania (warmup), po którym następuje proces systematycznego zaniku w celu uzyskania optymalnych cech zbieżności. W fazie rozgrzewania tempo uczenia rozpoczyna się od zera i stopniowo zmienia się do wartości maksymalnej, po czym parametry modelu są optymalizowane względem zbioru treningowego. Wyrażenie matematyczne fazy rozgrzewania ma postać:
(13)
Po fazie rozgrzewki (warmup), szybkość uczenia jest systematycznie zmniejszana w sposób liniowy, aby uniknąć przekroczenia optymalnych wartości parametrów i zapewnić stabilną zbieżność. Matematycznie faza zaniku przyjmuje postać:
(14)
gdzie t to aktualny krok uczenia, lr max to maksymalna szybkość uczenia osiągnięta podczas rozgrzewki, warmup to liczba kroków przypisanych do fazy rozgrzewki, a total to całkowita liczba kroków uczenia we wszystkich epokach. Wspomniana procedura harmonogramowania zapewnia agresywne uczenie modelu na niższych poziomach oraz stabilność na poziomach zbieżności.
Strategia trenowania modelu poprawności
Model poprawności oparto na strategii uczenia transferowego (transfer learning) z wykorzystaniem wstępnie wytrenowanego modelu FLAN-T5, aby w razie potrzeby skorzystać z całej dostępnej wiedzy gramatycznej. Miało to na celu analizę ogólnego rozumienia języka, a także specyficznych informacji dotyczących błędów popełnianych przez osoby uczące się języka angielskiego jako drugiego (ESL). Zastosowana metoda uczenia transferowego wykorzystuje punkt kontrolny pszemraj/flan-t5-large-grammar-synthesis jako model bazowy, który oferuje kilka istotnych zalet w zakresie poprawności. Ponieważ model jest już wytrenowany i posiada wysoką zdolność rozumienia języka wypracowaną na różnorodnych obszarach tekstowych, potrafi on przystosować się do wielu stylów i tematów pisania. W szczególności przeprowadzono dostrajanie (fine-tuning) specyficzne dla gramatyki na dużych zbiorach danych korygujących, obejmujących wiele rodzajów błędów gramatycznych spotykanych w tekstach pisanych w drugim języku. Co więcej, punkt kontrolny zawiera wydajne systemy wykrywania błędów, które zostały przetestowane pod kątem różnych typów pomyłek (tj. błędów morfologicznych, składniowych i semantycznych), tworząc idealny standard porównawczy dla wrodzonych parametrów testowania korekty w niniejszym badaniu.
Proces adaptacji domeny odzwierciedla systematyczne modyfikacje parametrów, które nie zmieniają ogólnych zdolności rozumienia języka modelu wstępnie wytrenowanego, lecz wprowadzają specyficzne cechy rozwiązania zadania oceny pisemnej. Ten proces adaptacji ma następujące wyprowadzenie matematyczne:
(15)
Tutaj θpretrained reprezentuje parametry wstępnie wytrenowanego modelu kodujące ogólne rozumienie języka i wiedzę gramatyczną, a Δθdomain reprezentuje specyficzne aktualizacje parametrów wyuczone na podstawie docelowego zadania oceny pisania. Aktualizacje specyficzne dla dziedziny są obliczane poprzez optymalizację opartą na gradiencie na zbiorze danych docelowych, co zapewnia rozwój w modelu specyficznej dla zadania wrażliwości na rodzaje błędów powszechnie występujące w pisaniu w języku EFL, bez zakłócania jego szerszych możliwości językowych.
Eksperymenty z porównaniami
Aby udowodnić funkcjonalność EG, jako kluczową wartość pomiarową zaproponowano współczynnik korelacji Pearsona, który określa liniową zależność między wynikami automatycznymi a wiedzą ekspercką ludzi. Współczynnik korelacji oblicza się według wzoru:
(16)
Gdzie xi reprezentuje wyniki automatyczne, reprezentuje oceny ludzkie, a 
oraz 
to odpowiednie wartości średnie. Współczynnik korelacji mieści się w zakresie od −1 do 1, przy czym wartości bliskie 1 wskazują na silny dodatni związek między oceną automatyczną a ludzką.
(17)
(18)
(19)
Porównania z modelem bazowym
Aby ocenić wydajność EG i wykazać jego przewagę nad istniejącymi metodami, przeprowadzono szczegółowe porównania z uznanymi systemami AWE oraz tradycyjnymi podejściami opartymi na pojedynczej metryce. Porównania te z modelami bazowymi są niezbędne do walidacji wartości dodanej architektury EG i wykazania, że integracja oceny płynności i poprawności zapewnia mierzalną poprawę w stosunku do podejść koncentrujących się na poszczególnych wymiarach w izolacji. Wybór modeli bazowych obejmuje cztery kategorie AWE, z których każda odzwierciedla odmienną orientację w kwestii sposobu oceniania pisania. Pierwsza z nich obejmuje pojedynczy model oparty na BERT do oceny płynności. Modele te wykorzystują architektury transformera do oceny wzorców tekstowych pod kątem gładkości i spójności. Druga kategoria, osadzona w tradycyjnych metodologiach lingwistycznych, koncentruje się na systemach opartych na regułach do wykrywania błędów gramatycznych. W związku z tym nacisk położono na poprawność, pomijając inne aspekty związane z jakością pisania, takie jak kohezja i treść. Trzecią kategorią są systemy AWE oparte na cechach, które obejmują wskaźniki złożoności lingwistycznej — takie jak zmienność długości zdań, dywersyfikacja leksyki i złożoność syntaktyczna — w celu wygenerowania ogólnych wyników jakości. Czwarta kategoria uwzględnia systemy hybrydowe, łączące różne lingwistyczne cechy powierzchniowe, często z wykorzystaniem metod zespołowych lub średnich ważonych. Modele te nie osiągają poziomu zintegrowanego zaawansowania, który charakteryzuje architektury neuronowe EG. Wydajność modeli bazowych oceniano w trzech głównych wymiarach. Pierwszy mierzy zgodność ocen generowanych przez system z ocenami wyszkolonych ekspertów (lektorów języka angielskiego) przy użyciu zestandaryzowanych rubryk. Drugi określa generalizowalność, identyfikując, czy wydajność pozostaje spójna w przypadku trzech esejów o różnej tematyce i stopniu złożoności. Trzeci wymiar opiera się na niezawodności predykcyjnej, oceniając dokładność i stabilność punktacji za pomocą narzędzi statystycznych, takich jak średni błąd bezwzględny, pierwiastek błędu średnio kwadratowego oraz analiza przedziału ufności. Wspólnie wymiary te tworzą solidne ramy porównawcze i podkreślają przewagę systemów EG, szczególnie w osiąganiu większej precyzji i stabilności niż w przypadku podejść tradycyjnych.
Grupy eksperymentalna i kontrolna
Badanie to objęło 90 studentów ekonomii na poziomie licencjackim, którzy uczęszczali na kurs języka angielskiego w ramach dwóch nienaruszonych grup zajęciowych. Dane zbierano w trzech etapach: przed testem, w trakcie interwencji oraz po teście, aby śledzić postępy w dokładności i płynności pisania w czasie. Badanie z udziałem ludzi zostało zatwierdzone przez Radę Doradczą Wydziału Uniwersytetu COMSATS w Islamabadzie, kampus w Lahore, Pakistan. Uczestnicy zostali poddani dwóm warunkom: tradycyjnej informacji zwrotnej od człowieka oraz informacji zwrotnej wspomaganej komputerowo. Grupa kontrolna składała się z 45 studentów, którzy otrzymywali tradycyjną pisemną informację zwrotną od wykwalifikowanego lektora języka angielskiego. Uczestnicy otrzymywali pisemne uwagi do swoich esejów w formie ocen holistycznych, wskazania błędów oraz rekomendacji w postaci komentarzy instruktora dotyczących sposobu poprawy pracy. Grupa eksperymentalna obejmowała z kolei 45 studentów, których nauczano w ten sam sposób w klasie, jednak pisanie studentów było wspierane przez szybką, zautomatyzowaną informację zwrotną dostarczaną przez EG, która dostarczała im informacji diagnostycznych, zarówno w zakresie płynności, jak i poprawności, w ciągu około 30 sekund od przesłania tekstu.
Badanie to przeprowadzono w ciągu 8 tygodni, rozpoczynając od testu wstępnego (tydzień 1) w celu określenia początkich umiejętności pisania osób badanych przed zastosowaniem interwencji. Przez sześć tygodni uczestnicy z grupy eksperymentalnej otrzymywali informacje zwrotne generowane komputerowo z wykorzystaniem markerów semantycznych NLP, natomiast uczestnicy z grupy kontrolnej otrzymywali oceny nauczycieli. Ostatecznie przeprowadzono test końcowy (w tygodniu 8), aby zbadać różnice między wynikami dokładności i płynności w pomiarach przed i po interwencji. W celu zapewnienia porównywalności wyników, respondenci byli proszeni o wykonywanie podobnych zadań pisemnych w każdym okresie oceny, co pozwoliło zminimalizować potencjalne zmienne zakłócające związane z trudnością zadań oraz stopniem znajomości treści. Aby zapewnić spójność poziomu trudności poleceń oraz ustanowić trafność treściową, polecenia pisemne zostały dobrane w sposób kongruentny. Tematy wypracowań wybrano tak, aby studenci poruszali różne obszary tematyczne, co miało zapobiec efektowi wprawy oraz znudzeniu uczestników wynikającemu z konieczności wykonywania podobnych zadań przez dłuższy czas.
W fazie wstępnej uczestnicy zostali poproszeni o napisanie eseju o długości 400–450 słów na temat celów naukowych i zawodowych. To zadanie opisowe opierało się na osobistych doświadczeniach i przyszłych planach, co wymagało uporządkowania tekstu, podania jasnych przykładów oraz logicznego sformułowania osobistych celów i motywacji. Zadania pisemne w ramach interwencji opierały się na różnych tematach, takich jak opis codziennej rutyny, hobby, podróże, pierwszy dzień na uniwersytecie, pamiętne dni z życia oraz chwile spędzone z najlepszym przyjacielem. Temat testu końcowego dotyczył „Wpływu technologii na komunikację”, a wymagana długość eseju wynosiła 400–450 słów.