FairEduNet Projektowanie algorytmów i ocena nauczania Kalibracja z uwzględnieniem równości w szkolnictwie wyższym

Podsumowanie

Celem badań jest zapewnienie nowego podejścia do kalibracji oceny nauczania i równości edukacyjnej w inteligentnym edukacji. Wyniki eksperymentów wskazują, że zaproponowany model znacząco przewyższa modele porównawcze, skutecznie radząc sobie z problemami słabej integracji danych z wielu źródeł oraz z uprzedzeniami dotyczącymi rzetelności w istniejących metodach kalibracji.

Streszczenie

Obecne metody kalibracji oceniania nauczania stoją przed wyzwaniami takimi jak niska efektywność integracji podczas przetwarzania danych oceniania nauczania o zróżnicowanej źródłowości, niewystarczająca przystosowań do różnych dyscyplin i scenariuszy nauczania oraz uprzedzenia w wynikach ze słabymi gwarancjami uczciwości. Badania mają na celu skonstruowanie interpretowalnej, przenośnej i skalowalnej ramy korekcji uczciwości dla głębokiego modelowania i dynamicznej korekcji danych oceniania nauczania. Te problemy utrudniają spełnienie kluczowego wymogu zrównoważonego nauczania w inteligentnej edukacji. Niniejsze badanie proponuje kierowany na uczciwość algorytm sieci edukacyjnej, który integruje sieć generatywną o przeciwnych celach i drzewo decyzyjne wzmacniania gradientowego. Algorytm konstruuje mechanizm kalibracji uczciwości i łączy dwukierunkowy model kodujący reprezentację z siecią uwagi graficznej w celu optymalizacji wyodrębniania cech i dynamicznej przystosowań, poprawiając efektywność przetwarzania danych wieloźródłowych i dokładność kalibracji uczciwości. To podejście osiąga precyzyjną kalibrację i gwarancję uczciwości w ocenianiu nauczania. W teście wskaźników model osiągnął dokładność 98,76% w ewaluacyjnych funkcjach grupowania, 98,05% w korekcji uczciwości i 0,968 w spójności korekcji między scenariuszami w zestawie walidacyjnym. W zadaniu testowania wartości straty, całkowita strata modelu spadła z 0,1237 do 0,1018 podczas zadania korekcji oceny nauczania w zestawie walidacyjnym. W teście wskaźników model osiągnął dokładność 98,76% w ewaluacyjnych funkcjach grupowania, 98,05% w korekcji uczciwości i 0,968 w spójności korekcji między scenariuszami w zestawie walidacyjnym. Wyniki eksperymentów wskazują, że proponowany model znacząco przewyższa porównawcze modele, skutecznie rozwiązując problemy złej integracji danych wieloźródłowych i uprzedzeń uczciwości w istniejących metodach kalibracji. Ponadto zapewnia innowacyjne ramy algorytmiczne dla deweloperów technologii i niezawodne narzędzia techniczne dla administratorów edukacji w celu promowania równości nauczania. Wkład badań polega na: (i) integracji trzech kluczowych modułów, w tym przetwarzania danych wieloźródłowych, dynamicznej weryfikacji wskaźnika uczciwości i wizualizacji wyjaśnialności; oraz (ii) zaproponowaniu paradygmatu korekcji uczciwości opartego na współpracującej optymalizacji sieci generatywnych o przeciwnych celach i drzew wzmacniania gradientowego, co przełamuje ograniczenia tradycyjnej korekcji jednego modelu i umożliwia rozdzielne uczenie się modelowania odchyleń i podejmowania decyzji korekcyjnych.

Wprowadzenie

Ocena nauczania i kalibracja stanowią podstawę zapewnienia jakości nauczania w inteligentnym edukacji. Poprzez dynamiczną analizę, korektę błędów i kalibrację wyników, zapewniają podstawę dla ulepszania instrukcji i nauczania spersonalizowanego. Ich dokładność i uczciwość bezpośrednio wpływają na to, czy inteligentna edukacja może przełamać technologiczne uprzedzenia i zapewnić zrównoważone wsparcie edukacyjne^1,2. Jednakże, istniejące metody mają kilka niedociągnięć: polegają na pojedynczym źródle danych, ignorują rzeczywistą sytuację i prowadzą do zniekształceń danych i uprzedzeń w korekcji. Brak dynamicznego mechanizmu adaptacji uczciwości sprawia, że trudno jest zaspokoić potrzeby uczciwości dyscyplin i scenariuszy^3,4. Ponadto, istnieją problemy takie jak brak wskaźników uczciwości i uprzedzenia w strategiach korekcji podczas radzenia sobie z heterogenicznymi danymi z wielu źródeł. W związku z tym, naukowcy przeprowadzili badania z wielu kierunków, takich jak ocena nauczania wspomaganego tenisem na podstawie ulepszonego algorytmu gęstych trajektorii⁵. Yin i in. wykorzystali analityczną hierarchię procesu i algorytm syntezy rozmytej do monitorowania nauczania online⁶. Chen przeanalizował dane edukacyjne dotyczące osób starszych za pomocą ulepszonego algorytmu górnictwa danych, aby poprawić jakość nauczania⁷.

Mimo że te badania osiągnęły postęp, problemy takie jak zniekształcenie wyników kalibracji i słaba koordynacja uczciwości nadal istnieją. Dlatego, budowanie modelu, który jednocześnie zapewnia dokładną kalibrację oceny nauczania i dynamiczną uczciwość, stało się punktem koncentracji badań w inteligentnej edukacji. Sieciowa sieć generatywna przeciwnikowska (GAN) adaptuje się do eliminowania ukrytego wpływu wrażliwych atrybutów na wyniki poprzez szkolenie przeciwników w czasie rzeczywistym między generatorem a dyskryminatorem, zapewniając, że wyniki są określone przez kluczowe czynniki, a nie uprzedzenie indukowane przez etykietę⁸. GAN pokazuje zalety w radzeniu sobie z uprzedzeniami grupowymi w danych oceniających i modelowaniu nieliniowych ograniczeń uczciwości. Cheng i in. zaproponowali algorytm ulepszania obrazu oparty na GAN, aby rozwiązać problem niskiej rozdzielczości obrazów. Generator generuje obrazy o wysokiej rozdzielczości z wejść o niskiej rozdzielczości, a dyskryminator rozróżnia wygenerowane obrazy od prawdziwych obrazów o wysokiej rozdzielczości. Szkolenie przeciwników optymalizuje parametry, tak aby wyjścia generatora zbliżały się do rzeczywistych obrazów⁹. Kang i in. zaproponowali model GAN wielomodalny, aby poprawić efektywność przetwarzania danych wielomodalnych w dziedzinie energetyki odnawialnej. Generator odbiera dane jednomodalowe, dyskryminator rozróżnia wygenerowane od prawdziwych danych wielomodalnych, a szkolenie przeciwników optymalizuje model w celu poprawy efektywności¹⁰. Algorytm drzewa decyzyjnego wzmacniającego gradientowo (GBDT) jest klasycznym algorytmem przetwarzania danych strukturalnych o silnej zdolności do przechwytywania cech. Poprzez iteracyjne integrowanie wielu drzew decyzyjnych, GBDT precyzyjnie uczy wzorców błędów danych i pokazuje zalety w przetwarzaniu informacji o ocenie z wielu źródeł heterogenicznych i korekcji nieliniowych odchyleń wyników^11,12. Mizuno i in. zaproponowali metodę predykcji ścieżek dla katastrof związanych z ciężkimi opadami deszczu opartą na GBDT, ucząc się cech ścieżek i przewidując ścieżki katastrof z danymi w czasie rzeczywistym, wybierając optymalne przewidywania poprzez wiele drzew decyzyjnych¹³. Gao i in. opracowali metodę analizy wizualnej opartą na GBDT do przewidywania współczynnika kliknięć reklam, ucząc się relacji między cechami wizualnymi a historycznymi danymi kliknięć, aby przewidywać współczynniki kliknięć dla nowych reklam¹⁴. W oparciu o powyższe wyzwania, niniejsze badania mają na celu systematycznie odpowiedzieć na następujące kluczowe pytanie naukowe: Jak można zbudować inteligentny model oceny edukacyjnej, który efektywnie integruje dane heterogeniczne z wielu źródeł, dynamicznie adaptuje się do różnych scenariuszy nauczania i jednocześnie zapewnia dokładność kalibracji i uczciwość wyników. Aby odpowiedzieć na to pytanie, w badaniach wykorzystano synergiczny efekt mechanizmu ograniczenia uczciwości GAN i precyzyjnej zdolności kalibracji błędów GBDT. Ponadto, prowadzone są badania nad tym, jak wprowadzić zaawansowane technologie, takie jak przetwarzanie języka naturalnego (BERT), uczenie się przez wzmacnianie (RL), mechanizmy uwagi (AM), sieci pamięci krótkoterminowej (LSTM), sieci uwagi graficznej (GAT) i destylację wiedzy (KD), aby uzupełnić niedobory pojedynczego modelu w ekstrakcji cech, dynamicznej adaptacji i efektywności rozumowania. Ostatecznie, celem jest zapewnienie precyzyjnego i uczciwego rozwiązania kalibracji oceny nauczania, które ma silne zdolności generalizacji dla dziedziny inteligentnej edukacji.

Protokół

Projektowanie i optymalizacja algorytmu FairEduNet
Badanie łączy sieci GAN i algorytm GBDT w celu stworzenia algorytmu FairEduNet, który realizuje podwójne cele: korekcję sprawiedliwości oraz korekcję dokładności, zamiast polegać na kompromisie wynikającym z jednostronnej optymalizacji. FairEduNet wykorzystuje dwukanałową architekturę współpracującą: główny kanał GBDT odpowiada za strukturalne modelowanie błędów i precyzyjną korekcję, podczas gdy pomocniczy kanał GAN koncentruje się na rozdzieleniu atrybutów wrażliwych i dynamicznej regulacji sprawiedliwości. Architektura algorytmu FairEduNet, łącząca GAN i GBDT, przedstawiona jest na Rysunku 1.

Rysunek 1: Architektura algorytmu FairEduNet łącząca GAN i GBDT. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

Jak pokazano na Rysunku 1, FairEduNet najpierw gromadzi i wstępnie przetwarza wieloźródłowe dane z ocen. GBDT wykorzystuje wiele drzew decyzyjnych do iteracyjnego uczenia się wzorców błędów oceniania, generuje wstępne wyniki kalibracji i przekazuje je do modułu GAN. GAN trenuje dyskryminator w celu nauczenia się zależności między wstępnymi wynikami kalibracji a atrybutami wrażliwymi, podczas gdy generator dynamicznie dostosowuje parametry kalibracji. Poprzez wielokrotne rundy treningu przeciwstawnego i weryfikacji sprawiedliwości optymalizowane jest obciążenie związane z brakiem bezstronności. Ostatecznie wyniki skalibrowane pod kątem sprawiedliwości są przekazywane z powrotem do modułu GBDT, który koryguje je pod kątem dokładności i sprawiedliwości, generując podstawę kalibracji oraz raport z oceny nauczania. GBDT oblicza residua zgodnie z Równaniem (1).

    (1)

W równaniu (1), reprezentuje rezyduum i-tej próbki w t-tej iteracji, y_i  reprezentuje wartość rzeczywistą, a reprezentuje wartość predykcji z iteracji t-1. Proces przeciwstawny GAN przedstawiono w równaniu (2).

    (2)

W równaniu (2) x reprezentuje początkowy wynik kalibracji, z reprezentuje cechy atrybutów wrażliwych, P_data(x)  reprezentuje rzeczywisty rozkład cech niewrażliwych, P_z(z)  reprezentuje rozkład atrybutów wrażliwych, D reprezentuje dyskryminator, a G reprezentuje generator¹⁵. Początkowy wynik kalibracji GBDT przedstawiono w równaniu (3).

    (3)

W równaniu (3), reprezentuje predykcję i-tej próbki wykonaną przez początkowe drzewo decyzyjne, K reprezentuje całkowitą liczbę drzew decyzyjnych, γ_k reprezentuje wagę k-tego drzewa, a h_k(x_i) reprezentuje wynik predykcji k-tego drzewa dla i-tej próbki. Algorytm FairEduNet może zapewnić precyzyjną kalibrację i gwarancję sprawiedliwości dla danych dotyczących oceny nauczania. Jednak podczas przetwarzania niestrukturalnych danych oceny i adaptacji do dynamicznych scenariuszy, FairEduNet wykazuje słabą zdolność ekstrakcji cech dla cech niestrukturalnych, co prowadzi do błędu kalibracji. Ponadto wskaźniki sprawiedliwości i parametry kalibracji FairEduNet są ustawione statycznie, co ogranicza jego zdolność adaptacji do różnych scenariuszy nauczania i wpływa na ogólną jakość kalibracji. Połączenie dwukierunkowych reprezentacji koderów z transformatorów (BERT) i uczenia ze wzmocnieniem (RL), czyli algorytm BERT-RL, pozwala na dokładną ekstrakcję głębokich cech z niestrukturalnego tekstu i dynamiczną adaptację parametrów scenariusza bez ręcznego ustawiania statycznych progów, co dodatkowo poprawia niezawodność wyników algorytmu w różnych scenariuszach^16,17. Tradycyjne metody, takie jak TF-IDF, opierają się na częstotliwości słów, lecz brakuje im głębokiego zrozumienia kontekstu i nie potrafią rozróżnić specyficznych kierunków „sprawiedliwości” w różnych scenariuszach. Word2Vec generuje statyczne wektory słów, które z trudnością adaptują się do złożonych zmian kontekstowych i rozpoznają pośrednie uprzedzenia. BERT wykorzystuje wielowarstwową mechanizację self-attention do kodowania dwukierunkowego kontekstu, wychwytując zarówno jawne terminy stronnicze, jak i ukrytą logikę uprzedzeń. Tradycyjne podejścia wymagają ręcznie tworzonych list słów stronniczych, opierają się na subiektywnym doświadczeniu i obejmują ograniczone scenariusze. Poprzez uczenie transferowe modelu wstępnie wytrenowanego, BERT automatycznie uczy się głębokich cech semantycznych bez dużego nakładu pracy ręcznej, oferując silniejszą generalizację w rozpoznawaniu niejednoznacznych uprzedzeń. Co więcej, tradycyjne metody często tracą informacje przy długich tekstach, podczas gdy BERT obsługuje do 512 tokenów, zachowując relacje kontekstowe, dokładnie lokalizując cechy stronniczości i umożliwiając drobnoziarnistą korektę sprawiedliwości. Proces działania BERT-RL przedstawiono na Rysunku 2.

Rysunek 2: Schemat blokowy działania algorytmu BERT-RL. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Jak pokazano na Rysunku 2, BERT-RL najpierw standaryzuje nieustrukturyzowane dane z ocen tekstowych, a następnie wprowadza je do modelu BERT. BERT wykorzystuje koder Transformer do dwukierunkowego modelowania semantycznego w celu wyodrębnienia kluczowych cech i skonstruowania macierzy cech. Macierz cech jest następnie wprowadzana do modułu RL, który uczy się optymalnej strategii poprzez wielokrotne iteracje. Zoptymalizowana konfiguracja parametrów jest na koniec przekazywana do FairEduNet, co poprawia jego zdolność adaptacyjną. Obliczenie wag cech mechanizmu self-attention w modelu BERT przedstawiono w równaniu (4).

   (4)

W równaniu (4) d_k  oznacza wymiar wektora K. Funkcja nagrody wielokryterialnej RL jest przedstawiona w równaniu (5).

   (5)

W równaniu (5), ω₁, ω₂ oraz ω₃  reprezentują współczynniki wagowe, reprezentuje błąd kalibracji, D_t  to odchylenie sprawiedliwości, D_target  to docelowe odchylenie sprawiedliwości, a T_t to czas wykonania¹⁸. Niniejsze badanie łączy BERT-RL z FairEduNet w celu utworzenia algorytmu BERT-RL-FairEduNet, określanego jako BFEN. BFEN zapewnia precyzyjną kalibrację i gwarancję sprawiedliwości danych oceny nauczania poprzez iterację cech GBDT oraz adversarialny trening w czasie rzeczywistym GAN, podczas gdy BERT-RL optymalizuje FairEduNet w przetwarzaniu danych nieustrukturyzowanych i dynamicznym dostosowywaniu się do scenariuszy, eliminując słabości w ekstrakcji cech i ograniczenia statycznych parametrów. W badaniu wykorzystano model BERT-base-Chinese, a korpus rzeczywistych dzienników nauczania, tekstów z nagrań lekcyjnych oraz dokumentów dotyczących polityki edukacyjnej z Narodowej Platformy Inteligentnej Edukacji (National Smart Education Platform) za rok akademicki 2024–2025 został poddany wstępnemu trenowaniu przy rozmiarze słownika wynoszącym 21128. Wymiar warstwy ukrytej modelu wynosi 768, z 12 głowic uwagi i 12 warstwami. Głębokość drzewa GBDT została ustawiona na 8, liczba drzew wyniosła 200, a szybkość uczenia 0,1. Cykl treningowy GAN obejmuje 150 rund, a dyskryminator wykorzystuje 3-warstwową sieć w pełni połączoną o rozmiarach 512, 256 i 1. Generator wykorzystuje 4-warstwową sieć w pełni połączoną o rozmiarach 1024, 512, 256 i 1. Liczba jednostek ukrytych w LSTM wynosi 128, a długość sekwencji 512. GAT posiada 2 warstwy i 4 głowice uwagi. Temperatura destylacji wiedzy została ustawiona na 3,0. Współczynniki wag nagrody RL to ω₁ = 0.4, ω₂ = 0.35 oraz ω₃ = 0.25. Kryteria wyboru wag mają na celu zbalansowanie równowagi frontu Pareto w optymalizacji wielokryterialnej z wymaganiami interpretowalności praktyk sprawiedliwości edukacyjnej. Eksperymenty zostały przeprowadzone przy zastosowaniu 50% podziału danych poprzez walidację krzyżową i strojenie hiperparametrów. Proces BFEN dla kalibracji oceny nauczania przedstawiono na Rysunku 3.

Rysunek 3: Proces korekcji algorytmu BFEN dla inteligentnej edukacji i oceny nauczania. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Jak pokazano na Rysunku 3, BFEN najpierw przeprowadza wstępne przetwarzanie wieloźródłowych danych oceny nauczania. BERT optymalizuje zdolność ekstrakcji cech FairEduNet poprzez obliczanie semantycznego podobieństwa tekstu oraz wag cech głębokich w oparciu o okno semantyczne, wybierając istotne cechy do konstrukcji wysokowymiarowej macierzy cech semantycznych. Następnie RL definiuje wielokryterialną funkcję nagrody oraz oblicza gradienty adaptacyjności scenariusza i dostosowania parametrów, aby dalej optymalizować progi sprawiedliwości oraz parametry kalibracji. FairEduNet oblicza odchylenia między danymi oceny a modelami wzorców błędów, iteracyjnie aktualizuje wagi drzew decyzyjnych i dostosowuje strategie kalibracji, aż błędy ustabilizują się w ramach zadanych progów. Końcowy wynik obejmuje model kalibracji błędów oraz raport weryfikacji sprawiedliwości. Model kalibracji jest stosowany do danych oceny nauczania, generując tabele porównawcze przed i po kalibracji, które są łączone z inteligentną biblioteką standardów sprawiedliwości edukacyjnej w celu określenia docelowych parametrów kalibracji, zapewniając naukową podstawę kalibracji oceny nauczania w inteligentnej edukacji. Biblioteka standardów ta obejmuje trzy wymiary: sprawiedliwość szans edukacyjnych, sprawiedliwość procesu oraz sprawiedliwość wyników i zawiera 12 kluczowych wskaźników. Wskaźniki te obejmują: równowagę w alokacji zasobów edukacyjnych między regionami, różnicę w pokryciu infrastrukturą cyfrową między szkołami miejskimi i wiejskimi, próg tolerancji dla opóźnionej odpowiedzi w diagnozie sytuacji uczenia się (≤200 ms), tolerancję dla brakujących danych w ocenie multimodalnej (≤3.5%), czułość detekcji stronniczości algorytmu (odchylenie AUC dla etykietowania płci/regionu/etapu ≤ 0.02), próg dywergencji KL dla rozkładu wyników przed i po korekcie (≤0.08), wynik interpretowalności sugestii interwencji nauczyciela (≥4.2/5.0), terminowość aktualizacji profili uczniów (ukończona w ciągu T + 1 dni), współczynnik spójności uznawania efektów uczenia się między platformami (≥0.93), dokładność semantycznego dopasowania polityki edukacyjnej (wynik BERT ≥ 0.86) oraz kompletność generowania raportu weryfikacji sprawiedliwości (zawierającego atrybucję stronniczości, przedziały ufności i reprodukowalne migawki parametrów), a także wskaźnik przejścia walidacji adaptacji dynamicznej w trzech typowych scenariuszach: lekcji na żywo, zadań asynchronicznych oraz asystentów nauczania AI. Obliczenia podobieństwa cech semantycznych przedstawiono w Równaniu (6).

     (6)

W równaniu (6) f_i  reprezentuje wartość i-tego wymiaru cechy semantycznej, g_i reprezentuje wartość i-tego wymiaru cechy oceny istotności, a n reprezentuje całkowitą liczbę wymiarów cech. Obliczenie parametru adaptacji scenariusza RL przedstawiono w równaniu (7).

    (7)

W równaniu (7) θ_t reprezentuje wartość parametru w t-tej iteracji, α reprezentuje szybkość uczenia, a reprezentuje gradient parametru w oparciu o funkcję nagrody R(θ_t).

Konstrukcja modelu kalibracji oceny nauczania
Chociaż BFEN wykazuje pewne zalety w kalibracji oceny nauczania, w praktycznych zastosowaniach wciąż mierzy się z niską wydajnością integracji heterogenicznych danych oceniających z wielu źródeł oraz niewystarczającą dynamiczną adaptacją sprawiedliwości. Algorytm AM-LSTM, łączący mechanizm uwagi (Attention Mechanism – AM) i długoterminową pamięć krótkotrwałą (Long Short-Term Memory – LSTM), przypisuje wagi kluczowym cechom danych oceniających z wielu źródeł za pomocą AM i rejestruje wzorce dynamicznych zmian danych oceniających w czasie, wykorzystując zdolność sekwencyjnej pamięci LSTM. Podejście to skutecznie poprawia wydajność integracji danych wieloźródłowych oraz uczenie dynamicznych cech^19,20. Proces działania AM-LSTM przedstawiono na Rysunku 4.

Rycina 4: Schemat blokowy działania AM-LSTM. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Jak pokazano na Rysunku 4, model AM-LSTM najpierw przetwarza wstępnie heterogeniczne dane z wielu źródeł dotyczące oceny nauczania, aby utworzyć ustandaryzowany zbiór danych. Moduł AM oblicza wagi uwagi dla cech z różnych źródeł danych w celu wybrania istotnych cech i konstruuje ważoną macierz cech. Następnie ważona macierz cech jest wprowadzana do modułu LSTM, który wykorzystuje swój mechanizm bramkowania do uczenia się dynamicznych wzorców w czasie, wychwytując relacje między danymi oceny na różnych etapach i generując dynamiczne wektory cech. Na koniec dynamiczne wektory cech są łączone z ograniczeniami sprawiedliwości (fairness constraints), aby wygenerować pośrednie wyniki kalibracji, które dostosowują się do integracji danych z wielu źródeł i scenariuszy dynamicznych, stanowiąc podstawę do późniejszej optymalizacji modelu. Obliczanie wag uwagi przedstawiono w Równaniu (8).

     (8)

W równaniu (8) a_n  oznacza alokację uwagi dla n-tej cechy, x_n  oznacza podobieństwo, q oznacza wektor zapytania, a softmax  oznacza funkcję aktywacji. Brama zapominania LSTM jest przedstawiona w równaniu (9).

    (9)

W równaniu (9) W_f jest wagą bramki zapominania, b_f  jest przesunięciem (biasem) bramki zapominania, x_t  to wejście w czasie t, h_t-1 to zewnętrzna zmienna stanu w czasie t-1, a σ reprezentuje funkcję sigmoidalną²¹. Niniejsze badanie łączy AM-LSTM z BFEN w celu skonstruowania modelu kalibracji oceny nauczania AM-LSTM-BFEN, nazwanego FBFEN. W tym modelu AM-LSTM rozwiązuje ograniczenia BFEN w zakresie wydajności integracji heterogenicznych danych z wielu źródeł oraz dynamicznej ekstrakcji cech. Integruje on również ograniczenia sprawiedliwości w celu optymalizacji pośrednich wyników kalibracji, co pozwala BFEN na dalsze osiągnięcie precyzyjnej kalibracji i dynamicznego zapewnienia sprawiedliwości dla danych oceny nauczania. Proces działania FBFEN przedstawiono na Rysunku 5.

Rysunek 5: Proces działania modelu oceny i korekty nauczania FBFEN. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Jak pokazano na Rysunku 5, FBFEN najpierw wstępnie przetwarza oryginalne wieloźródłowe dane oceny nauczania, a następnie wprowadza zestandaryzowany zbiór danych do modułu AM-LSTM. AM oblicza wagi uwagi cech, podczas gdy LSTM uczy się dynamicznych wzorców, generując pośrednie wyniki kalibracji, które integrują informacje z wielu źródeł i cechy dynamiczne. Wyniki pośrednie są następnie wprowadzane do modułu BFEN. GBDT iteracyjnie uczy się wzorców błędów danych oceny na podstawie wyników pośrednich i ustawionego modelu błędów, generując wstępne wyniki kalibracji. Jednocześnie GAN analizuje stronniczość w zakresie sprawiedliwości spowodowaną przez atrybuty wrażliwe w wynikach wstępnych poprzez trening przeciwstawny pomiędzy generatorem a dyskryminatorem, dynamicznie dostosowując parametry kalibracji w celu wyeliminowania stronniczości. Na koniec zoptymalizowane przez GAN parametry kalibracji są przekazywane z powrotem do GBDT w celu aktualizacji wag drzew decyzyjnych i strategii kalibracji, co pozwala uzyskać wtórny wynik kalibracji, który równoważy precyzję i sprawiedliwość. Standaryzację danych przedstawiono w Równaniu (10).

    (10)

W równaniu (10) z' oznacza wartość zestandaryzowaną, z oznacza wartość oryginalną, a z_min  oraz z_max  oznaczają wartości minimalną i maksymalną. Końcowa funkcja celu generatora GAN została przedstawiona w równaniu (11).

   (11)

W równaniu (11), N oznacza liczbę iteracji, λ oznacza czynnik wagowy straty, ωⁱ oznacza czynnik wagowy i-tej iteracji, reprezentuje przeciwstawną funkcję straty, a reprezentuje binarną funkcję straty entropii krzyżowej²².

Optymalizacja modelu kalibracji oceny nauczania FBFEN
Chociaż FBFEN wykazuje silną integrację danych z wielu źródeł i dynamiczne zapewnienie sprawiedliwości w kalibracji oceny nauczania, w złożonych scenariuszach edukacyjnych wciąż boryka się ze słabą korelacją cech oraz niską wydajnością uczenia i wnioskowania ze względu na złożoną strukturę modelu. Algorytm GAT-KD, który łączy sieci uwagi grafowej (Graph Attention Network, GAT) z destylacją wiedzy (Knowledge Distillation, KD), dynamicznie konstruuje graf powiązań semantycznych między cechami za pomocą mechanizmu uwagi GAT, wzmacniając dopasowanie semantyczne danych z wielu źródeł. KD kompresuje wiedzę ze złożonego modelu do lekkiej sieci, znacząco poprawiając wydajność wnioskowania przy jednoczesnym zachowaniu wydajności modelu^23,24. Proces działania GAT-KD przedstawiono na Rysunku 6.

Rycina 6: Schemat blokowy działania GAT-KD. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.

Jak pokazano na Rysunku 6, GAT-KD buduje graf powiązań semantycznych między cechami za pomocą modułu GAT, dynamicznie agreguje informacje o cechach sąsiedztwa z wykorzystaniem mechanizmu uwagi i wzmacnia reprezentację semantyczną cech lokalnych. Następnie KD wykorzystuje wyjściowe miękkie etykiety (soft labels) jako sygnały nadzorujące, minimalizując stratę dywergencji między rozkładami wyjściowymi oraz stratę entropii krzyżowej między predykcjami a etykietami rzeczywistymi, co pozwala na transfer wiedzy i kompresję modelu. Wynikiem końcowym jest lekki model kalibracyjny o wysokiej precyzji i wydajności. Obliczenie współczynnika uwagi GAT przedstawiono w Równaniu (12).

     (12)

W równaniu (12), oraz reprezentują wektory cech węzłów i i j, W oznacza macierz wag podlegającą uczeniu, a reprezentuje wektor wag uwagi, oznacza operację konkatenacji, a LeakyReLU reprezentuje funkcję aktywacji²⁵. Obliczanie funkcji straty KD przedstawiono w równaniu (13).

     (13)

W równaniu (13) KL reprezentuje stratę dywergencji, T² reprezentuje bilans skalowania gradientu, p^student reprezentuje prawdopodobieństwo miękkiej etykiety modelu lekkiego, a p^teacher reprezentuje prawdopodobieństwo miękkiej etykiety modelu złożonego²⁶. Poprzez połączenie wzmocnionej mechanizmem uwagi asocjacji cech oraz lekkiego transferu wiedzy, GAT-KD skutecznie eliminuje błąd semantyczny cech oraz wysoką złożoność obliczeniową. Niniejsze badanie integruje GAT-KD z FBFEN w celu stworzenia modelu kalibracji oceny nauczania GAT-KD-FBFEN, zwanego GFBFEN. GAT-KD optymalizuje niedoskonałości FBFEN w zakresie niepełnego przechwytywania korelacji cech wieloźródłowych oraz niskiej wydajności wnioskowania. Proces działania GFBFEN przedstawiono na Rysunku 7.

Rysunek 7: Proces działania modelu oceny i korekty nauczania GFBFEN. Aby zobaczyć powiększoną wersję tego rysunku, kliknij tutaj.

Jak pokazano na Rysunku 7, GFBFEN standaryzuje dane z wieloźródłowej oceny nauczania. GAT modeluje złożone relacje między cechami i dynamicznie oblicza wagi powiązań semantycznych między węzłami przy użyciu mechanizmów uwagi. KD kompresuje wiedzę z modelu złożonego do lekkiej sieci, znacząco poprawiając wydajność wnioskowania przy zachowaniu precyzji. Moduł AM-LSTM przypisuje wagi istotności cechom wieloźródłowym i przechwytuje czasowe wzorce dynamiczne danych oceny, generując pośrednie wyniki kalibracji integrujące informacje z wielu źródeł. Wyniki te są wprowadzane do modułu BFEN w celu głębokiego przetwarzania. W szczególności BERT wyodrębnia cechy semantyczne z nieustrukturyzowanego tekstu, RL dynamicznie optymalizuje progi sprawiedliwości i parametry kalibracji, GBDT iteracyjnie uczy się wzorców błędów w celu wstępnej kalibracji, a GAN eliminuje uprzedzenia spowodowane atrybutami wrażliwymi poprzez trening przeciwstawny. Mechanizm dynamicznej regulacji parametrów automatycznie kalibruje czułość odpowiedzi i wagi sprawiedliwości każdego modułu poprzez wykrywanie w czasie rzeczywistym zmian czasowych i przesunięć w rozkładzie grup w scenie nauczania, rozwiązując tym samym problem niewystarczającej adaptacyjności wynikającej ze statycznej konfiguracji parametrów oraz zapewniając, że model może zachować odporność i sprawiedliwość na różnych etapach nauczania, w różnych grupach studentów i scenariuszach oceny. Typ oceny bezpośrednio wpływa na ziarnistość i cykl informacji zwrotnej w modelowaniu szeregów czasowych, podczas gdy ocena kształtująca podkreśla dynamiczny charakter procesu. Różnice między dyscyplinami determinują alokację cech pomiędzy modułami BERT a GBDT. Z tego względu zastosowanie mechanizmu dynamicznej regulacji pozwala na skuteczne dostosowanie do różnych typów oceny i charakterystyki dyscyplinarnych. Ostatecznie, poprzez wiele rund sprzężenia zwrotnego parametrów i iteracyjną optymalizację, model generuje precyzyjne i sprawiedliwe wyniki kalibracji oceny nauczania. Dynamiczna funkcja optymalizacji ograniczeń sprawiedliwości jest wyrażona w Równaniu (14).

   (14)

W równaniu (14) S oznacza zbiór atrybutów wrażliwych, reprezentuje wynik kalibracji przewidywanego wyjścia, oznacza wariancję przewidywań wewnątrz grup, γ reprezentuje parametry międzygrupowe, a reprezentuje ogólną wartość oczekiwaną. Adaptacyjne obliczanie wag fuzji cech z wielu źródeł przedstawiono w równaniu (15).

     (15)

W równaniu (15), w_k reprezentuje wagę cechy k-tego źródła danych, β reprezentuje parametr wagi, Sim reprezentuje funkcję pomiaru podobieństwa cech, f_k reprezentuje wektor cech wyekstrahowany z k-tego źródła danych, f_global reprezentuje globalny środek cech, a K reprezentuje całkowitą liczbę źródeł danych. W badaniu ustalono wagi atrybutów wrażliwych, w tym płci, pochodzenia etnicznego, regionu, statusu ekonomicznego rodziny i języka ojczystego. Wagi zostały określone na podstawie wyników analizy korelacji. W badaniu wykorzystano współczynnik korelacji Pearsona oraz współczynnik korelacji rang Spearmana jako podwójne wskaźniki do wspólnej oceny, w połączeniu z doświadczeniem ekspertów w dziedzinie edukacji w celu kalibracji wag. Ostateczne określenie wag dla każdego atrybutu wrażliwego dało wartości 0,18 dla płci, 0,22 dla pochodzenia etnicznego, 0,25 dla regionu, 0,19 dla statusu ekonomicznego rodziny i 0,16 dla języka ojczystego. Płeć: Tożsamość płciowa zgodnie z rejestracją prawną i samoidentyfikacją, binarna (mężczyzna/kobieta) z opcjami niebinarnymi; pole danych „gender”. Pochodzenie etniczne: Na podstawie krajowej identyfikacji etnicznej 56 grup, kompatybilne z grupami nieokreślonymi i transgranicznymi; pole danych „ethnicity”. Region: Podział administracyjny zameldowania lub stałego miejsca zamieszkania, obejmujący poziomy prowincjonalny, miejski i powiatowy, z uwzględnieniem dualnej struktury miejsko-wiejskiej i ludności migrującej; pole danych „region”. Status ekonomiczny rodziny: Zgodnie z krajowymi standardami statystycznymi i wskaźnikami pomocy edukacyjnej, z zastosowaniem klasyfikacji pięciostopniowej; pole danych „economic_status”. Język ojczysty: Główny język nauczania i komunikacji rodzinnej podczas edukacji podstawowej, obejmujący język mandaryński, języki mniejszości, dialekty i języki obce, z wagą zależną od wieku nabycia i częstotliwości użycia; pole danych „mother_tongue”.

Proces korekcji wykorzystał trzystopniowy mechanizm dynamicznego ważenia. W pierwszym etapie przeprowadzono wstępną identyfikację odchyleń w oparciu o macierz wag atrybutów wrażliwych, zaznaczając punkty danych, które znacząco odbiegały od globalnego centrum cech w takich wymiarach jak płeć, pochodzenie etniczne i region. Drugi etap wprowadza ograniczenia kontekstu edukacyjnego w celu ponownej kwalifikacji intensywności odchylenia w sposób uwzględniający kontekst. Trzeci etap weryfikuje stabilność korekcji poprzez testy perturbacji kontrfaktycznych, systematycznie zastępując wartości atrybutów wrażliwych przy zachowaniu niezmienionych cech niewrażliwych i obserwując, czy zmiana wyników oceny mieści się w progu ±3,2%.

Wyniki

Analiza wydajności algorytmu BFEN
Wskaźniki oceniane w eksperymentach obejmowały następujące:

Dokładność korekty oceny (ECA) oznacza proporcję elementów odchylonych, które zostały prawidłowo zidentyfikowane i skorygowane przez model w ramach wyników oceny dydaktycznej, co odzwierciedla ogólną skuteczność mechanizmu korekty. Wyższe wartości wskazują na lepszą dokładność korekty.

Wskaźnik odchylenia sprawiedliwości (FDR) mierzy wielkość dysproporc...

Dyskusja

Algorytm BFEN zaproponowany w niniejszym badaniu wykazał lepszą wydajność w eksperymentach porównawczych. Z perspektywy ECA i FDR znacznie przewyższał algorytmy PRF, EAB i DBLR. Podczas kalibacji 421 zapisów oceniających, BFEN zwiększył ECA do 98,75% i utrzymywał stabilność, podczas gdy FDR spadł do 2,87%. Ta wydajność wynikała z integracji BERT-RL do optymalizacji funkcji i dynamicznej adaptacji. BERT precyzyjnie wyodrębniał głębokie informacje o uprzedzeniach semantycznych z niesformatowanych tekstów oceniających, a RL...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Global Education Monitoring Report dataset	UNESCO	https://www.education-progress.org/	Zestaw danych
NumPy	NumPy	https://numpy.org/	Przechowywanie danych
Pandas	Pandas, NumPy	https://pandas.pydata.org/	Przechowywanie danych
PyCharm Professional 2023.1	PyCharm	Wersja 2023.1	Środowisko programistyczne
Python 3.9	Python	Wersja 3.9	‌Język programowania
Scikit-learn	Scikit-learn	https://scikit-learn.org/stable/index.html	Uczenie maszynowe
Seaborn	Seaborn	https://seaborn.pydata.org/	Wizualizacja
Spanish middle school student academic performance dataset	UC Irvine Machine Learning Repository	https://archive.ics.uci.edu/dataset/320/student+performance	Zestaw danych
TensorFlow	TensorFlow	https://www.tensorflow.org/	Uczenie głębokie
Windows 11	Microsoft	Wersja 11	System operacyjny