עיצוב אלגוריתמים של FairEduNet וכיוול הערכת הוראה בהתחשב בשוויון בהשכלה הגבוהה

סיכום

המחקר שואף לספק גישה חדשה לכיול הערכה בהוראה, ולשוויון חינוכי בחינוך אינטליגנטי. תוצאות ניסוי מצביעות על כך שהמודל המוצע עולה משמעותית על מודלים השוואתיים, ומטפל ביעילות בבעיות של אינטגרציה לקויה של נתונים מרובי מקורות והטיית הוגנות בשיטות כיול קיימות.

תקציר

שיטות כיול הערכת הוראה הנוכחיות מתמודדות עם אתגרים כגון יעילות אינטגרציה נמוכה בעת עיבוד נתוני הערכה הטרוגניים מרובי מקורות, חוסר התאמה מספקת בין תחומים ותסרישי הוראה שונים, והטיות בתוצאות עם הבטחות הוגנות חלשות. מטרת המחקר היא לבנות מסגרת תיקון הוגנות ניתנת לפרשנות, העברה וניתנת להרחבה, למידול עמוק ותיקון דינמי של נתוני הערכת הוראה. בעיות אלו מקשות על עמידה בדרישה המרכזית של הוראה מאוזנת בחינוך אינטליגנטי. מחקר זה מציע אלגוריתם רשת חינוכית מוכוון הוגנות המשלב רשת עוינת גנרטיבית ועץ החלטות מחזק את הגרדיאנט. האלגוריתם בונה מנגנון כיול הוגנות ומשלב מודל ייצוג מקודד דו-כיווני עם רשת תשומת לב גרפית לאופטימיזציה של חילוץ תכונות וגמישות דינמית, ולשפר את יעילות עיבוד הנתונים במקורות מרובים ודיוק כיול ההגינות. גישה זו משיגה כיול מדויק והבטחת הוגנות בהערכות הוראה. במבחן האינדיקטור, המודל השיג דיוק של 98.76% בתכונות הערכת אשכולות, 98.05% בתיקון הוגנות, ו-0.968 בעקביות תיקון חוצה תרחישים בסט הוולידציה. במשימת בדיקת ערך האובדן, סך האובדן של המודל ירד מ-0.1237 ל-0.1018 במהלך משימת תיקון הערכת ההוראה בקבוצת האימות. במבחן האינדיקטור, המודל השיג דיוק של 98.76% בתכונות הערכת אשכולות, 98.05% בתיקון הוגנות, ו-0.968 בעקביות תיקון חוצה תרחישים בסט הוולידציה. תוצאות ניסוי מצביעות על כך שהמודל המוצע עולה משמעותית על מודלים השוואתיים, ומטפל ביעילות בבעיות של אינטגרציה לקויה של נתונים מרובי מקורות והטיית הוגנות בשיטות כיול קיימות. יתרה מזאת, היא מספקת מסגרות אלגוריתמיות חדשניות למפתחי טכנולוגיה וכלים טכניים אמינים למנהלי חינוך לקידום שוויון בהוראה. תרומות המחקר הן : (i) שילוב שלושה מודולים מרכזיים, כולל עיבוד נתונים מרובה מקורות, אימות מדד הוגנות דינמי, והדמיית הסבר; ו-(ii) הצעת פרדיגמת תיקון הוגנות המבוססת על אופטימיזציה שיתופית של רשתות יריבה גנרטיביות ועצי חיזוק גרדיאנט, שפורצת את מגבלות תיקון המודל היחיד המסורתי ומאפשרת למידה מנותקת של מידול סטייה וקבלת החלטות תיקון.

מבוא

הערכת ההוראה וכיול מהווים את הליבה של הבטחת איכות ההוראה בחינוך אינטליגנטי. באמצעות ניתוח דינמי, תיקון שגיאות וכיול תוצאות, הם מספקים בסיס לשיפור הוראה ולמידה מותאמת אישית. הדיוק וההגינות שלהם משפיעים ישירות על השאלה האם חינוך חכם יכול לפרוץ הטיות טכנולוגיות ולספק תמיכה חינוכית מאוזנת ^1,2. עם זאת, לשיטות קיימות יש מספר חסרונות: הן מסתמכות על מקור נתונים יחיד, מתעלמות מהמצב האמיתי, ומובילות להטיית נתונים והטיית תיקון. היעדר מנגנון דינמי להסתגל להוגנות מקשה על מענה לצרכי ההגינות של תחומים ותסריטים ^3,4. בנוסף, קיימות בעיות כמו חוסר במדדי הוגנות והטיה באסטרטגיות תיקון כאשר מדובר בנתונים הטרוגניים ממקורות שונים. לשם כך, חוקרים ערכו מחקרים מממדים שונים, כגון הערכת הוראה בסיוע טניס בהתבסס על אלגוריתם מסלול צפוף משופר⁵. יין ואחרים השתמשו בתהליך ההיררכיה האנליטית ובאלגוריתם סינתזה מטושטשת כדי לנטר הוראה מקוונת⁶. צ'ן ניתח נתונים חינוכיים למבוגרים באמצעות אלגוריתם משופר לכריית נתונים לשיפור איכות ההוראה⁷.

למרות שמחקרים אלו התקדמו, נושאים כמו הטיית תוצאות כיול ותיאום הוגנות לקוי עדיין קיימים. לכן, בניית מודל שמספק בו זמנית כיול מדויק של הערכת הוראה והבטחת הוגנות דינמית הפכה למוקד מחקר בחינוך אינטליגנטי. רשת עוינת גנרטיבית (GAN) מתאימה את עצמה כדי לבטל את ההשפעה הסמויה של תכונות רגישות על התוצאות באמצעות אימון עוין בזמן אמת בין המפיק לדיסקרימינטור, ומבטיחה שהפלטים ייקבעו על ידי גורמים מרכזיים ולא על ידי הטיה המושרה על ידי תווית⁸. GAN מראה יתרונות בהתמודדות עם הטיות קבוצתיות בנתוני הערכה ובמידול מגבלות הוגנות לא ליניאריות. צ'נג ואחרים הציעו אלגוריתם לשיפור תמונה מבוסס GAN לטיפול בתמונות ברזולוציה נמוכה. הגנרטור הפיק תמונות ברזולוציה גבוהה מכניסות ברזולוציה נמוכה, והדיסקרימינטור הבחין בין התמונות שנוצרו לתמונות אמיתיות ברזולוציה גבוהה. אימון יריבים מייעל פרמטרים כך שהפלט של הגנרטור מתקרב לתמונות אמיתיות⁹. קאנג ואחרים הציעו מודל GAN רב-מודלי לשיפור יעילות עיבוד הנתונים הרב-מודליים בתחומי אנרגיה מתחדשת. הגנרטור מקבל נתונים חד-מודליים, המבחין מבדיל בין נתונים מובנים אמיתיים, ואימון יריבים מייעל את המודל לשיפור היעילות¹⁰. אלגוריתם עץ ההחלטות של הגברת הגרדיאנט (GBDT) הוא אלגוריתם קלאסי לעיבוד נתונים מובנה עם יכולת לכידת תכונות חזקה. על ידי אינטגרציה איטרטיבית של עצי החלטה מרובים, GBDT לומד בדיוק דפוסי שגיאת נתונים ומציג יתרונות בעיבוד מידע הערכה הטרוגני רב-מקורות ותיקון סטיות ציון לא ליניאריות^11,12. Mizuno ואחרים הציעו שיטת חיזוי מסלול מבוססת GBDT לאסונות גשמים כבדים, למידת מאפייני מסלול וחיזוי מסלולי אסון באמצעות נתונים בזמן אמת, תוך בחירת תחזיות אופטימליות דרך עצי החלטה מרובים¹³. גאו ואחרים פיתחו שיטת ניתוח חזותי מבוססת GBDT לחיזוי שיעור הקליקים בפרסום, ולומדת את הקשר בין תכונות ויזואליות לנתוני קליקים היסטוריים כדי לחזות שיעורי קליקים לפרסומות חדשות¹⁴. בהתבסס על האתגרים הנ"ל, מחקר זה שואף לענות באופן שיטתי על השאלה המדעית המרכזית הבאה: כיצד ניתן לבנות מודל הערכה חינוכי חכם לשילוב יעיל של נתונים הטרוגניים מרובי מקורות, להסתגל דינמית לתרחישי הוראה שונים, ובו זמנית להבטיח דיוק כיול והגינות תוצאה. כדי לענות על שאלה זו, מחקר זה עושה שימוש באפקט הסינרגטי של מנגנון מגבלת ההגינות של GAN וביכולת כיול השגיאות המדויק של GBDT. יתרה מזאת, מתבצעת מחקרים כיצד להכניס טכנולוגיות מתקדמות, כגון עיבוד שפה טבעית (BERT), למידת חיזוק (RL), מנגנוני קשב (AM), רשתות זיכרון קצרות טווח (LSTM), רשתות קשב גרפיות (GAT) וזיקוק ידע (KD), כדי לפצות על המגבלות הטבועות במודל יחיד בחילוץ תכונות, התאמה דינמית ויעילות הסיקה. בסופו של דבר, המטרה היא לספק פתרון כיול הערכת הוראה שהוא מדויק והוגן, ובעל יכולות הכללה חזקות לתחום החינוך האינטליגנטי.

פרוטוקול

עיצוב ואופטימיזציה של אלגוריתמים של FairEduNet
המחקר משלב GAN ו-GBDT לבניית אלגוריתם FairEduNet, ומשיג את המטרות הכפולות של תיקון הוגנות ותיקון דיוק, במקום הפשרה של אופטימיזציה חד-כיוונית. FairEduNet מאמץ ארכיטקטורת שיתוף פעולה דו-ערוצי: ערוץ העמוד השדרה של GBDT אחראי על מידול שגיאות מובנה ותיקון מדויק, בעוד שערוץ העזר של GAN מתמקד בניתוק תכונות רגישות ובהתאמת ההגינות דינמית. ארכיטקטורת האלגוריתם FairEduNet, המשלבת GAN ו-GBDT, מוצגת באיור 1.

איור 1: ארכיטקטורת האלגוריתמים FairEduNet המשלבת GAN ו-GBDT. אנא לחצו כאן לצפייה בגרסה גדולה יותר של איור זה.

כפי שמוצג באיור 1, FairEduNet אוספת ומעבדת מראש נתוני הערכה מרובי מקורות. GBDT משתמש בעצי החלטה מרובים כדי ללמוד באופן איטרטיבי דפוסי שגיאת הערכה, מפיק תוצאות כיול ראשוניות ומעביר אותן למודול GAN. GAN מאמן את המבחין ללמוד את הקשר בין תוצאות כיול ראשוניות לתכונות רגישות, בעוד שהגנרטור מתאים דינמית את פרמטרי הכיול. באמצעות סבבים מרובים של הכשרה עוינת ואימות הוגנות, הטיית הוגנות מיטבית. לבסוף, התוצאות המכוيلات לפי ההגינות מוזנות חזרה למודול GBDT, שמתאים דיוק והגינות, ומציג את בסיס כיול הערכת ההוראה ודוח. GBDT מחשב שאריות כפי שמוצג במשוואה (1).

(1)

במשוואה (1), מייצגת את השארית של הדגימה ה-i באיטרציה ה-t, y_i מייצג את הערך האמיתי, ומייצג את ערך החיזוי של האיטרציה ה-t-1. תהליך ההתנגדות של GAN מוצג במשוואה (2).

(2)

במשוואה (2), x מייצג את תוצאת הכיול הראשונית, z מייצג תכונות רגישות, P_data(x)  מייצג את ההתפלגות האמיתית של תכונות לא רגישות, P_z(z) מייצג את התפלגות התכונות הרגישות, D מייצג את המבחין, ו-G מייצג את המחולל¹⁵. פלט הכיול הראשוני של GBDT מוצג במשוואה (3).

(3)

במשוואה (3), מייצג את החיזוי של הדגימה ה-i על ידי עץ ההחלטה ההתחלתי, K מייצג את סך כל עצי ההחלטה, γ_k מייצג את משקל עץ ה-k, ו-h_k(x_i) מייצג את תוצאת החיזוי של עץ ה-k עבור ה-i-הדגימה. אלגוריתם FairEduNet יכול לספק כיול מדויק והבטחת הוגנות לנתוני הערכת הוראה. עם זאת, בעת עיבוד נתוני הערכה לא מובנים והסתגלות לתרחישים דינמיים, FairEduNet מציגה יכולת חילוץ תכונות חלשה עבור תכונות לא מובנות, מה שמוביל להטיית כיול. בנוסף, מדדי ההגינות ופרמטרי הכיול של FairEduNet מוגדרים סטטית, מה שמגביל את ההתאמה שלו לתרחישי הוראה שונים ומשפיע על איכות הכיול הכוללת. השילוב של ייצוגים דו-כיווניים של מקודדים משנאים (BERT) ולמידת חיזוק (RL), אלגוריתם BERT-RL, יכול לחלץ במדויק תכונות עמוקות מטקסט לא מובנה ולהתאים דינמית את פרמטרי התרחיש מבלי להגדיר ספים סטטיים ידנית, ובכך לשפר עוד יותר את אמינות פלטי האלגוריתמים בתרחישים^16,17. שיטות מסורתיות כמו TF-IDF מסתמכות על תדירות מילים אך חסרות הבנה הקשרית עמוקה ואינן יכולות להבחין בכיוונים מסוימים של "הגינות" בתרחישים שונים. Word2Vec מייצרת וקטורי מילים סטטיים, שמתקשים להסתגל לשינויים קונטקסטואליים מורכבים ולזהות הטיה עקיפה. BERT משתמש בתשומת לב עצמית רב-שכבתית לקידוד הקשר דו-כיווני, תוך לכידת מונחים מוטים מפורשים ולוגיקה מוטה סמויה. הגישות המסורתיות דורשות רשימות מילים מוטות ידניות, תלויות בניסיון סובייקטיבי, ומכסות תרחישים מוגבלים. באמצעות למידת העברת מודלים מאומנת מראש, BERT לומד אוטומטית תכונות סמנטיות עמוקות ללא מאמץ ידני נרחב, ומציע הכללה חזקה יותר בזיהוי הטיות עמומות. יתרה מזאת, שיטות מסורתיות לעיתים קרובות מאבדות מידע בטקסטים ארוכים, בעוד ש-BERT תומך עד 512 טוקנים, שומר על קשרים הקשריים, מאתר במדויק תכונות הטיה ומאפשר תיקון הגינות מדויק. תהליך הפעולה של BERT-RL מוצג באיור 2.

איור 2: תרשים זרימה של אלגוריתם BERT-RAL. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

כפי שמוצג באיור 2, BERT-RL תחילה מאחד נתוני הערכת טקסט לא מובנים ומזין אותם למודל BERT. BERT משתמש במקודד טרנספורמר למידול סמנטי דו-כיווני לחילוץ תכונות מפתח ולבניית מטריצת תכונות. מטריצת התכונות מוזנת אז למודול ה-RL, שלומד את האסטרטגיה האופטימלית דרך איטרציות מרובות. תצורת הפרמטרים האופטימלית מוזנת סוף סוף ל-FairEduNet, מה שמשפר את ההתאמה שלו. חישוב משקל תכונת תשומת הלב העצמית של BERT מוצג במשוואה (4).

(4)

במשוואה (4), d_k מייצג את הממד של וקטור K. פונקציית התגמול הרב-אובייקטיבית של RL מבוטאת במשוואה (5).

(5)

במשוואה (5), ω₁, ω₂ ו-ω₃ מייצגים את מקדמי המשקל, מייצגים שגיאת כיול, D_t הוא סטיית הוגנות, D_יעד הוא סטיית הגינות למטרה, ו-T t הוא זמן ריצה¹⁸. מחקר זה משלב את BERT-RL עם FairEduNet ליצירת אלגוריתם BERT-RL-FairEduNet, המכונה BFEN. BFEN משיג כיול מדויק והבטחת הוגנות בנתוני הערכה באמצעות איטרציה של תכונות GBDT ואימון יריבים בזמן אמת ב-GAN, בעוד BERT-RL מייעל את FairEduNet בטיפול בנתונים לא מובנים ובהסתגלות דינמית לתרחישים, תוך טיפול בחולשות בחילוץ תכונות ומגבלות פרמטרים סטטיים. המחקר השתמש במודל BERT-base-סינית, והכשיר מראש את גוף יומני ההוראה האמיתיים, טקסטים מוקלטים בכיתה ומסמכי מדיניות חינוכיים מהפלטפורמה הלאומית לחינוך חכם לשנת הלימודים 2024 עד 2025, עם גודל אוצר מילים של 21,128. ממד השכבה הנסתרת של המודל הוא 768, עם 12 ראשי תשומת לב ו-12 שכבות. עומק עץ ה-GBDT נקבע ל-8, מספר העצים היה 200, וקצב הלמידה היה 0.1. מחזור האימון של GAN הוא 150 כדורים, והדיסקרימינטור משתמש ברשת מחוברת בשלוש שכבות עם גדלים של 512, 256 ו-1. הגנרטור משתמש ברשת מחוברת במלואה בת 4 שכבות עם גדלים של 1024, 512, 256 ו-1. מספר היחידות הנסתרות ב-LSTM הוא 128, ואורך הרצף הוא 512. ל-GAT יש 2 שכבות ו-4 ראשי קשב. הטמפרטורה לזיקוק ידע מוגדרת ל-3.0. מקדמי משקל תגמול RL ω₁ = 0.4, ω₂ = 0.35, ו-ω₃ = 0.25. קריטריוני בחירת המשקל נועדו לאזן בין שיווי המשקל הקדמי של פארטו של אופטימיזציה רב-מטרתית לבין דרישות הפרשנות של פרקטיקות שוויון חינוכי. הניסויים הושלמו באמצעות פיצול של 50% נתונים באמצעות אימות צולב וכיוונון היפרפרמטרים. תהליך ה-BFEN לכיול הערכת הוראה מוצג באיור 3.

איור 3: תהליך התיקון של אלגוריתם BFEN לחינוך אינטליגנטי והערכת הוראה. אנא לחצו כאן לצפייה בגרסה רחבה יותר של איור זה.

כפי שמוצג באיור 3, BFEN מעבד תחילה נתוני הערכת הוראה מרובי מקורות. BERT מייעל את יכולת חילוץ התכונות של FairEduNet על ידי חישוב דמיון סמנטי בטקסט ומשקלים עמוקים של תכונות בהתבסס על חלון סמנטי, ובוחר תכונות חשובות לבניית מטריצת תכונות סמנטיות בממדים גבוהים. RL מגדיר לאחר מכן פונקציית תגמול רב-מטרית ומחשב את התאמת התרחיש וגרדיאנטים של התאמת פרמטרים כדי לייעל עוד יותר את ספי ההגינות ופרמטרי הכיול. FairEduNet מחשבת סטיות בין נתוני הערכה למודלים של דפוסי שגיאות, מעדכנת באופן איטרטיבי את משקלי עץ ההחלטות, ומכוונת אסטרטגיות כיול עד שהטעויות מתייצבות בתוך ספים מוגדרים מראש. הפלט הסופי כולל את מודל כיול השגיאות ואת דוח אימות ההגינות. מודל הכיול מיושם על נתוני הערכה בהוראה, ויוצר טבלאות השוואה לפני ואחרי הכיול, המשולבות עם ספריית תקן הוגנות בחינוך חכם לקביעת פרמטרי כיול יעד, ומספקים בסיס מדעי לכיול הערכה בהוראה בחינוך תבוני. ספרייה סטנדרטית זו מכסה שלושה ממדים של הוגנות הזדמנויות חינוכיות, הוגנות תהליכים, והוגנות בתוצאות, וכוללת 12 מדדים מרכזיים. מדדים אלה כוללים את האיזון בהקצאת המשאבים החינוכיים בין האזורים, ההבדל בכיסוי התשתיות הדיגיטליות בין בתי ספר עירוניים לכפריים, סף הסובלנות לתגובה מאוחרת לאבחון מצבי למידה (≤200 מילישניות), סובלנות לנתונים חסרים בהערכה רב-מודלית (≤3.5%), רגישות לזיהוי הטיית אלגוריתם (סטיית AUC לתיוג מגדר/אזור/שלב ≤ 0.02), סף הסטייה של KL להתפלגות הציונים לפני ואחרי תיקון (≤0.08), ציון הפרשנות של הצעות התערבות מורה (≥4.2/5.0), עדכניות עדכוני פרופיל התלמידים (הושלמו בתוך T + 1 יום), מקדם עקביות של זיהוי אשראי חוצה פלטפורמות (≥0.93), דיוק יישור סמנטי של מדיניות חינוך (ציון BERT ≥ 0.86), ושלמות יצירת דוח אימות הוגנות (כולל ייחוס הטיה, מרווחי ביטחון, וצילומי מצב של פרמטרים שחוזרים), וכן שיעור המעבר של אימות התאמת תרחישים דינמיים המכסה שלושה תרחישים טיפוסיים: כיתה חיה, מטלות אסינכרוניות ועוזרי הוראה בבינה מלאכותית. חישוב הדמיון של תכונה סמנטית מוצג במשוואה (6).

(6)

במשוואה (6), f_i מייצג את ערך הממד הסמנטי i, g_i מייצג את ערך ממד התכונה החשוב i, ו-n מייצג את סך כל מממדי התכונות. חישוב פרמטר ההתאמה לתרחיש RL מוצג במשוואה (7).

(7)

במשוואה (7), θ_t מייצג את ערך הפרמטר באיטרציה ה-t, α מייצג את קצב הלמידה, ומייצג את גרדיאנט הפרמטרים המבוסס על פונקציית התגמול R(θ_t).

בניית מודל כיול הערכת הוראה
למרות ש-BFEN מראה יתרונות מסוימים בהוראת כיול הערכה, הוא עדיין מתמודד עם יעילות אינטגרציה נמוכה עבור נתוני הערכה הטרוגניים מרובי מקורות וחוסר התאמה דינמית להגינות ביישומים מעשיים. אלגוריתם AM-LSTM, המשלב מנגנון קשב (AM) וזיכרון קצר טווח ארוך (LSTM), מקצה משקלים לתכונות מרכזיות של נתוני הערכה מרובי מקורות דרך AM ולוכד את דפוסי השינוי הדינמי של נתוני ההערכה לאורך זמן באמצעות יכולת הזיכרון הסדרתי של LSTM. גישה זו משפרת ביעילות אינטגרציית נתונים מרובי מקורות ולמידת תכונות דינמית^19,20. תהליך הפעולה של AM-LSTM מוצג באיור 4.

איור 4: תרשים זרימה תפעולית AM-LSTM. אנא לחצו כאן לצפייה בגרסה גדולה יותר של איור זה.

כפי שמוצג באיור 4, AM-LSTM מעבד תחילה נתוני הערכה הוראתיים הטרוגניים מרובי מקורות ליצירת מערך נתונים סטנדרטי. AM מחשב משקלי תשומת לב לתכונות ממקורות נתונים שונים כדי לבחור תכונות חשובות ובונה מטריצת תכונות משוקללות. מטריצת התכונות המשוקללות מוזנת אז ל-LSTM, המשתמש במנגנון השער שלו כדי ללמוד דפוסים דינמיים לאורך זמן, לוכד קשרים בין נתוני הערכה בשלבים שונים ולהוציא וקטורי תכונות דינמיים. לבסוף, וקטורי התכונות הדינמיים הללו משולבים עם מגבלות הוגנות ליצירת תוצאות כיול ביניים שמתאימות לאינטגרציה של נתונים מרובי מקורות ולתרחישים דינמיים, ומספקות בסיס לאופטימיזציה של מודלים נוספים. חישוב משקל תשומת הלב מוצג במשוואה (8).

(8)

במשוואה (8), _n מייצג את הקצאת תשומת הלב לתכונה ה-n, x_n מייצג דמיון, q מייצג את וקטור השאילתה, ו-softmax מייצג את פונקציית ההפעלה. שער השכחה של LSTM מבוטא במשוואה (9).

(9)

במשוואה (9), W_f הוא משקל שער השכחה, b_f הוא הטיית שער השכחה, x_t הוא הקלט בזמן t, h_t-1 הוא משתנה המצב החיצוני בזמן t-1, ו-σ מייצג את פונקציית הסיגמואיד²¹. מחקר זה משלב את AM-LSTM עם BFEN לבניית מודל כיול הערכת ההוראה AM-LSTM-BFEN, המכונה FBFEN. במודל זה, AM-LSTM מתמודד עם מגבלות BFEN ביעילות אינטגרציית נתונים הטרוגנית מרובת מקורות ובחילוץ תכונות דינמי. הוא גם משלב מגבלות הוגנות לאופטימיזציה של תוצאות כיול ביניים, ומאפשר ל-BFEN להשיג כיול מדויק נוסף והבטחת הוגנות דינמית לנתוני הערכה בהוראה. תהליך הפעולה של FBFEN מוצג באיור 5.

איור 5: תהליך ההפעלה של מודל ההערכה והתיקון של FBFEN. אנא לחצו כאן לצפייה בגרסה רחבה יותר של איור זה.

כפי שמוצג באיור 5, FBFEN מעבד תחילה את נתוני ההערכה המקוריים של ההוראה מרובי המקורות ומזין את מערך הנתונים הסטנדרטי למודול AM-LSTM. AM מחשב משקלי קשב תכונה, בעוד LSTM לומד דפוסים דינמיים, ומפיק תוצאות כיול ביניים המשלבות מידע רב-מקורי ותכונות דינמיות. התוצאות הביניים מוזנות אז למודול BFEN. GBDT לומד באופן איטרטיבי את דפוסי השגיאה של נתוני ההערכה בהתבסס על תוצאות הביניים ומודל השגיאה המוגדר מראש, ומציג תוצאות כיול ראשוניות. במקביל, GAN מנתח הטיית ההגינות הנגרמת על ידי תכונות רגישות בתוצאות הראשוניות באמצעות אימון עוין בין הגנרטור לדיסקרימינטור, תוך התאמה דינמית של פרמטרי הכיול כדי לבטל הטיה. לבסוף, פרמטרי הכיול המותאמים ל-GAN מוזנים חזרה ל-GBDT כדי לעדכן את משקלי עץ ההחלטה ואסטרטגיות הכיול, מה שיוצר תוצאה משנית של כיול שמאזנת בין דיוק להגינות. תקנון נתונים מבוטא במשוואה (10).

(10)

במשוואה (10), z' מייצג את הערך הסטנדרטי, z מייצג את הערך המקורי, ו-z_min ו-z max מייצגים את הערכים המינימליים _{והמקסימליים} . פונקציית המטרה הסופית של מחולל GAN מבוטאת במשוואה (11).

(11)

במשוואה (11), N מייצג את מספר האיטרציות, λ מייצג את גורם המשקל של האובדן, ωⁱ מייצג את גורם המשקל של האיטרציה ה-i, מייצג את פונקציית ההפסד האדרסרית, ומייצג את אובדן האנטרופיה הבינארית²².

אופטימיזציה של מודל כיול הערכה בהוראה ב-FBFEN
למרות ש-FBFEN מדגים אינטגרציה חזקה של נתונים רב-מקוריים והבטחת הוגנות דינמית בכיול הערכת הוראה, היא עדיין מתמודדת עם מתאם מאפיינים חלש ויעילות אימון והסקה נמוכה בשל מבנה המודל המורכב בתרחישי חינוך מורכבים. אלגוריתם GAT-KD, המשלב רשת קשב גרפית (GAT) וזיקוק ידע (KD), בונה באופן דינמי גרף אסוציאציה סמנטי בין תכונות באמצעות מנגנון הקשב של GAT, ומגביר את היישור הסמנטי של נתונים מרובי מקורות. KD דוחס את הידע של המודל המורכב לרשת קלה משקל, ומשפר משמעותית את יעילות ההסקה תוך שמירה על ביצועי המודל^23,24. תהליך הפעולה של GAT-KD מוצג באיור 6.

איור 6: תרשים זרימה תפעולית של GAT-KD. אנא לחצו כאן לצפייה בגרסה גדולה יותר של איור זה.

כפי שמוצג באיור 6, GAT-KD בונה גרף אסוציאציה סמנטי בין תכונות דרך מודול GAT, מאגד באופן דינמי מידע על תכונות השכונה באמצעות מנגנון הקשב, ומחזק את הייצוג הסמנטי של תכונות מקומיות. KD משתמשת אז בתוויות הרכות של הפלט כאותות פיקוח, וממזערת אובדן דיברגנציה בין התפלגויות הפלט ואובדן אנטרופיה חוצה בין התחזיות לתוויות האמיתיות, ומשיגה העברת ידע ודחיסת מודלים. הפלט הסופי הוא דגם כיול קל משקל עם דיוק ויעילות גבוהים. חישוב מקדם הקשב של GAT מוצג במשוואה (12).

(12)

במשוואה (12), ומייצג את וקטורי התכונה של הצמתים i ו-j, W מייצג את מטריצת המשקל הניתנת ללמידה, a מייצג את וקטור משקל תשומת הלב, מייצג את פעולת השרשור, ו-LeakyReLU מייצג את פונקציית ההפעלה²⁵. חישוב פונקציית אובדן KD מוצג במשוואה (13).

(13)

במשוואה (13), KL מייצג את אובדן ההתבגרות, T² מייצג את איזון הקנה מידה של הגרדיאנט, p^תלמיד מייצג את הסתברות התווית הרכה של המודל הקל, ו-p^teacher מייצג את הסתברות התווית הרכה של המודל^{המרוכב 26}. על ידי שילוב אסוציאציות תכונות משופרות קשב והעברת ידע קלה, GAT-KD מתמודד ביעילות עם הטיה סמנטית של תכונות ומורכבות חישובית גבוהה. מחקר זה משלב את GAT-KD ב-FBFEN ליצירת מודל כיושל הערכת ההוראה GAT-KD-FBFEN, המכונה GFBFEN. GAT-KD מייעל את החסרונות של FBFEN בלכידת מתאם תכונות מרובי מקורות לא שלמות וביעילות הסקה נמוכה. תהליך הפעולה של GFBFEN מוצג באיור 7.

איור 7: תהליך הפעלת מודל ההערכה והתיקון של GFBFEN. אנא לחצו כאן כדי לצפות בגרסה רחבה יותר של איור זה.

כפי שמוצג באיור 7, GFBFEN מתקן נתוני הערכת הוראה רב-מקוריים. GAT מדמה יחסים מורכבים בין תכונות ומחשב דינמית משקלי אסוציאציה סמנטיים בין צמתים באמצעות מנגנוני קשב. KD דוחס את הידע של המודל המורכב לרשת קלה, ומשפר משמעותית את יעילות ההסקה תוך שמירה על דיוק. מודול AM-LSTM מקצה משקלים חשובים לתכונות רב-מקוריות ולוכד דפוסים דינמיים זמניים של נתוני הערכה, ומפיק תוצאות כיול ביניים המשלבים מידע רב-מקורי. תוצאות אלו מוקלטות למודול BFEN לעיבוד עמוק. באופן ספציפי, BERT מחלץ תכונות סמנטיות מטקסט לא מובנה, RL מייעל באופן דינמי את ספי ההגינות ופרמטרי הכיול, GBDT לומד באופן איטרטיבי דפוסי שגיאה לכיול ראשוני, ו-GAN מבטל הטיות הנגרמות מתכונות רגישות באמצעות אימון יריב. מנגנון התאמת הפרמטרים הדינמית מכוייל אוטומטית את רגישות התגובה ומשקלי ההגינות של כל מודול על ידי חישה של שינויים זמניים ושינויים בהתפלגות הקבוצתית של סצנת ההוראה בזמן אמת, ובכך פותר את בעיית חוסר ההתאמה הנגרמת על ידי תצורת פרמטרים סטטיים, ומבטיח שהמודל יוכל לשמור על עמידות והגינות בשלבי הוראה שונים. קבוצות תלמידים, ותסריחי הערכה. סוג ההערכה משפיע ישירות על הפירוט ומחזור המשוב של מידול סדרות הזמן, בעוד שההערכה המעצבת מדגישה את האופי הדינמי של התהליך. ההבדלים בין תחומים קובעים את חלוקת התכונות בין מודולי BERT ל-GBDT. לכן, אימוץ מנגנון התאמה דינמי יכול להסתגל ביעילות לסוגי הערכה ותכונות דיסציפלינריות שונות. לבסוף, באמצעות סבבים מרובים של משוב פרמטרים ואופטימיזציה איטרטיבית, המודל מפיק תוצאות כיול הערכה הוראה מדויקות והוגנות. פונקציית אופטימיזציית מגבלות ההגינות הדינמית מבוטאת במשוואה (14).

(14)

במשוואה (14), S מייצג את קבוצת התכונות הרגישות, מייצג את תוצאת כיול התוצאה החזויה, מייצג את השונות של התחזיות בתוך הקבוצות, γ מייצג פרמטרים בין קבוצות, ומייצג את הערך הצפוי הכולל. החישוב האדפטיבי של משקלי מיזוג תכונות מרובי מקורות מוצג במשוואה (15).

(15)

במשוואה (15), w_k מייצג את משקל התכונה של מקור הנתונים ה-k, β מייצג את פרמטר המשקל, Sim מייצג את פונקציית מדידת דמיון התכונות, f_k מייצג את וקטור התכונה שמופק ממקור הנתונים k, _{f גלובלי} מייצג את מרכז התכונות הגלובלי, ו-K מייצג את המספר הכולל של מקורות הנתונים. המחקר קבע את משקלי התכונות הרגישות, כולל מגדר, אתניות, אזור, מצב כלכלי משפחתי ורקע שפת אם. המשקלים נקבעים על בסיס תוצאות ניתוח המתאמים. המחקר השתמש במקדם המתאם של פירסון ובמקדם המתאם בדירוג ספירמן כמדדים כפולים להערכה משותפת, בשילוב עם ניסיון מקצועי בתחום החינוך לכיול משקל. הקביעה הסופית של המשקלים לכל תכונה רגישה הניבה ערכים של 0.18 למגדר, 0.22 לאתניות, 0.25 לאזור, 0.19 למצב כלכלי משפחתי ו-0.16 לרקע שפת אם. מגדר: זהות מגדרית לפי רישום חוקי וזיהוי עצמי, בינארי (זכר/נקבה) עם אפשרויות לא בינאריות; שדה הנתונים "מגדר". אתניות: מבוסס על זיהוי אתני לאומי של 56 קבוצות, תואם לקבוצות לא מזוהות וחוצות גבולות; שדה הנתונים "אתניות". אזור: חלוקה מנהלית של רישום משקי בית או מגורים ארוכי טווח, הכוללת רמות מחוזיות, עירוניות ומחוזיות, תוך התחשבות במבנה כפול עירוני-כפרי ואוכלוסיית מהגרים; שדה הנתונים "אזור". מצב כלכלי משפחתי: לפי תקנים סטטיסטיים לאומיים ומדדי סיוע חינוכי, באמצעות סיווג בן חמש רמות; שדה הנתונים "economic_status". רקע שפת אם: שפת הוראה ותקשורת משפחתית ראשונית במהלך החינוך הבסיסי, כולל מנדרינית, שפות מיעוטים, ניבים ושפות זרות, לפי גיל רכישה ותדירות; שדה הנתונים "mother_tongue."

תהליך התיקון אימץ מנגנון משקל דינמי בן שלושה שלבים. השלב הראשון יישם זיהוי סטייה ראשונית בהתבסס על מטריצת המשקל של תכונות רגישות, וסימן נקודות נתונים שסטיו משמעותית ממרכז התכונות הגלובלי בממדים כמו מגדר, אתניות ואזור. השלב השני מציג מגבלות הקשר חינוכיות כדי להגדיר מחדש את עוצמת הסטייה באופן מודע להקשר. השלב השלישי בודק את יציבות התיקון באמצעות בדיקות הפרעה נגד-עובדתיות, מחליף באופן שיטתי את ערכי התכונות הרגישות תוך שמירה על תכונות לא רגישות ללא שינוי, ובודק האם השינוי בציוני ההערכה נמצא בתוך סף ה-±±3.2%.

תוצאות

ניתוח ביצועי אלגוריתם BFEN
המדדים שנבדקו בניסויים כללו את הבאים:

דיוק תיקון הערכה (ECA) מציין את שיעור פריטי הסטייה שזוהו ותוקנו נכון על ידי המודל בתוצאות ההערכה ההוראתית, ובכך משקף את היעילות הכוללת של מנגנון התיקון. ערכים גבוהים יותר מצביעים על דיוק תיקון גבוה יותר.

שיעור סטיית הוגנות (FDR) מודד את גודל פערי הציונים בין קבוצות שהמודל נכשל בהסרת במהלך תהליך הכיול. הוא מחושב כיחס בין סטיית התקן של כל תכונה רגישה ...

דיון

אלגוריתם BFEN שהוצע במחקר זה הראה ביצועים מעולים בניסויים השוואתיים. מנקודת המבט של ECA ו-FDR, הוא הצטיין משמעותית על אלגוריתמי PRF, EAB ו-DBLR. בעת כיול 421 רשומות הערכה, BFEN העלה את ECA ל-98.75% ושמר על יציבות, בעוד FDR ירד ל-2.87%. ביצועים אלו נבעו משילוב BERT-RL לאופטימיזציה של תכונות והתאמה דינמית. BERT חילץ בדיוק מידע על הטיה סמנטית עמוקה מטקסטים של הערכה לא מובנית, ו-RL התאים דינמית את ספי ההוגנות ופרמטרי הכיול באמצעות פונקציית תגמול רב-אובייקטיבית, ובכך ביטל את השפעת התכונות הרג...

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
Global Education Monitoring Report dataset	UNESCO	https://www.education-progress.org/	Dataset
NumPy	NumPy	https://numpy.org/	Data preprocessing
Pandas	Pandas, NumPy	https://pandas.pydata.org/	Data preprocessing
PyCharm Professional 2023.1	PyCharm	Version 2023.1	Development environment
Python 3.9	Python	Version 3.9	‌Programming language
Scikit-learn	Scikit-learn	https://scikit-learn.org/stable/index.html	Machine Learning
Seaborn	Seaborn	https://seaborn.pydata.org/	Visualization
Spanish middle school student academic performance dataset	UC Irvine Machine Learning Repository	https://archive.ics.uci.edu/dataset/320/student+performance	Dataset
TensorFlow	TensorFlow	https://www.tensorflow.org/	Deep Learning
Windows 11	Microsoft	Version 11	Operating System