הערכת מעורבות בכיתה, ביטוי רפלקסיבי וכוונות פרו-סוציאליות של סטודנטים באוניברסיטה באמצעות תצפית התנהגותית ואנליטיקה של למידה

סיכום

פרוטוקול זה משלב תצפית בכיתה, כתיבה רפלקטיבית, מדידת כוונות פרו-סוציאליות ואנליטיקה של למידה כדי להעריך מעורבות התנהגותית, ביטוי רפלקטיבי ותוצאות למידה מוכוונות חברה של סטודנטים באוניברסיטה לאורך חלון הוראה של 4 שבועות. הפרוטוקול מפרט את אישורי האתיקה, תכני כלי המדידה, זרימת העבודה בתוכנה, טיפול בנתונים חסרים, נהלי פתרון בעיות ופרשנות של תוצאות מייצגות, כולל מגבלות יישום שנצפו.

תקציר

כדי לתת מענה לצורך בהערכות רב-ממדיות של מעורבות סטודנטים מעבר למדדים מסורתיים, פרוטוקול זה מתאר גישה מובנית להערכת מעורבות בכיתה, ביטוי רפלקטיבי, פעילות באנליטיקה של למידה וכוונות פרו-סוציאליות בקורסים לתואר ראשון. הפרוטוקול משלב תצפית התנהגותית מבוססת מרווחי זמן, כתיבה רפלקטיבית מובנית שבועית, רשומות אנונימיות ממערכת ניהול הלמידה, ושאלון כוונות פרו-סוציאליות לפני ואחרי התהליך. ההליכים המעודכנים מספקים מודל קידוד התנהגותי הניתן לשחזור, רובריקה לביטוי רפלקטיבי הכוללת דוגמאות לניקוד, שלבים לניהול נתונים ותוכנה, והדרכה מפורשת לפתרון בעיות במקרה של חילוקי דעות בין תצפיות, רשומות פלטפורמה חסרות, שיעורי הגשה נמוכים של רפלקסיות, נראות לקויה של המצלמה, נשירה של משתתפים וידע מקדים לא עקבי. יש להשתמש בפרוטוקול זה כאשר חוקרים זקוקים לדרך שניתנת לשחזור ובעלת פלישה נמוכה לשילוב של התנהגות בכיתה בזמן אמת, פרשנות עצמית של הסטודנט ופעילות שגרתית במערכת ניהול למידה (LMS) במהלך הוראה לתואר ראשון. הוא פחות מתאים לקורסים אסינכרוניים מלאים ללא אינטראקציה ניתנת לתצפית, לסביבות האוסרות תצפית עצמאית או קישור רשומות, או למחקרים הדורשים הסקת מסקנות ביומטריות או זיהוי רגשות. התוצאות המייצגות מדווחות מהיישום האמפירי שהושלם לאחר קבלת אישור אתי מאושר, אנונימיזציה של רשומות הקורס והכנת המאגר.

מבוא

הערכת השתתפות סטודנטים בהשכלה גבוהה דורשת גישה מקיפה מרובת מקורות. למרות שמעורבות סטודנטים נתפסת באופן נרחב כמבנה רב-ממדי המקיף התנהגות נצפית, מאמץ קוגניטיבי ואינטראקציה סביבתית, גישות אנליטיות נוכחיות מסתמכות בעיקר על נתוני לוגים שטחיים, כגון תדירות התחברויות ופעולות המתועדות במערכת¹. הסתמכות יתרה זו מציבה אתגר משמעותי עבור מחקר מעשי מבוסס כיתה. הצורות הקריטיות ביותר של השתתפות לימודית — אינטראקציות ישירות בין עמיתים, רפלקציה קוגניטיבית ותרומות חברתיות — מתרחשות לעיתים קרובות לחלוטין מחוץ להיקף הנראות המוגבל של הפלטפורמה².

המורכבות של כיתת הלימוד האוניברסיטאית המודרנית התגברה עם אימוצם של מודלים פדגוגיים היברידיים, המשלבים פלטפורמות דיגיטליות עם הוראה פנים-אל-פנים מסורתית. בעוד שסקירות שיטתיות של אנליטיקה של למידה מאשרות כי עקבות דיגיטליים מספקים תובנות בעלות ערך לגבי הקצאת זמן, דפוסי גישה ושיעורי שימור לטווח ארוך, מדדים אלו לבדם אינם יכולים לקבוע האם קשב הלומד הוא יעיל או משמעותי באמת³. כתוצאה מכך, מחקרים עדכניים דוגלים בביסוס האנליטיקה של הלמידה במסגרות תיאורטיות חזקות יותר, על ידי התאמת העקבות הדיגיטליים למדדים עשירים יותר ותלויי-הקשר של השתתפות, כגון התנהגות בכיתה ופעילויות רפלקסיביות⁴.

כתיבה רפלקטיבית מעניקה ממד איכותני חיוני להערכה זו. רפלקסיות מובנות לאחר השיעור ויומנים לומדים את פרשנויותיהם של הסטודנטים לפעילויות הלמידה, מבהירים קשיים הוראתיים ומגשרים בין התוכן התיאורטי לבין פעולות מעשיות עוקבות. ראיות אמפיריות מהעת האחרונה תופסות את הביטוי הרפלקטי כבנייה אינטגרטיבית רב-מרכיבית הכוללת היזכרות תיאורית, הסקה אנליטית, ייצוג התייחסותי-עצמי והכללה של משמעויות⁵. יתרה מכך, מחקרים מצביעים על כך שמתן הדרכה רפלקטיבית חוזרת לסטודנטים מחזקת בהדרגה את יכולתם לאינטרוספקציה; ככל שתדירות הרפלקסיה המובנית במהלך הקורס עולה, כך משתפרות במקביל מיומנויות החקירה העצמאיות של הסטודנטים⁶.

פער מרכזי שני במחקרי המעורבות הנוכחיים הוא הדחיקה התכופה של הסוציאליזציה בכיתה לשוליים. בעוד שמחקרים קיימים שמים דגש רב על התנהגות או קוגניציה אינדיבידואלית, כיתות באוניברסיטה מתפקדות כסביבות למידה חברתיות מטבען, שבהן סטודנטים משפיעים זה על זה באמצעות שיתוף פעולה ואינטראקציות תגובתיות. ראיות חדשות מראות כי אקלים הכיתה ומבני ההשתתפות נמצאים במתאם חזק עם התנהגות פרוסוציאלית ותפיסה מוכוונת תרומה — תוצאות שנותרו תחת-נחקרות בהשוואה למדדים מסורתיים של ביצועים אקדמיים או שביעות רצון של הסטודנטים. התנהגות פרוסוציאלית במסגרות אקדמיות אינה רק תוצר לוואי של מצבים רגשיים או סטרס; אדרבה, היא קשורה באופן בסיסי לאופן שבו סטודנטים ממקמים את עצמם בתוך פעילויות למידה קולקטיביות⁷. לפיכך, מדידת כוונה פרוסוציאלית משמשת כעדשה מתאימה לקביעה האם המעורבות בכיתה חורגת מהשלמה מבודדת של משימות כדי לטפח התנהגויות שיתופיות ומעודדות מעבר לסביבת ההוראה המיידית⁸.

פיתוחים מושגיים אלו מדגישים את הצורך במסגרת משולבת לאיסוף ראיות המיושמת בתוך חלון הוראה בודד. עיצוב רב-מקורות מפחית את המגבלות הכרוכות בהסתמכות על מדד בודד, מאפשר תיקוף צולב בין אופני השתתפות שונים וחושף כיצד סטודנטים מפרשים את פעילויותיהם לאחר השיעור כדי לעודד למידה עצמאית⁹. בעוד שהערכות רפלקטיביות לוכדות את המצב הקוגניטיבי הפנימי של הלומד, עיגון של דיווחים עצמיים אלו בעקבות התנהגותיות אובייקטיביות משפר משמעותית את יכולת הפרשנות של נתוני הלמידה. נכון להיום, קיים חסר בולט בפרוטוקולים מעשיים ומוכנים ליישום בכיתה, המסנתזים בצורה חלקה תצפית התנהגותית שיטתית, דיווח רפלקטיבי מובנה ואנליטיקת למידה לצורך יישום שגרתי באוניברסיטה.

כדי להתגבר על ליקויים מתודולוגיים אלו, מאמר זה מציג פרוטוקול הערכה שנועד למדוד בו-זמנית את המעורבות בכיתה, הביטוי הרפלקסיבי והכוונות הפרו-סוציאליות של סטודנטים באוניברסיטה. הפרוטוקול, שפותח במיוחד עבור מסגרות של תואר ראשון, מציע מתודולוגיה יעילה הדורשת עומס אדמיניסטרטיבי מינימלי מבלי להתפשר על שחזוריות מדעית. על ידי גישור על הפער האנליטי בין התנהגויות ניתנות לצפייה, חוויה עצמית מנוסחת ותוצרי למידה מכווני חברה, מסגרת זו עונה על הקריאה הגוברת לבהירות מושגית רבה יותר במחקר על אינטראקציה בין אדם לטכנולוגיה בסביבות חינוכיות¹⁰.

פרוטוקול

כל השיטות שכללו משתתפים אנושיים בוצעו בהתאם להצהרת הלסינקי ולהנחיות המוסדיות הרלוונטיות. עבור המחקר שיושם, הפרוטוקול אושר על ידי ועדת האתיקה של Nanchang Institute of Technology לפני תחילת הגיוס (מספר אישור: NITE778291). הסכמה מדעת בכתב התקבלה מכל סטודנט משתתף. לצורך הניתוח נעשה שימוש אך ורק בנתונים אנונימיים מצטברים של תצפיות בכיתה, ציוני רפלקסיה, אנליטיקה של למידה ונתוני שאלונים; סרטוני כיתה מזוהים, שמות, מזהים מוסדיים וטקסט רפלקסיבי שלא נערך הוצאו מהפרסום הציבורי.

1. מערך המחקר ובחירת המשתתפים

1. יש ליישם את הפרוטוקול לאורך ארבעה פרקי הוראה רצופים עבור כל קבוצת כיתה שנבחרה. יש לתעד תוויות קורס אנונימיות, פורמט הוראה, גודל כיתה, ניסיון המרצה בקורס, והאם כל כיתה כוללת הוראה קבוצתית, עבודה בקבוצות או תרגול אישי. יש לשאוף לרישום ראשוני של כ-180 עד 210 סטודנטים לתואר ראשון בני 18 ומעלה, או להתאים את יעד גודל המדגם להקשר של הקורס.
2. יש לוודא שלכל המשתתפים יש חשבון מוסדי פעיל בפלטפורמת הקורס, שהם יגיעו לשיעורים שייצפו, ושהם קיבלו את הנחיות הקורס המקדימות הניתנות בדרך כלל לכיתה. כאשר הידע המקדים משתנה באופן משמעותי, יש לספק דף הדרכה מקשר קצר, רשימת משאבים לפני השיעור, או חזרה בהנחיית המרצה לפני חלון התצפית, ולתעד את התמיכה שסופקה כמידע תיאורי (metadata) הקשרי.
3. יש להשיג הסכמה מדעת בכתב מכל הסטודנטים לאחר מתן דף מידע מקיף בכתב. יש לציין בבירור בטופס ההסכמה כי המחקר מקשר בין תצפית התנהגותית בכיתה, כתיבה רפלקטיבית שבועית ורישומי פלטפורמת למידה אנונימיים.
4. יש להזין למסד נתוני המחקר רק סטודנטים שהסכימו להשתתף. יש להבטיח כי סירוב להשתתף לא ישפיע על הנוכחות, הציונים, הגישה לקורס או התקשורת עם המרצה.
   1. יש להסביר את השימושים המותרים והאסורים בכלי בינה מלאכותית (AI) לפני משימת הרפלקסיה הראשונה.
      הערה: ניתן להשתמש בכלי AI רק כאשר מדיניות הקורס מאפשרת זאת ורק לתמיכה כללית בלימודים; הגשות רפלקטיביות ותשובות על כוונות פרו-סוציאליות חייבות לתאר את התנסותו האישית של הסטודנט וחייבות להצהיר על כל סיוע של AI.
   2. אם המרצה מאפשר גישור על ידע מקדים באמצעות תמיכת AI, יש לספק את אותן הנחיות (prompts) או משאבים מאושרים לכל הסטודנטים ולתעד תמיכה זו כהתאמה של הפרוטוקול. אין להשתמש בסיכומים שנוצרו על ידי AI כראיה ראשונית לרפלקסיה של הסטודנט, אלא אם כן מחקר התיקוף מעריך במפורש תשובות שנעזרו ב-AI.
5. יש להוציא סטודנטים מהמחקר לפני הניתוח אם הם מסרבים לתת הסכמה, נסוגים מהקורס במהלך חלון הפרוטוקול, או אם חסרים נתונים תואמים בין רישומי התצפית, הרפלקסיה והאנליטיקה. יש להשתמש במערך של מדידות חוזרות (repeated-measures design) כדי לאסוף נתונים עקביים משלושת המקורות השונים לאורך תקופה של 4 שבועות².

2. רכישת נתוני בסיס וניהול זהות

1. מנו מנהל נתונים יחיד שיקצה מזהה מחקר אלפא-נומרי בן שמונה תווים לכל משתתף נותן הסכמה באמצעות תהליך פסאודו-אקראי.
2. צרו קובץ קישור בין זהות למזהה מחקר המכיל את שמות הסטודנטים, מזהי מוסד, חלוקת כיתות ומספרי מחקר. שמרו קובץ זה באופן מאובטח ובנפרד מקובצי הניתוח, תוך הבטחה שיישאר בלתי נגיש לחלוטין לצופים, למקדדי רפלקסיה ולחוקרים.
3. השמידו או ארכבו קובץ קישור זה לאחר אימות הנתונים הסופי בהתאם למדיניות שמירת הנתונים המוסדית המאושרת, תוך שמירה על עמידה בפרקטיקות הנוכחיות של אנליטיקת למידה בהשכלה גבוהה בנוגע לקישור מוגבל ודה-אידנטיפיקציה¹.
4. אספו נתוני דמוגרפיה בסיסיים על גיל המשתתפים, מגדר, שנת לימודים ומסלול לימודים במהלך השבוע הראשוני שלפני השיעור הנצפה הראשון.
5. השתמשו בשאלון הכוונות הפרו-סוציאליות בן ששת הפריטים המופיע ב-Supplementary File 1 ככלי הבסיס המובנה לפני השיעור הנצפה הראשון. הפיצו אותו באופן אלקטרוני דרך ה-LMS או על דף נייר תוך שימוש במזהה המחקר שהוקצה בלבד. הסטודנטים מדרגים כל פריט בסולם של 5 נקודות, מ-1 = אי-הסכמה מוחלטת ועד 5 = הסכמה מוחלטת; חשבו את ציון הבסיס כממוצע של הפריטים שהושלמו כאשר נענו לפחות חמישה מתוך שישה פריטים.
6. ייצאו את כל הטקסטים הרפלקסיביים שנאספו לאחר מכן ללא שמות, כתובות אימייל או מזהים אישיים אחרים, כדי להבטיח אנונימיות מלאה לפני תחילת תהליך הקידוד האיכותני.

3. הכנה לתצפית בכיתה

1. תזמנו תצפיות עבור כל קבוצת שיעור פעם בשבוע במשך 4 שבועות רצופים. עבור שיעור סטנדרטי של 90-min, הגדירו חלון תצפית של 70-min על ידי ה exclusion של 10 min הראשונים ו-10 min האחרונים מהקידוד⁵.
2. התחילו בקידוד בדקה ה-10^th והפסיקו בדקה ה-80^th של שיעור סטנדרטי של 90-min. תקופות חוצץ אלו אינן חלק מחלון התצפית של 70-min; לפיכך, שיעור סטנדרטי מניב 70 min של תצפית מקודדת ולא סשן של 30-min.
3. הוציאו מהערכה הסופית כל בלוק הוראה שהופסק אם השיעור חווה הפרעה שנמשכה יותר מ-5 min עקב אזעקות, שינויי חדרים או תקלות בפלטפורמה.
4. התייחסו למעורבות בכיתה כאל הרכב נצפה של התנהגויות מרובות על ידי תיעוד של מספר אינדיקטורים התנהגותיים בו-זמנית בכל נקודת מדידה¹¹. האינדיקטורים כוללים קשב למשימה, השתתפות מילולית, שיתוף פעולה בין עמיתים, סיכום או שימוש במכשיר הממוקד במשימה, הסחת דעת ממשימה והתנהגות של בקשת עזרה.
5. סדרו את הישיבה בכיתה לפי קבוצות לפני התצפית הראשונה ושמרו בקפידה על סידור ישיבה זה לאורך כל תקופת 4 השבועות.
6. מקמו שני צופים מיומנים במיקומים קבועים עם נראות של הכיתה כולה כדי שיקודדו באופן עצמאי. אם צילום מוסדי מותר והמשתתפים נתנו את הסכמתם, התקינו שתי מצלמות סטטיות באזור המרכז-אחורי ובאזורי הצד-אחוריים וסנכרנו אותן לפני הסשן.
7. השתמשו בהקלטות מצלמה אך ורק לצורך הכשרת צופים, אימות מהימנות ופתרון בעיות נראות; אל תשתמשו בהקלטות וידאו כמקור הקידוד העיקרי ואל תבצעו ניתוח של רגשות פנים, רגשות קול, ביומטריה או זיהוי זהות.

4. קידוד התנהגותי מבוסס מרווחי זמן

1. חלק את חלון התצפית בן ה-70-min למרווחים רצופים המורכבים מסריקה חזותית של 20-s ולאחריה תקופת רישום של 10-s. אם הרצאה גדולה, מעבדה או שיעור מקוון דורשים אורך מרווח שונה, דווח על מבנה המרווח המותאם ונמק זאת לפני תחילת איסוף הנתונים.
   הערה: מבנה זה של 20-s/10-s מאזן בין תצפית כיתתית אקולוגית לבין עומס העבודה של המקודד: תקופת הסריקה ארוכה מספיק כדי לזהות קשב מתמשך, שיתוף פעולה והתנהגות שאינה קשורה למשימה, בעוד שתקופת הרישום מפחיתה את עומס הזיכרון ותומכת בקבלת החלטות בינאריות עקביות.
2. סרוק קבוצה מוגדרת בבירור של עד עשרה סטודנטים למרווח בלולאה רציפה בהתבסס על סידור הישיבה.
3. השתמש בקריטריוני סריקה ספציפיים כדי למנוע חוסר עקביות של המקודד הנגרם מהגדרות אופרציונליות רפויות⁴. קודד שישה אינדיקטורים בינאריים ברמת הסטודנט במהלך כל סריקה. אלו כוללים קשב ממוקד משימה, השתתפות מילולית, שיתוף פעולה עם עמיתים, כתיבת הערות או שימוש במכשיר הממוקדים במשימה, הסחת דעת שאינה קשורה למשימה, והתנהגות של בקשת עזרה.
4. סמן אינדיקטור כ-"1" אם ההתנהגות שהוגדרה מתרחשת בכל נקודה במהלך הסריקה של 20-s. אחרת, סמן אותה כ-"0". קודד את המרווח כחסר אם סטודנט אינו נראה למשך לפחות 10 s של הסריקה.
5. רשום קשב ממוקד משימה כאשר סטודנט מכוון חזותית לעבר המרצה, למשימות שהוקצו, למידע המוצג או לעמיתים העוסקים בדיון על המשימה למשך 5 s רצופים לפחות. קודד השתתפות מילולית עבור כל תרומה נשמעת הקשורה למשימה.
6. קודד שיתוף פעולה עם עמיתים כאשר סטודנטים עוסקים בחילופים גלויים מבוססי משימה, בפתרון בעיות משותף או בהסברים לעמיתים. רשום כתיבת הערות או שימוש במכשיר הממוקדים במשימה עבור כתיבה פעילה, הקלדה או אינטראקציה דיגיטלית עם חומרי הקורס.
7. סמן הסחת דעת שאינה קשורה למשימה אם סטודנט עוסק בשיחות לא רלוונטיות, בשימוש לא אקדמי במכשיר, או בחוסר מעורבות מתמשך למשך 5 s רצופים לפחות. רשום בקשת עזרה כאשר סטודנט מבקש במפורש הבהרה או סיוע מהמרצה או מעמיתים.
8. חשב את הניקוד ההתנהגותי השבועי עבור כל סטודנט כסכום השיפוטים החיוביים חלקי כלל הדירוגים התקינים. גזור לאחר מכן ממוצעים של 4 שבועות עבור כל ששת האינדיקטורים.
9. חשב מדד מעורבות כיתתית נצפית (OCEI) משולב עבור סטודנט i בשבוע w באמצעות המודל המתמטי שהוגדר מראש: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. השאר את בקשת העזרה כמשתנה אנליטי עצמאי מכיוון שהיא יכולה לייצג הן הבהרה בונה והן קושי בתוכן ההוראה, תלוי בהקשר¹². עיין ב-איור 1 לצורך זרימת העבודה של המחקר וב-טבלה 1 לצורך מדדי התצפית וכללי הקידוד.

5. הכשרת צופים והערכת מהימנות

1. בצעו הדרכת צופים באמצעות מפגש הכשרה ידני של 60 דקות, ועזרו בשלושה סבבי כיול לפני תחילת התוכנית הרשמית.
2. בצעו את סבב הכיול הראשון באמצעות קידוד מודרך של סרטון מכיתה שאינו חלק מהמחקר. השלימו את שני הסבבים הבאים כקידודים עצמאיים של סרטונים שונים שאינם חלק מהמחקר, ולאחריהם ביצעו השוואות סטטיסטיות ישירות מול המקודד הבכיר.
3. התחילו באיסוף נתונים רשמי רק כאשר מדד Cohen's Kappa מגיע ל-0.75 או עולה עליו, וההסכמה הכוללת בין המדרגים (inter-rater agreement) עולה על 85%.
4. הטמיעו אימות סחף (drift verification) בסמיות כפולה על 10% מכלל המפגשים ועל מקטע אקראי אחד של 10 דקות מהמפגשים הנותרים לאורך פרוטוקול של 4 שבועות.
5. בצעו כיול מחדש של צוות הקידוד תוך 72 h ואימות מחדש של המפגשים המושפעים לפני נעילת הנתונים, במידה וערך ה-Kappa יורד מתחת ל-0.70 עבור כל אינדיקטור. ספקו משוב באופן רציף וארגנו תרגילי כיול כדי לשמור על יציבות ההערכה לאורך זמן¹³.

6. איסוף והערכה של ביטוי רפלקסיבי

1. הנחו את הסטודנטים להגיש טקסט רפלקטיבי מובנה אחד (100-350 מילים) עבור כל שיעור שנצפה, ובכך ייווצרו 4 רשומות לכל משתתף לאורך פרוטוקול של 4 שבועות.
2. פרסמו את הנחיות הרפלקציה באמצעות ה-LMS או בטופס נייר בתוך שעתיים לאחר השיעור שנצפה, וסגרו את חלון ההגשה לאחר 72 שעות. הטופס צריך להציג את שדה ה-Study ID ואת שלוש ההנחיות הבאות באותו סדר עבור כל סטודנט:
   1. לזהות היכן הם הרגישו הכי מעורבים והכי פחות מעורבים במהלך השיעור.
   2. להסביר את הגורמים ההקשריים, כולל קושי במשימה, ידע מוקדם, אינטראקציה קבוצתית, הסבר של המרצה או שימוש בפלטפורמה.
   3. לתאר כיצד השפעת השתתפותם על האווירה בכיתה ואיזו פעולה עתידית הם מתכוונים לנקוט.
      הערה: שמרו רשומות של פחות מ-100 מילים, אך סמנו אותן במסד הנתונים כבעלות מידע נמוך. סמנו גם רשומות המשמיטות את ההנחיה לגבי המעורבות, הגורם ההקשרי או הפעולה העתידית/ההשפעה החברתית, מכיוון שהשמטות אלו משפיעות על ניקוד איכות הרפלקציה ועל דיווחי ההיתכנות.
3. הקצו שני מקודדים עיוורים להערכת ההגשות על פני ספציפיות תיאורית, עומק אנליטי, נטייה לוויסות עצמי ומשמעות חברתית-פרוסוציאלית.
   1. דרגו כל ממד באמצעות סולם של 4 נקודות, שבו 0 מציין היעדר, 1 מציין ראיה חלשה או מעומעמת, 2 מציין ראיה ברורה אך מוגבלת, ו-3 מציין ראיה חזקה ומפורטת. לדוגמה, עומק אנליטי יקבל ציון 0 כאשר לא ניתנה סיבה, 1 כאשר הסטודנט מציין רק שהפעילות הייתה קשה, 2 כאשר הסטודנט קושר את הקושי למושג ספציפי או לתנאי כיתתי, ו-3 כאשר הסטודנט מסביר את האינטראקציה בין ידע קודם, דיון עם עמיתים, משוב מהמרצה ואסטרטגיית למידה מתוכננת. Table 2 ו- Supplementary File 1 מספקים דוגמאות לרמות הניקוד עבור כל ארבעת הממדים הרפלקטיביים.
4. התחילו בהערכה רשמית רק לאחר השגת מקדם מתאם תוך-כיתתי (ICC) של 0.80 ומעלה עבור כל ממד בטקסטים של הפיילוט¹⁴.
5. בצעו ניקוד כפול באופן אקראי ל-15% מהרפלקציות במחקר במהלך הפרוטוקול כדי לשלוט בסטיות של המדרגים (rater drift). העריכו את הכתיבה הרפלקטיבית על בסיס מדדים איכותניים רב-ממדיים אלה, במקום להסתמך אך ורק על אורך הטקסט או תדירות מילים.
6. פתחו או התאימו את הרובריקה לביטוי רפלקטיבי באמצעות ביקורת מומחים של לפחות שני חוקרי חינוך ומרצה אחד מהקורס. בצעו פיילוט לרובריקה על 20 עד 30 רפלקציות שאינן חלק מהמחקר, תקנו תיאורים מעומעמים ותעדו את גרסת הרובריקה הסופית לפני תחילת הקידוד הרשמי.
7. העבירו את שאלון הכוונות הפרוסוציאליות המופיע ב- Supplementary File 1. בקשו מהסטודנטים לדרג את נכונותם לעזור לחברים לכיתה שנתקלים בקשיים, לשתף משאבי למידה, לתרום באופן בונה לדיונים, לעודד עמיתים, לפעול בהגינות במהלך משימות קבוצתיות ולשפר את אקלים הלמידה בכיתה. השתמשו בסולם של 5 נקודות הנע בין 1 (מתנגד נחרצות) ל-5 (מסכים נחרצות). חשבו את הציון הממוצע כאשר הושלמו לפחות חמישה מתוך שישה פריטים, ודווחו על אלפא של קרונבך עבור המדידות בקו הבסיס ואחרי הפרוטוקול.

7. הפקת אנליטיקת למידה

1. יש למנות מנהל חיצוני שיחלץ את נתוני ניתוחי הלמידה (learning analytics) לאחר שבוע 4, וזאת כדי למנוע כל זיהום של תהליכי התצפית והרפלקסיה.
2. הגדירו את חלון החילוץ החל מהשעה 00:00 ביום השיעור הראשון שנצפה ועד השעה 23:59 ביום הסגירה של חלון הרפלקסיה האחרון.
3. חלץ אך ורק את המשתנים שהוגדרו מראש והנחוצים לפרוטוקול. רשום את מספר הימים הפעילים בפלטפורמה, צפיות ייחודיות במשאבים, את הפרופורציה של משאבים שהוקצו ונפתחו, את כמות התגובות שפורסמו בדיונים, את שיעור השלמת הסרטונים הממוצע, ואת העמידה בלוחות הזמנים של הגשת המטלות.
4. יש לנקות את הייצואים הגולמיים על ידי הסרת חשבונות השייכים למרצים ועוזרי הוראה, רשומות כפולות, אירועי בדיקה ונקודות נתונים שמחוץ לטווח הזמנים שהוגדר.
5. חשב יום פעיל ככל תאריך בלוח השנה הכולל לפחות גישה אחת מאומתת לקורס, שלאחריה התבצעה אינטראקציה משמעותית, כגון פתיחת קבצים, צפייה בסרטונים או פרסום תגובות.
6. ספור פתיחות משאבים ייחודיות תוך התעלמות מאירועי רענון כפולים המתרחשים בטווח של 60 שניות. קבע את שיעור השלמת הצפייה בסרטון על ידי קיטום חלק הצפייה ביחס לזמן המתוכנן ב-01:00, ולאחר מכן חשב ממוצע על פני כל פריטי המדיה שהוקצו.
7. חשבו את עמידת התלמידים בלוחות הזמנים של הגשת המטלות על בסיס שיעור המשימות שהוגשו לפני המועדים שנקבעו. חשבו את שיעור הגישה בשעות הלילה המאוחרות כיחס בין אירועים משמעותיים שהתרחשו בין השעות 00:00 ל-06:00 לבין סך הפעילויות המשמעותיות בתקופת התצפית. הישענו על מדדים אלו, המוגדרים על בסיס זמן ותרומה, כדי לספק מידע עשיר יותר מאשר צבירה פשוטה של רשומות לוג (logs).¹⁵.
8. השתמשו בזרימת עבודה (workflow) שנקבעה מראש לניהול נתונים עבור הייצוא הגולמי ממערכת ניהול הלמידה. שמרו את הייצוא המקורי כקובץ לקריאה בלבד, צרו עותק עבודה אנונימי (de-identified), הסירו חשבונות של מרצים ועוזרי הוראה, הסירו אירועים כפולים או אירועי בדיקה, ושמרו יומן עיבוד הכולל ספירת שורות לאחר כל שלב בניקוי הנתונים.
9. בצע ניקוי נתונים בגיליון אלקטרוני (spreadsheet) או בתוכנה מאוחרת יותר, וניתוח סטטיסטי בגרסה 4.4.0 או מאוחרת יותר של R, או בתוכנה שוות ערך.
   1. בגיליון אלקטרוני, בצע את השלבים המתוארים בסעיפים 7.9.1.1–7.9.1.2.
      1. ייבאו את קובצי ה-CSV שעברו דה-אידנטיפיקציה באמצעות נתונים > קבלת נתונים > מתוך טקסט/CSV, ולהשתמש נתונים > הסרת כפילויות להסרת כפילויות מזהה מחקר/חותמת זמן/אירוע שורות.
      2. יישום מסנן כדי להחריג חשבונות של מרצים או עוזרי הוראה ורישומים שחורגים מחלון הזמן, ולשמור לוג עיבוד עם ספירת שורות לאחר כל שלב.
   2. ב-R, פעל לפי השלבים המתוארים בסעיפים 7.9.2.1–7.9.2.3.
      1. ייבוא קבצים באמצעות readr::read_csv(), עיצוב מחדש של רשומות שבועיות באמצעות dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer()ו- tidyr::pivot_wider().
      2. חשב את מדד הקאפה של כהן (Cohen's kappa) באמצעות irr::kappa2(), ICCs עם psych::ICC(), ואלפא של קרונבך עם psych::alpha().
      3. התאם מודלים ליניאריים מותאמי-מקטע באמצעות stats::lm()שימוש lme4::lmer() כאשר נדרש חיתוך אקראי (random intercept) מוגדר מראש עבור מחלקה-סבב, ושימוש lme4::glmer(family = binomial) רק עבור תוצאים בינאריים. ארכבו את הסקריפט המדויק ואת גרסאות החבילות יחד עם חומרי ההגשה.
10. השתמש ברצף הניתוח הניתן לשחזור הבא.
    1. חשבו את פרופורציות התצפית של תלמיד-שבוע, חשבו את ה-OCEI באמצעות הנוסחה שבשלב 4.9, ומזגו את ציוני הרפלקסיה השבועית לפי מזהה מחקר (Study ID) ושבוע.
    2. יש לצבור את משתני ניתוח הלמידה (learning analytics) על פני אותו חלון זמן של 4 שבועות, לבחון נתונים חסרים לפי מקור הנתונים, לחשב סטטיסטיקה תיאורית והערכות מהימנות, ולהתאים את מודלי הקשר שהוגדרו מראש.
    3. אין להוסיף מנבאים שלא תוכננו לאחר בחינת התוצאות, אלא אם כן הם מסומנים כחקרים (exploratory).
11. (אופציונלי) למען השקיפות, הפקידו מאגר ציבורי או חומרי השלמה הכוללים סקריט ניתוח אנונימי, ספר קודים, טפסי קידוד ריקים, הנחיות לרפלקסיה, מחוון (רובריקה) לרפלקסיה ושאלון פרו-סוציאלי. אין להפקיד סרטוני כיתה גולמיים מזוהים, שמות, מזהים מוסדיים או טקסט רפלקסיבי שלא נערך להסרת פרטים מזהים.

8. מדידה לאחר הפרוטוקול ושילוב מערכי נתונים

1. הנח את שאלון הכוונות הפרו-סוציאליות פעם שנייה מיד לאחר סיום חלון הרפלקסיה האחרון.
2. בקש מהסטודנטים לדרג את נכונותם לעזור לחברים לספסל הלימודים, לשתף משאבים, לתרום באופן בונה לדיונים, לעודד עמיתים, לפעול בהגינות ולשפר את אקלים הלמידה, על סולם הנע בין 1 (מסכים מאוד) ל-5 (לא מסכים כלל). חשב את הניקוד הכולל של כל משתתף לאחר הפרוטוקול על ידי חישוב ממוצע התשובות, בתנאי שענו לפחות לחמישה מתוך ששת הפריטים.
3. מזג את קבצי התצפית, ציוני הרפלקסיה ורישומי אנליטיקת הלמידה באמצעות מזהה המחקר (Study ID) האנונימי. בנה שני מאגרי נתונים סופיים ממיזוג זה כדי ליצור קובץ מאסטר ברמת המשתתף וקובץ בפורמט ארוך ברמת השבוע.
4. אין לבצע השלמה (imputation) למרווחי תצפית חסרים שנגרמו מחוסר נראות של סטודנטים, ואין להשלים רפלקסיות שבועיות חסרות שנגרמו מאי-הגשה. סמן רפלקסיות שהושלמו חלקית, משתני אנליטיקת למידה חסרים, רפלקסיות עם מידע דל ומזהי מחקר שלא נמצא להם התאמה לפני הניתוח.
5. השתמש בניתוח מקרים מלאים (complete-case analysis) עבור מודלים של קשר שהוגדרו מראש, דווח על מספר המקרים שהוחרגו עבור כל מודל, ובצע בדיקת רגישות להשוואה בין סטודנטים שנכללו לאלו שהוחרגו על בסיס משתני הבסיס הזמינים.
6. שמור על כוונות פרו-סוציאליות כמדד תוצאה ראשוני כדי לשקף את העמדות התומכות והשיתופיות העומדות בבסיס שינויים מבניים בהשתתפות של סטודנטים באוניברסיטה.

9. פתרון בעיות והתאמות של הפרוטוקול

1. אם שני צופים אינם מסכימים על יותר מדפוס קטגוריה בינארית אחת באותו צביר סטודנטים, או אם מדד ה-Cohen's kappa יורד מתחת ל-0.70 עבור אינדיקטור כלשהו, יש להשהות את הניקוד הפורמלי עבור המפגש המושפע, לסקור את ההגדרות האופרציונליות, לבצע מקטע כיול מחדש של 10-min, ולקודד מחדש את המרווח המושפע לפני נעילת הנתונים.
2. אם ייצואי הפלטפורמה אינם מלאים, יש לתעד את השדה החסר, לבקש ייצוא שני מהמנהל החיצוני, ולהשאיר את הסטודנט בסיכומי התצפית/רפלקסיה תוך החרגת משתנה האנליטיקה הבלתי זמין ממודלים הדורשים שדה זה.
3. אם פחות מ-80% מהרפלקסיות הצפויות הוגשו תוך 48 h לאחר פתיחת המשימה, יש לשלוח תזכורת ניטרלית לכל הכיתה, להרחיב את התמיכה הטכנית לבעיות גישה, ולדווח בנפרד על הספירות הסופיות של הגשות בזמן, הגשות באיחור והגשות חסרות.
4. אם יותר מ-10% מהסטודנטים בצביר אינם נראים למשך לפחות מחצית מחלון הסריקה, יש לקודד את המרווחים המושפעים כחסרים ולהסתמך על רישומי צופה בזמן אמת במקום לנסות להסיק התנהגות מווידאו חסום.
5. אם סטודנט נסוג, מסרב להמשיך בהשתתפות, או שחסרים נתונים הניתנים לקישור בין המקורות, יש להסיר סטודנט זה ממודלי התבססות מקושרים, אך לשמור על ספירות סיכום של היתכנות הפרוטוקול כאשר אישור האתיקה מתיר זאת.
6. אם מספר סטודנטים מאותתים שחלק מסוים קשה להבנה, על המדריך לספק את המענה הפדגוגי הרגיל, כגון הסבר קצר חוזר, דוגמה פתורה, דיון עמיתים או משאב המשך. יש לתעד זאת כאירוע הקשרי מכיוון שהוא עשוי להשפיע על בקשת עזרה, עומק הרפלקסיה ופעילות בפלטפורמה.
7. יש להתאים את גודל צביר הסטודנטים, אורך המרווח, הנחיות הרפלקסיה ומשתני האנליטיקה לפורמט ההוראה, אך לשמור על אותה לוגיקה של אינדיקטורים התנהגותיים שהוגדרו מראש, רשומות אנונימיות, קידוד עצמאי וכללים שקופים לטיפול בנתונים חסרים.
8. יש להתייחס לאמינות נמוכה, שיעור גבוה של נתונים חסרים, עומק רפלקסיה מוגבל, שינוי פרו-סוציאלי חלש והסכמה חלשה בין זרמי נתונים כתוצאות יישום בעלות ערך אינפורמטיבי ולא ככישלונות של הפרוטוקול. יש לדווח על תוצאות אלו ולהסביר אם הן משקפות את הקשרי הכיתה, מגבלות של כלי המדידה או בעיות בלכידת הנתונים.

תוצאות

הכללה של משתתפים, שלמות נתונים ואמינות ציונים
קוהורט ראשוני של 204 סטודנטים מכל מקטעי הקורס הוזמנו להשתתף, מהוביל ל-198 אנשים שנתנו את הסכמתם. ארבעה עשר מקרים הוצאו לאחר מכן בשל נשירה מהקורס במהלך חלון הפרוטוקול או קישור נתונים חסר בין רשומות התצפית, הרפלקסיה והפלטפורמה. כתוצאה מכך, מדגם הניתוח הסופי הורכבו 184 סטודנטים. מאפייני המשתתפים, שיעורי ההשלמה השבועיים ושלמות הנתונים הכוללת מפורטים ב-טבלה 3.

במהלך התוכנית שנמשכה 4 שבועות, נצפו 24 מפגשי שיעור, אשר הניבו רשומת אנליטיקת-למידה מסונכרנת עבור כל משתתף. מתוך 736 הדוחות הרפלקטיביים הצפויים, 701 הוגשו בתוך חלון זמן של 72-h, 18 הוגשו באיחור, ו-17 היו חסרים. בסופו של דבר, 171 סטודנטים השלימו בהצלחה את כל הרפלקסיות השבועיות בזמן. נתוני אנליטיקת-למידה הופקו במלואם עבור 184 המשתתפים הסופיים, לאחר סינון חשבונות של מרצים, רשומות כפולות ופעילויות שבוצעו מחוץ לחלון הזמן.

הקידוד התצפיתי נותר יציב מאוד לאורך תקופת הפרוטוקול. מהימנות בין-שופטים עבור ששת המדדים ההתנהגותיים של תצפית בכיתה הראתה ערכי Cohen's kappa הנעים בין 0.76 ל-0.84, כאשר ההסכמה הכוללת במהלך מבחני סחף (drift tests) עלתה על 86%. עבור ציוני הביטוי הרפלקטיבי, מקדמי מתאם תוך-מעמדיים (ICCs) בארבעה ממדים השתנו בין 0.82 ל-0.89. טבלה 4 מציגה את הסטטיסטיקה התיאורית ומדדי המהימנות עבור משתני המחקר העיקריים.

תצפית התנהגותית בכיתה
התנהגויות שנצפו בכיתה הראו שיפור הדרגתי לאורך הפרוטוקול שנמשך 4 שבועות. כפי שמוצג ב-איור 2, קשב למשימה, השתתפות מילולית ושיתוף פעולה עם עמיתים היו גבוהים באופן משמעותי בשבוע 4 בהשוואה לשבועות הראשונים. באופן ספציפי, ההשתתפות המילולית עלתה מ-0.18 ± 0.09 בשבוע הראשון ל-0.24 ± 0.10 עד השבוע הרביעי (p < 0.05). שיתוף פעולה עם עמיתים עלה באופן דומה מ-0.29 ± 0.11 ל-0.35 ± 0.12 (p = 0.006). קשב למשימה הדגים שיפור משמעותי ביותר, עם מעבר מ-0.71 ± 0.12 ל-0.76 ± 0.11 (p < 0.001).

לעומת זאת, סיכום הערות ממוקד-משימה או שימוש במכשירים הראו עליות שבועיות שוליות בלבד שלא הגיעו למובהקות סטטיסטית (p = 0.08). התנהגות של בקשת עזרה נותרה נמוכה באופן עקבי לאורך תקופת התצפית, ולא הראתה השפעת זמן מובהקת (p = 0.21). הסחות דעת שאינן קשורות למשימה פחתו באופן מובהק מ-0.14 ± 0.08 בשבוע 1 ל-0.11 ± 0.07 בשבוע 4 (p = 0.03). באופן כללי, מדד מעורבות הכיתה הנצפה המשולב עלה באופן מובהק מ-0.52 ± 0.10 במהלך השבוע הראשון ל-0.58 ± 0.11 עד השבוע האחרון (p < 0.001).

ביטויים רפלקסיביים במהלך הפרוטוקול של 4 שבועות
הביטוי הרפלקסיבי התפתח לאורך תקופת המחקר, אם כי עוצמת השינוי הייתה שונה בין תתי-הממדים שלו. כפי שמוצג ב-איור 3, ציון הרפלקסיה הכולל עלה משבוע 1 ל-7.2 ± 1.9 עד שבוע 4 (p < 0.001).

העומק האנליטי היה גדול באופן ניכר בסוף שבוע 4 בהשוואה לשבועיים הראשונים (p < 0.001). באופן דומה, המשמעות החברתית-פרוסוציאלית עלתה מ-1.08 ± 0.55 ל-1.54 ± 0.60 (p < 0.001), והנטייה לוויסות עצמי עלתה מ-1.42 ± 0.63 ל-1.69 ± 0.65 (p < 0.05). לעומת זאת, הספציפיות התיאורית הראתה מגמת עלייה קלה, מ-2.14 ± 0.57 ל-2.24 ± 0.55, אשר לא הייתה מובהקת סטטיסטית (p = 0.09).

ההגשות השתמשו בממוצע של בין 223 ל-231 מילים לכל רשומה לאורך הפרוטוקול. מתוך 736 דוחות רפלקטיביים צפויים, 18 הוגשו באיחור ו-17 היו חסרים; רשומות עם מידע דל ותגובות שהשמיטו את ההנחיה בנוגע לסיבה ההקשרית או לפעולה עתידית/השפעה חברתית סומנו במאגר הנתונים. מקרים אלו נשמרו כאינדיקטורים להיתכנות והוחרגו רק ממודלי איכות הרפלקסיה של שבועות ספציפיים כאשר לא ניתן היה להקצות את הניקוד הרלוונטי.

דפוסי ניתוח למידה במהלך חלון המחקר
מדדי פעילות בפלטפורמה הראו שונות בין-אינדיבידואלית ניכרת לאורך חלון הזמן של 4 שבועות, כפי שמוצג ב-איור 4.

במהלך כל התקופה, הסטודנטים השקיעו בממוצע 9.7 ± 2.4 ימים פעילים בפלטפורמה. מספר הצפיות הממוצע במשאבים שונים היה 27.3 ± 8.6, כאשר הסטודנטים פתחו שיעור ממוצע של 0.81 ± 0.14 מהמשאבים שהוקצו. יתר על כן, מספר התגובות הממוצע לדיונים היה 4.8 ± 2.7. רמת העמידה הממוצעת בלוחות הזמנים של המטלות ושיעור השלמת הסרטונים הממוצע היו 0.86 ± 0.18 ו-0.79 ± 0.17, בהתאמה. שיעור הגישה לפלטפורמה בשעות הלילה המאוחרות עמד בממוצע על 0.12 ± 0.09.

ראוי לציין כי תשובות לדיונים ועמידה בלוחות הזמנים של הגשת מטלות הראו מתאמים חיוביים בולטים יותר עם מדדי השתתפות אחרים, וזאת למרות ההתפלגות הרחבה של ציוני העמידה בלוחות הזמנים.

קישור הצלבה של תצפיות, רפלקסיות ונתוני למידה
שלושת מקורות הנתונים הדגימו קשרים משמעותיים, אם כי לא אחידים. כפי שמוצג ב-איור 5, סטודנטים עם מדדי מעורבות בכיתה נצפית גבוהים יותר נטו להשיג ציוני רפלקסיה כוללים גבוהים יותר. במודל המתואם לפי קבוצות (section-adjusted model), המעורבות הנצפית בכיתה ניבאה באופן חיובי את ציון הרפלקסיה הכולל (β = 0.34, p < 0.001).

מבין משתני ניתוח הלמידה (learning analytics), נמצא מתאם חיובי ומובהק בין תגובות לדיונים ועמידה בלוחות הזמנים של הגשת מטלות לבין איכות הרפלקסיה. כפי שפירוט בטבלה 5, תגובות לדיונים ניבאו באופן חיובי את הניקוד הכולל של הרפלקסיה (β = 0.19, p = 0.013), וכך גם עמידה בלוחות הזמנים של הגשת מטלות (β = 0.17, p = 0.028). בעוד שצפיות גולמיות במשאבים ושיעור המשאבים שהוקצו אשר נפתחו הראו קשרים חיוביים בתחילה, מתאמים אלה נחלשו באופן מובהק לאחר התאמה למשתנים מתערבים. שיעור הגישה בשעות הלילה המאוחרות לא הראה קשר מובהק לניקוד הכולל של הרפלקסיה (p = 0.18).

הנתונים חשפו גם מתאמי-חוץ (cross-correlations) קלים בין ההתנהגות שנצפתה בכיתה לבין פעילויות ספציפיות בפלטפורמה; לדוגמה, צפיות במשאבים גולמיים היו במתאם שולי בלבד עם מדד המעורבות הנצפית בכיתה (Observed Classroom Engagement Index). יתרה מכך, סטודנטים שהשתתפו בתדירות גבוהה יותר בדיוני קבוצתיים הפגינו תקשורת מילולית גבוהה יותר, בעוד שאלו שהפגינו ויסות התנהגותי גבוה יותר גילו פחות דחיינות בהגשת מטלות.

שינויים בכוונות פרוסוציאליות
כוונות פרוסוציאליות הראו גידול משמעותי מקו הבסיס לבדיקה שלאחר ההתערבות. ציון הכוונות הפרוסוציאליות הממוצע עלה מ-3.61 ± 0.53 בקו הבסיס ל-3.84 ± 0.50 לאחר הפרוטוקול בן ה-4 שבועות (p < 0.001). איור 6 ממחיש את ההתפלגות הזווגית ואת הקשרים המתואמים.

במודל המתואם הסופי, מדד מעורבות בכיתה נצפה (Observed Classroom Engagement Index) גבוה יותר ניבא עלייה גדולה יותר בכוונות פרו-סוציאליות לאחר הפרוטוקול ביחס לציון הבסיס (β = 0.21, p < 0.05). מבין הממדים הרפלקסיביים, משמעות חברתית-פרו-סוציאלית הפעילה את ההשפעה העצמאית המשמעותית ביותר על כוונות פרו-סוציאליות לאחר הפרוטוקול (β = 0.29, p < 0.001). למרות שהשתתפות מילולית הראתה מתאם חיובי לא מתואם עם תוצאות פרו-סוציאליות במבחן שלאחר ההתערבות, קשר זה איבד את מובהקותו הסטטיסטית לאחר בקרה על ערכי הבסיס (p = 0.09). לבסוף, שיעור הגישה בשעות הלילה המאוחרות נותר ללא קשר לכוונות פרו-סוציאליות לאחר הפרוטוקול (p = 0.27).

מגבלות יישום שנצפו וממצאים אפסיים
המחקר שיושם הניב מספר תוצאות תת-אופטימליות אך אינפורמטיביות, במקום כשלים שהיו מחייבים את הפסקת הפרוטוקול. אף מפגש שנצפה לא דרש הדרה בשל ערך kappa של צופה הנמוך מ-0.70, אף שדה של ניתוח למידה (learning-analytics) לא נותר לא זמין לאחר הייצוא הסופי, ואף בעיית נראות לא חרגה מסף הערכים החסרים שהוגדר מראש. המגבלות שנצפו התרכזו בהשלמת הרפלקסיות ובממצאים התנהגותיים אפסיים או שוליים: 18 רפלקסיות הוגשו באיחור, 17 רפלקסיות צפויות היו חסרות, סימון הערות/שימוש במכשיר ממוקד-מטלה הראו עלייה שולית בלבד (p = 0.08), בקשת עזרה לא הראתה השפעה משמעותית של זמן (p = 0.21), וגישה בשעות הלילה המאוחרות לא הייתה קשורה לציון הכולל של הרפלקסיה או לכוונה פרו-חברתית לאחר הפרוטוקול.

ממצאים אלו נשמרו מכיוון שהם מתארים את היתכנות היישום ואת תנאי הסף של הפרוטוקול. השתקפויות מאוחרות או חסרות דווחו בסיכומי זרימת המשתתפים והשלמות הנתונים; קשרים שוליים או אפסיים דווחו ללא השמטה סלקטיבית; ונהלי פתרון הבעיות בסעיף הפרוטוקול מפרטים כיצד יש לטפל בכישלונות היפותטיים, כגון סטיות של הצופה, חסימת נראות או שדות חסרים ב-LMS, ביישומים עתידיים.

קבצי ניתוח אנונימיים, מילון הנתונים, סקריפטים של ניתוח, טפסי קידוד ריקים, הנחיות לרפלקסיה, רובריקה לרפלקסיה ושאלון כוונות פרו-סוציאליות הופקדו ב-Zenodo: https://zenodo.org/records/20607517. סרטוני כיתה גולמיים מזוהים, שמות, מזהים מוסדיים וטקסטים של רפלקסיה ללא עריכה לא פורסמו באופן פומבי.

איור 1: זרימת העבודה של המחקר ופרוטוקול אינטגרציה של נתונים ממקורות מרובים. (A) גיוס משתתפים, איסוף הסכמות והקצאת מזהי מחקר (study-ID) בשני קורסי תואר ראשון ובשש קבוצות לימוד. (B) מחזור איסוף נתונים של 4 שבועות: תצפית שבועית בכיתה, משימת כתיבה רפלקטיבית וחלון לכידה מסונכרן של אנליטיקת למידה. (C) שלושה זרמי נתונים מקבילים: תצפית התנהגותית בכיתה, דירוג ביטוי רפלקטיבי ורישומי פלטפורמת למידה ללא זיהוי. (D) בניית מערך הנתונים הראשי ברמת המשתתף ומסד נתונים בפורמט ארוך ברמת השבוע, המניבים את תוצרי המחקר העיקריים: מדד מעורבות נצפית בכיתה, ציון רפלקציה וכוונות פרו-סוציאליות. אנא לחץ כאן כדי לצפות בגרסה מורחבת של איור זה.

איור 2: שינויים שבועיים בהתנהגות שנצפתה בכיתה במהלך הפרוטוקול שנמשך 4 שבועות. (A) קשב ממוקד במשימה. (B) השתתפות מילולית. (C) שיתוף פעולה בין עמיתים. (D) רשמי notes ממוקדים במשימה או שימוש במכשיר ממוקד משימה. (E) הסחת דעת (חוסר מיקוד במשימה). (F) בקשת עזרה. הערכים הם ציוני פרופורציה שבועיים ברמת התלמיד, שנגזרו מתצפיות בכיתה מבוססות מרווחי זמן. הנקודות מציינות ממוצעים שבועיים, ופסים של שגיאה מציינים סטיות תקן. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.

איור 3: שינויים שבועיים בביטוי רפלקטיבי לאורך ארבעת ההגשות הרפלקטיביות. (A) ספציפיות תיאורית. (B) עומק אנליטי. (C) נטייה לוויסות עצמי. (D) משמעות חברתית-פרוסוציאלית. (E) ציון רפלקסיה כולל. ציוני הרפלקסיה נקבעו על ידי שני מקודדים מסוככים באמצעות רובריקה שהוגדרה מראש. הנקודות מציינות ממוצעים שבועיים, ופסי השגיאה מציינים סטיות תקן. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 4: התפלגות מדדי אנליטיקת-למידה במהלך חלון המחקר בן 4 השבועות. (A) ימים פעילים בפלטפורמת הלמידה. (B) צפיות במשאבים. (C) שיעור המשאבים שהוקצו ונפתחו. (D) תגובות שפורסמו בדיונים. (E) שיעור השלמת סרטונים ממוצע. (F) עמידה בלוחות הזמנים של הגשת מטלות. (G) שיעור הגישה בשעות הלילה המאוחרות. כל הערכים חושבו עבור אותו חלון זמן של 4 שבועות ששימש לתצפיות בכיתה ולכתיבה רפלקטיבית. תרשימי כינור (Violin plots) מראים את ההתפלגויות ברמת הסטודנט, ותרשימי קופסה (box plots) מציינים חציונים וטווחים בין-רבעוניים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 5: קשרים בין מעורבות נצפית בכיתה, ביטוי רפלקטיבי ומדדי אנליטיקה של למידה נבחרים. (A) קשר בין מדד המעורבות הנצפית בכיתה לבין הציון הכולל של הרפלקציה. (B) קשר בין תגובות שפורסמו בדיונים לבין הציון הכולל של הרפלקציה. (C) קשר בין עמידה בלוחות הזמנים של הגשת מטלות לבין הציון הכולל של הרפלקציה. (D) קשר בין השתתפות מילולית לבין הציון הכולל של הרפלקציה. קווי המגמה מייצגים קשרים ליניאריים מותאמים; פסים מוצלים מציינים רווחי סמך של 95%. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 6: שינוי בכוונות פרו-סוציאליות והקשרים שלהן למעורבות בכיתה ולמשמעות רפלקסיבית. (A) התפלגות מזווגת של ציוני כוונות פרו-סוציאליות בקו הבסיס ואחרי הפרוטוקול. קווים מחברים ציוני לפני/אחרי מזווגים מאותו סטודנט. (B) הקשר בין מדד המעורבות בכיתה שנצפתה לבין כוונות פרו-סוציאליות לאחר הפרוטוקול, לאחר בקרה על ציון קו הבסיס. (C) הקשר בין משמעות חברתית-פרו-סוציאלית לבין כוונות פרו-סוציאליות לאחר הפרוטוקול. (D) הקשר בין השתתפות מילולית לבין כוונות פרו-סוציאליות לאחר הפרוטוקול. רצועות מוצלות בפאנלים B-D מציינות רווחי סמך של 95%. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

טבלה 1: מדדי תצפית בכיתה ברמת התלמיד וכללי קידוד. הטבלה מפרטת את ההגדרות האופרטיביות ואת קריטריוני הקידוד עבור קשב ממוקד-מטלה, השתתפות מילולית, שיתוף פעולה בין עמיתים, סיכום או שימוש במכשיר ממוקד-מטלה, הסחת דעת (off-task), ובקשת עזרה. חלון הקידוד של 70 min, מחזור סריקה של 20-s/רישום של 10-s, הליך סריקת צבירים, כלל חסר-נראות ונוסחת ה-OCEI מתוארים בסעיף הפרוטוקול. אנא לחצו כאן להורדת טבלה זו.

טבלה 2: מסגרת לניקוד ביטוי רפלקטיבי, דוגמאות לרמות ניקוד והגדרות למשתני אנליטיקה של למידה. הטבלה מפרטת את מחוון הניקוד עבור טקסטים רפלקטיביים, כולל דוגמאות לציונים 0, 1, 2 ו-3 עבור כל ממד רפלקטיבי, וההגדרות האופרטיביות עבור משתני אנליטיקה של למידה שהופקו. הרכיבים הרפלקטיביים כוללים ספציפיות תיאורית, עומק אנליטי, נטייה לוויסות עצמי, משמעות חברתית-פרוסוציאלית, ציון רפלקסיה כולל, מספר מילים וסטטוס הגשה. האנליטיקה של הלמידה כוללת ימים פעילים, צפיות במשאבים, שיעור המשאבים שהוקצו ונפתחו, תגובות שפורסמו בדיונים, שיעור השלמה ממוצע של סרטונים, עמידה בלוחות זמני הגשת מטלות ושיעור גישה בשעות הלילה המאוחרות. אנא לחצו כאן להורדת טבלה זו.

טבלה 3: מאפייני המשתתפים, זרימת ההכללה והשלמות של הנתונים. הטבלה מסכמת את זכאות המשתתפים, שיעורי ההסכמה, קריטריוני ההדרה, גודל המדגם הסופי ואת השלמות הנתונים בשלושת מקורות המידע. היא מדווחת על מאפיינים דמוגרפיים בבסיס לצד רשומות רפלקסיה צפויות, הגשות בזמן, הגשות מאוחרות, רפלקסיות חסרות וחילוצים מוצלחים של אנליטיקה של למידה. ערכים מוצגים כ-n (%) אלא אם צוין אחרת. עיגול מספרים עשוי להוביל לכך שהאחוזים לא יסכמו בדיוק ל-100%. בהתאם לפרוטוקול, רפלקסיות מאוחרות נשמרות בארכיון אך מוחרגות מניתוחי רפלקסיה ספציפיים לשבוע. חילוץ מלא של אנליטיקה של למידה מציין שליפה מוצלחת של רשומות אנונימיות מחלון המחקר לאחר הסרת חשבונות מרצים, רשומות כפולות ואירועים שחלה מחוץ לחלון הזמן. אנא לחצו כאן כדי להוריד טבלה זו.

טבלה 4: סטטיסטיקה תיאורית ומדדי מהימנות של משתני המחקר העיקריים. הטבלה מציגה ערכי ממוצע, סטיות תקן ומדדי מהימנות ספציפיים לשבוע עבור התנהגות בכיתה שנצפתה, ביטוי רפלקסיבי, אנליטיקה של למידה וכוונות פרו-סוציאליות. המהימנות של נתוני התצפיות בכיתה מוערכת באמצעות Cohen's kappa. מהימנות ניקוד הרפלקציה מוצגת כמקדמי מתאם תוך-מעמדיים (ICCs) עבור טקסטים שסומנו פעמיים. העקביות הפנימית של מדד הכוונות הפרו-סוציאליות מדווחת באמצעות Cronbach's α. משתני האנליטיקה של הלמידה חושבו על פני אותה תקופה של 4 שבועות ששימשה לתצפיות ולרפלקציות. אנא לחצו כאן להורדת טבלה זו.

טבלה 5: קשרים רב-משתנים בין מעורבות נצפית בכיתה, ביטוי רפלקטיבי, אנליטיקה של למידה וכוונות פרו-סוציאליות. הטבלה מפרטת את המודלים ההסקיים ששימשו בניתוחים העיקריים. מוצגים מנבאים רב-משתניים של הניקוד הכולל של הרפלקציה, מנבאים מתואמים של כוונות פרו-סוציאליות לאחר הפרוטוקול (בבקרת רמות הבסיס), וקשרים נבחרים שאינם מתואמים. ערכי β מייצגים מקדמי רגרסיה לא סטנדרטיים. כל המודלים הרב-משתניים מתואמים לפי קבוצת הכיתה. טעויות תקן (SE), רווחי סמך של 95% (CI) וערכי p מסופקים עבור כל ההערכות. אנא לחצו כאן כדי להוריד טבלה זו.

דיון

מחקר זה מציע פרוטוקול מעשי המשלב תצפית התנהגותית, כתיבה רפלקסיבית ואנליטיקה של למידה כדי לבחון באופן מקיף את השתתפותם של סטודנטים באוניברסיטה, את הביטוי העצמי שלהם ואת המודעות הפרוסוציאלית שלהם בתוך חלון הוראה יחיד. על ידי לכידה של ממדים שונים של מעורבות, גישה טרי-מודאלית זו נותנת מענה לביקורות אחרונות במחקר על השכלה גבוהה, הטוענות כי מדדי זמן-שימוש וניטור מבוסס חיישנים אינם מספיקים כאשר הם מוערכים בבידוד¹. במהלך הפרוטוקול שנמשך 4 שבועות, חלה רמה משמעותית של שיפור במעורבות גלויה בכיתה. באופן ספציפי, ההשתתפות המילולית ושיתוף הפעולה בין עמיתים עלו לצד הקשבה ממוקדת במטלה, בעוד שבקשת עזרה וכתיבת הערות ממוקדת-מטלה הראו שינוי מינימלי. תמורות התנהגותיות אלו מעידות שככל שהסטודנטים מסתגלים לסביבת ההוראה, מעורבותם מתפתחת להשתתפות אסטרטגית יותר, אינטראקטיבית חברתית ומכוונת תרומה¹⁶.

מנקודת מבט ממוקדת-שיטה, ערכו של הפרוטוקול תלוי ביישום ממושמע ולא בהשגת תוצאות חיוביות באופן אחיד. לפיכך, זרימת העבודה המעודכנת מדגישה נוסחת OCEI שנקבעה מראש, תצפית עצמאית, עיבוד תוכנה מתועד, דוגמאות למחוון (rubric), ספי רכיב אמינות וכללים מפורשים לנתונים חסרים. תוספות אלו נועדו להפוך את הפרוטוקול למשחזר במסגרות כיתתיות רגילות, שבהן רישומי הפלטפורמה, נוכחות התלמידים, נראות המצלמה ואיכות הרפלקסיה אינן מושלמות.

יש לפרש את הפרוטוקול כרגיש לפורמט. בקורסי הרצאות גדולים, צופים עשויים להזדקק לקבוצות מסתובבות קטנות יותר ולתקופת כיול ארוכה יותר; בשיעורים מקוונים, תצפיות התנהגותיות עשויות להסתמך על יומני אינטראקציה והשתתפות גלויה במקום על סריקת החדר; במעבדות, התנהגות הקשורה לבטיחות עשויה לדרוש אינדיקטור נוסף; ובכיתות מגוונות תרבותית, יש לבחון את הנחיות הרפלקסיה ואת פריטי הכוונה הפרו-סוציאלית כדי לוודא בהירות לשונית והתאמה תרבותית לפני השימוש.

כתיבה רפלקטיבית מספקת שכבה שנייה של תובנות לגבי דפוסי התנהגות אלו. ציוני הרפלקציה הכוללים הראו מגמה עקבית של עלייה לאורך הפרוטוקול, כאשר השיפורים הבולטים ביותר הופיעו בעומק האנליטי ובמשמעות חברתית-פרוסוציאלית. במקום להסתפק בתיאור אירועי הכיתה, התלמידים הפגינו יכולת גוברת לנתח סיטואציות הוראה מנקודת מבט רחבה ומודעת יותר מבחינה חברתית. ממצא זה עולה בקנה אחד עם תגליות אחרונות המראות כי משימות רפלקציה מובנות וחוזרות מעודדות הבניית משמעות מסדר גבוה ושיח מבוסס ידע, גם כאשר נפח הטקסט ברמה השטחית נותר קבוע יחסית⁹. כתוצאה מכך, כתיבה רפלקטיבית בחינוך גבוה נתפסת בצורה הטובה ביותר כמבנה רב-ממדי, שבו מיומנויות הקשורות לפרשנות, העברה והשלכה רגולטורית-עצמית מתפתחות בקצבים שונים לאורך זמן⁵.

השילוב של ניתוח למידה (learning analytics) מצדיק עוד יותר את הצורך בפרוטוקול רב-מקורות. פעולות מהותיות, כגון תגובות לדיונים ועמידה בלוחות הזמנים של הגשת מטלות, התגלו כאינדיקטורים למעורבות שהם אינפורמטיביים הרבה יותר מאשר נפח פעילות גולמי. לעומת זאת, גישה לפלטפורמה בשעות הלילה המאוחרות לא הראתה קשר משמעותי לאיכות הרפלקציה או לכוונות פרו-סוציאליות. ממצאים אלה תומכים במחקרים קודמים שהזהירו מפני הסתמכות יתר על מדדי תדירות פשוטים או על מדדי התחברות להערכת מעורבות סטודנטים⁴. התוצאות שלנו מצביעות על כך שסטודנטים המקיימים אינטראקציה בונה עם חומרי הקורס מפתחים יכולת רפלקציה חזקה יותר; עם זאת, פעילות בסיסית בפלטפורמה אינה משקפת באופן מושלם מעורבות נצפית בכיתה. החפיפה המתונה — ולא כפילות מוגזמת — בין תצפית, רפלקציה ואנליטיקה, מתקפת אפוא את השימוש באסטרטגיות מדידה מורכבות על פני הסקות עצמאיות ממקור יחיד¹⁷.

תרומה משנית של מחקר זה היא הרחבת התוצאים שנבחנו מעבר למדדי השתתפות סטנדרטיים. כוונות פרו-חברתיות הראו עלייה מדידה מהמבחן המקדים למבחן המסכם, כאשר הקשרים החזקים ביותר נצפו בקרב סטודנטים שניסחו תמות חברתיות-פרו-חברתיות ברפלקסיות שלהם ושמרו על פרופיל אינטראקציה נרחב. ממצא זה עולה בקנה אחד עם מחקרים עדכניים בחינוך הגבוה, הגורסים כי מאפיינים שיתופיים ומכווני-תרומה הם חלק בלתי נפרד מהאינטראקציות בכיתה ולא רק תופעות לוואי⁸. יתרה מכך, תוצאות אלו תומכות בתפיסת הכיתות כמערכות חברתיות מורכבות. כאשר סטודנטים מעריכים באופן פעיל את תרומתם היחסית לקהילת הלמידה, התנהגותם נוטה להשתנות מציות בסיסית לעבר מעורבות פרו-חברתית וקונסטרוקטיבית¹⁸.

מסקנות אלו מציעות תובנות יישומיות לעיצוב פדגוגי. הפרוטוקול המוצע אינו דורש חיישנים מיוחדים או מערכות ניטור פולשניות. באמצעות הסתמכות בלעדית על תצפיות מבוססות מרווחי זמן, רפלקסיות מובנות שבועיות ונתונים סטנדרטיים מפלטפורמת הקורס, שילוב זה מספק פתרון בר-ביצוע מאוד עבור סביבות הוראה לתואר ראשון, הדורשות ראיות פורמטיביות ושקופות למעורבות אך חסרות תשתית טכנולוגית מתקדמת. מסגרות פדגוגיות עדכניות המדגישות קהילות למידה והוראה מבוססת יצירת ערך מציעות כי מיצוב מחדש של סטודנטים כשותפים פעילים ליצירה, ולא כצרכנים פסיביים, מעניק משמעות רבה יותר להשתתפות בהשכלה גבוהה¹⁹. הממצא האמפירי שלנו, לפיו מדדים הקשורים לתרומה מקבצים באופן הדוק איכות הרפלקסיה וכוונות פרו-סוציאליות — הרבה יותר מאשר תעבורה פשוטה בפלטפורמה — תומך נחרצות במעבר פדגוגי זה.

יש להכיר במספר מגבלות. ראשית, מכיוון שהפרוטוקול תוכנן עבור מספר מוגבל של קבוצות לימוד, העברתו לסביבות מבוססות מעבדה, סביבות המבוססות על הרצאות, סביבות מקוונות אסינכרוניות מלאות או סביבות מגוונות תרבותית דורשת התאמה מתוכננת ובדיקות מהימנות חוזרות. שנית, כוונה פרו-חברתית נמדדת באמצעות דיווח עצמי ויש לפרש אותה ככוונה מדווחת ולא כאמת התנהגותית ישירה. שלישית, ניתוח נתוני למידה (learning analytics) לוכד פעילות המתווכת על ידי הפלטפורמה ועשוי להחמיץ הכנה לא מקוונת, תמיכה בלתי פורמלית בין עמיתים ולימודים בסיוע בינה מלאכותית שאינם מגולים. רביעית, חלון התצפית בן 4 השבועות יכול לזהות דפוסי יישום בטווח הקצר, אך עשוי שלא ללכוד מסלולי התפתחות ארוכים יותר. לבסוף, יש לפרש את הערכים המייצגים של 4 השבועות כראיות ליישום הספציפיות להקשר ולא כהערכות סיבתיות הניתנות להכללה²⁰.

מחקרים עתידיים צריכים להרחיב מסגרת זו בכמה כיוונים. שחזור הפרוטוקול על פני דיסציפלינות אקדמיות ושיטות הוראה מגוונות הוא שלב קריטי בהמשך. בנוסף, נדרשים מעקבים לאורך זמן (longitudinal follow-ups) כדי לקבוע האם פרקטיקות רפלקטיביות קצרות טווח אלו יוצרות עמדות פרו-סוציאליות מתמידות או יתרונות התנהגותיים ממושכים. מחקרים עוקבים יוכלו להשוות מסגרת תצפיתית זו למתודולוגיות חלופיות, כגון הערכת עמיתים, ניתוח תוצרים ברמת הקבוצה או ניתוח רצפי אירועים. עם זאת, במתכונתו הנוכחית, פרוטוקול זה מספק מנגנון תפעולי חסון לביצוע טריאנגולציה בין מה שהסטודנטים עושים בכיתה, האופן שבו הם מפרשים פעולות אלו בדיעבד, והאופן שבו הם ממקמים את עצמם חברתית בתוך סביבת הלמידה הרחבה יותר.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
גיליון קידוד לתצפית בכיתה	פנימי	ששה מדדי התנהגות בינאריים	קידוד מבוסס מרווחי זמן של קשב למשימה, השתתפות מילולית, שיתוף פעולה בין עמיתים, סיכום/שימוש במכשיר הממוקד במשימה, הסחת דעת מהמשימה ובקשת עזרה.
GraphPad Prism	Graphpad	גרסה 10.2.3	יצירת תרשימי זרימה, גרפי מגמות שבועיים, גרפי התפלגות ואיורי קשר.
מערכת ניהול למידה מוסדית / פלטפורמת קורס	האוניברסיטה המארחת	מערכת חשבונות LMS מוסדית קיימת	איסוף נתוני אנליטיקת למידה בעומ anonymity.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	יצירת תרשימי זרימה, גרפי מגמות שבועיים, גרפי התפלגות ואיורי קשר.
R	R Foundation		ggplot2 3.5.1
תוכנת גיליונות אלקטרוניים	Microsoft Corporation	Microsoft Excel 365 v2402	הזנת נתונים, ניקוי, בדיקות אנונימיות ומיזוג של מערכי נתוני תצפיות/רפלקסיה/אנליטיקה.
SPSS Statistics	IBM Corp	גרסה 26.0	תוכנה לניתוח סטטיסטי; סטטיסטיקה תיאורית, השוואות במדידות חוזרות, Cohen's kappa, ICC, Cronbach's alpha, מתאמים ומודלי רגרסיה.