Valutazione dell'impegno in aula, dell'espressione riflessiva e dell'intenzione prosociale degli studenti universitari mediante osservazione comportamentale e learning analytics

Sommario

Questo protocollo integra l'osservazione in aula, la scrittura riflessiva, la misurazione dell'intenzione prosociale e l'analisi didattica per valutare l'impegno comportamentale, l'espressione riflessiva e i risultati dell'apprendimento orientato al sociale negli studenti universitari durante un arco temporale di 4 settimane. Il protocollo specifica l'approvazione etica, il contenuto degli strumenti, il flusso di lavoro del software, la gestione dei dati mancanti, le procedure di risoluzione dei problemi e l'interpretazione di risultati rappresentativi, inclusi i vincoli osservati nell'implementazione.

Abstract

Per rispondere alla necessità di valutazioni multidimensionali del coinvolgimento degli studenti al di là delle metriche tradizionali, questo protocollo descrive un approccio strutturato per valutare l'impegno in aula, l'espressione riflessiva, l'attività di analisi dell'apprendimento e l'intenzione prosociale nei corsi universitari di primo livello. Il protocollo combina osservazione comportamentale basata su intervalli, scrittura riflessiva strutturata settimanale, registrazioni anonime del sistema di gestione dell'apprendimento e un questionario sull'intenzione prosociale somministrato prima e dopo. Le procedure riviste forniscono un modello riproducibile di codifica comportamentale, una rubrica per l'espressione riflessiva con esempi di punteggi, passaggi per la gestione del software e dei dati e indicazioni esplicite per la risoluzione dei problemi relativi a disaccordi tra osservatori, registrazioni della piattaforma mancanti, tassi bassi di consegna delle riflessioni, scarsa visibilità della telecamera, abbandono dei partecipanti e conoscenze preliminari non uniformi. Questo protocollo dovrebbe essere utilizzato quando i ricercatori necessitano di un metodo poco invasivo e riproducibile per combinare il comportamento in aula, l'interpretazione autopercepita degli studenti e l'attività di routine del sistema di gestione dell'apprendimento (LMS) durante l'insegnamento universitario. È meno adatto a corsi completamente asincroni privi di interazione osservabile, contesti che vietano l'osservazione indipendente o il collegamento dei dati, o studi che richiedono inferenze di tipo biometrico o sul riconoscimento delle emozioni. I risultati rappresentativi sono riportati a partire dall'applicazione empirica effettuata, dopo l'approvazione etica verificata, l'anonimizzazione dei dati del corso e la preparazione del repository.

Introduzione

La valutazione della partecipazione degli studenti nell'istruzione superiore richiede un approccio completo e basato su più fonti. Sebbene l'impegno degli studenti sia generalmente concepito come una costrutto multidimensionale che comprende comportamenti osservabili, sforzo cognitivo e interazione con l'ambiente, gli attuali approcci analitici si basano prevalentemente su dati di log superficiali, come la frequenza di accesso e le azioni registrate dal sistema¹. Questa eccessiva dipendenza rappresenta una sfida significativa per la ricerca applicata in contesti di aula. Le forme più importanti di partecipazione didattica—le interazioni dirette tra pari, la riflessione cognitiva e i contributi sociali—si verificano spesso interamente al di fuori dell'ambito limitato di visibilità della piattaforma².

La complessità dell'aula universitaria moderna si è intensificata con l'adozione di modelli pedagogici ibridi, che combinano piattaforme digitali con l'insegnamento tradizionale in presenza. Sebbene le revisioni sistematiche sull'analisi dell'apprendimento confermino che le tracce digitali offrono informazioni preziose riguardo all'allocazione del tempo, ai modelli di accesso e ai tassi di ritenzione a lungo termine, da sole queste metriche non possono determinare se l'attenzione dell'apprendente sia effettivamente efficiente o significativa³. Di conseguenza, le ricerche recenti sostengono la necessità di fondare l'analisi dell'apprendimento su quadri teorici più solidi, allineando le tracce digitali a misurazioni più ricche e dipendenti dal contesto della partecipazione, come il comportamento in aula e le attività riflessive⁴.

La scrittura riflessiva fornisce una dimensione qualitativa fondamentale a questa valutazione. Riflessioni strutturate successive alla lezione e diari registrano le interpretazioni degli studenti riguardo alle attività di apprendimento, chiariscono le difficoltà didattiche e collegano i contenuti teorici con le successive azioni pratiche. Evidenze empiriche recenti concettualizzano l'espressione riflessiva come una costruzione integrata e multicomponente, costituita da richiamo descrittivo, inferenza analitica, rappresentazione autoriferita e generalizzazione del significato⁵. Inoltre, studi indicano che fornire agli studenti un'assistenza riflessiva ripetuta rafforza gradualmente la loro capacità di introspezione; all'aumentare della frequenza delle riflessioni strutturate durante il corso, migliorano contemporaneamente le competenze esplorative autonome degli studenti⁶.

Un secondo limite significativo della ricerca attuale sull'engagement è la frequente marginalizzazione della socializzazione in aula. Mentre gli studi esistenti enfatizzano fortemente il comportamento o la cognizione individuale, le aule universitarie funzionano come ambienti di apprendimento intrinsecamente sociali, in cui gli studenti si influenzano reciprocamente attraverso la collaborazione e interazioni reciproche. Evidenze emergenti dimostrano che il clima in aula e le strutture di partecipazione sono fortemente correlate a comportamenti prosociali e a una mentalità orientata al contributo—esiti che rimangono sottoinvestigati rispetto a metriche tradizionali della performance accademica o della soddisfazione degli studenti. Il comportamento prosociale negli ambienti accademici non è semplicemente un sottoprodotto di stati emotivi o di stress; piuttosto, è strettamente legato al modo in cui gli studenti si posizionano all'interno delle attività di apprendimento collettivo⁷. Pertanto, misurare l'intenzione prosociale rappresenta una lente adeguata per determinare se l'engagement in aula vada oltre il semplice completamento di compiti isolati, favorendo comportamenti cooperativi e incoraggianti anche al di fuori dell'ambiente didattico immediato⁸.

Questi sviluppi concettuali sottolineano la necessità di un quadro integrato per la raccolta di evidenze, implementato all'interno di un singolo arco temporale didattico. Un disegno basato su più fonti attenua i limiti derivanti dall'uso di una singola metrica, permettendo la validazione incrociata tra diversi modi di partecipazione e rivelando come gli studenti interpretino le proprie attività post-lezione al fine di promuovere l'apprendimento autonomo⁹. Mentre le valutazioni riflessive catturano lo stato cognitivo interno dell'apprendente, l'ancoraggio di queste autovalutazioni a tracce comportamentali oggettive migliora significativamente l'interpretabilità dei dati sull'apprendimento. Attualmente, mancano protocolli pratici, pronti per l'uso in aula, che integrino in modo fluido l'osservazione sistematica del comportamento, la rendicontazione riflessiva strutturata e gli strumenti di analisi dell'apprendimento per un'implementazione routinaria nelle università.

Per affrontare queste carenze metodologiche, questo articolo presenta un protocollo di valutazione progettato per misurare contemporaneamente l'impegno in classe, l'espressione riflessiva e l'intenzione prosociale degli studenti universitari. Sviluppato specificamente per contesti universitari di primo livello, il protocollo offre una metodologia semplificata che richiede un carico amministrativo minimo senza compromettere la riproducibilità scientifica. Colmando il divario analitico tra comportamenti osservabili, esperienze soggettive espresse e risultati di apprendimento orientati al sociale, questo quadro concettuale risponde alla crescente richiesta di maggiore chiarezza concettuale nella ricerca sulle interazioni uomo-tecnologia negli ambienti educativi¹⁰.

Protocollo

Tutti i metodi che coinvolgevano partecipanti umani sono stati eseguiti nel rispetto della Dichiarazione di Helsinki e delle pertinenti linee guida istituzionali. Per lo studio condotto, il protocollo è stato approvato dal Comitato Etico dell'Istituto di Tecnologia di Nanchang prima dell'inizio del reclutamento (numero di approvazione: NITE778291). Da ogni studente partecipante è stato ottenuto un consenso informato scritto. Per l'analisi sono stati utilizzati esclusivamente dati aggregati anonimizzati provenienti dall'osservazione in aula, dai punteggi di riflessione, dall'analisi dell'apprendimento e dai questionari; sono stati esclusi dalla pubblicazione video delle lezioni identificabili, nomi, codici identificativi istituzionali e testi di riflessione non redatti.

1. Progettazione dello studio e selezione dei partecipanti

1. Applicare il protocollo per quattro periodi didattici consecutivi per ciascuna sezione di classe selezionata. Registrare etichette del corso anonimizzate, formato didattico, dimensione della classe, esperienza dell'insegnante con il corso e se ogni classe include lezioni frontali, lavoro di gruppo o esercitazione individuale. Prevedere un numero iniziale di iscritti compreso tra circa 180 e 210 studenti universitari di età pari o superiore a 18 anni, oppure adattare l'obiettivo della numerosità campionaria al contesto del corso.
2. Assicurarsi che tutti i partecipanti dispongano di un account istituzionale attivo per la piattaforma del corso, che parteciperanno alle lezioni osservate e che abbiano ricevuto le indicazioni preliminari normalmente fornite alla classe. Quando le conoscenze preliminari variano notevolmente, fornire un breve materiale di raccordo, un elenco di risorse pre-lezione o una revisione guidata dall'insegnante prima dell'intervallo di osservazione e registrare il supporto fornito come metadati contestuali.
3. Ottenere il consenso informato scritto da tutti gli studenti dopo aver fornito un foglio informativo scritto completo. Dichiarare chiaramente nel modulo di consenso che lo studio collega l'osservazione del comportamento in aula, la scrittura riflessiva settimanale e i registri anonimizzati della piattaforma di apprendimento.
4. Inserire nel dataset di ricerca solo gli studenti che hanno prestato consenso. Garantire che il rifiuto di partecipare non influisca sulla frequenza, sui voti, sull'accesso al corso o sulla comunicazione con l'insegnante.
   1. Spiegare prima del primo compito di riflessione quali sono gli utilizzi consentiti e vietati degli strumenti di intelligenza artificiale (AI).
      NOTA: gli strumenti di intelligenza artificiale possono essere utilizzati solo quando consentiti dalla politica del corso e unicamente a supporto generale dello studio; le consegne riflessive e le risposte relative all'intenzione prosociale devono descrivere l'esperienza personale dello studente e devono dichiarare qualsiasi eventuale aiuto fornito dall'AI.
   2. Se l'insegnante consente l'uso di strumenti di intelligenza artificiale per colmare le lacune nelle conoscenze preliminari, fornire a tutti gli studenti gli stessi prompt o risorse approvati e registrare tale supporto come adattamento del protocollo. Non utilizzare riassunti generati dall'AI come prova principale della riflessione dello studente, a meno che lo studio di validazione non valuti esplicitamente le risposte assistite dall'AI.
5. Escludere dagli studenti prima dell'analisi coloro che rifiutano il consenso, si ritirano dal corso durante il periodo del protocollo o non dispongono di dati corrispondenti tra osservazione, riflessione e registri analitici. Adottare un disegno sperimentale a misure ripetute per raccogliere dati coerenti da tre fonti distinte nel corso di un periodo di 4 settimane².

2. Acquisizione dei dati di base e gestione dell'identità

1. Designare un singolo amministratore dei dati incaricato di assegnare a ciascun partecipante che ha prestato consenso un codice alfanumerico di otto caratteri mediante un processo pseudo-casuale.
2. Creare un file di collegamento tra identità e codice dello studio contenente i nomi degli studenti, i codici istituzionali, le sezioni di classe e i numeri di studio. Conservare questo file in modo sicuro e separato rispetto ai file analitici, garantendo che rimanga completamente inaccessibile a osservatori, codificatori delle riflessioni e ricercatori.
3. Distruggere o archiviare questo file di collegamento dopo la verifica finale dei dati, in conformità con la politica istituzionale approvata sulla conservazione dei dati, mantenendo al contempo la conformità con le attuali pratiche del settore dell'istruzione superiore relative all'analisi dell'apprendimento riguardo al collegamento limitato e alla de-identificazione¹.
4. Raccogliere dati demografici di base sull'età, il genere, l'anno accademico e la specializzazione dei partecipanti durante la settimana iniziale precedente alla prima lezione osservata.
5. Utilizzare il questionario strutturato composto da sei domande sull'intenzione prosociale riportato nel File Supplementare 1 come strumento di riferimento prima della prima lezione osservata. Somministrarlo in forma elettronica tramite il sistema di gestione dell'apprendimento (LMS) o su carta, utilizzando esclusivamente il codice di studio assegnato. Gli studenti esprimono il proprio grado di accordo su una scala a 5 punti, da 1 = fortemente in disaccordo a 5 = fortemente d'accordo; calcolare il punteggio iniziale come media degli elementi completati, qualora siano stati risposti almeno cinque dei sei elementi.
6. Esportare tutti i testi riflessivi raccolti successivamente senza nomi, indirizzi e-mail o altri identificatori personali, per garantire l'anonimato completo prima dell'inizio del processo di codifica qualitativa.

3. Preparazione all'osservazione in aula

1. Pianificare osservazioni per ogni sezione della classe una volta a settimana per 4 settimane consecutive. Per una lezione standard della durata di 90 minuti, definire una finestra osservata di 70 minuti escludendo i primi 10 minuti e gli ultimi 10 minuti dalla codifica⁵.
2. Iniziare la codifica al minuto 10^o e terminare al minuto 80^o di una lezione standard della durata di 90 minuti. Questi periodi di buffer non fanno parte della finestra di osservazione di 70 minuti; pertanto, una lezione standard fornisce 70 minuti di osservazione codificata anziché una sessione di 30 minuti.
3. Escludere dal giudizio finale qualsiasi blocco didattico interrotto qualora la lezione subisca un'interruzione di durata superiore ai 5 minuti a causa di allarmi, cambi di aula o malfunzionamenti della piattaforma.
4. Considerare l'impegno in classe come una composizione osservabile di più comportamenti, registrando simultaneamente diversi indicatori comportamentali in ciascun punto di misurazione¹¹. Gli indicatori comprendono l'attenzione al compito, la partecipazione verbale, la collaborazione tra pari, la presa di appunti o l'uso di dispositivi orientati al compito, le distrazioni fuori compito e il ricorso a richieste di aiuto.
5. Organizzare la disposizione dei posti in aula per gruppi prima della prima osservazione e mantenere rigorosamente questa configurazione per l'intero periodo di 4 settimane.
6. Posizionare due osservatori esperti in punti fissi con visibilità completa dell'aula, in modo da codificare in modo indipendente. Se consentito dall'istituto e previo consenso dei partecipanti, installare due telecamere fisse nelle zone posteriore-centrale e laterale-posteriore e sincronizzarle prima della sessione.
7. Utilizzare le registrazioni video esclusivamente per la formazione degli osservatori, la verifica dell'affidabilità e la risoluzione di problemi legati alla visibilità; non usare le registrazioni video come fonte principale per la codifica e non effettuare analisi di emozioni facciali, emozioni vocali, dati biometrici o riconoscimento dell'identità.

Codifica comportamentale basata su intervalli

1. Dividere la finestra di osservazione di 70 minuti in intervalli consecutivi costituiti da una scansione visiva di 20 s seguita da un periodo di registrazione di 10 s. Se una lezione frontale, un laboratorio o una classe online richiedono una lunghezza d'intervallo diversa, riportare la struttura d'intervallo adattata e giustificarla prima dell'inizio della raccolta dati.
   NOTA: Questa struttura 20 s/10 s bilancia l'osservazione ecologica in aula con il carico di lavoro del codificatore: il periodo di scansione è sufficientemente lungo da rilevare attenzione sostenuta, collaborazione e comportamenti fuori compito, mentre il periodo di registrazione riduce il carico mnemonico e favorisce decisioni binarie coerenti.
2. Scansionare un gruppo chiaramente definito di massimo dieci studenti per intervallo in un ciclo continuo basato sulla disposizione dei posti a sedere.
3. Utilizzare criteri specifici di scansione per prevenire incongruenze tra codificatori causate da definizioni operative poco precise⁴. Codificare sei indicatori binari a livello studentesco durante ogni scansione. Questi includono attenzione al compito, partecipazione verbale, collaborazione tra pari, appunti o uso di dispositivi orientati al compito, distrazione fuori compito e comportamento di richiesta di aiuto.
4. Contrassegnare un indicatore come "1" se il comportamento designato si verifica in qualsiasi momento durante la scansione di 20 s. In caso contrario, contrassegnarlo come "0". Codificare l'intervallo come mancante se uno studente non è visibile per almeno 10 s della scansione.
5. Registrare l'attenzione al compito quando uno studente orienta lo sguardo verso l'insegnante, i compiti assegnati, le informazioni presentate o i compagni impegnati in discussioni relative al compito per almeno 5 secondi consecutivi. Codificare la partecipazione verbale per qualsiasi contributo udibile e pertinente al compito.
6. Codificare la collaborazione tra pari quando gli studenti partecipano a scambi visibili basati sul compito, a risoluzione congiunta di problemi o a spiegazioni reciproche. Registrare appunti o uso di dispositivi orientati al compito per scrittura attiva, digitazione o interazione digitale con il materiale didattico.
7. Contrassegnare la distrazione fuori compito se uno studente partecipa a conversazioni non correlate, uso non accademico di dispositivi o disimpegno prolungato per almeno 5 secondi consecutivi. Registrare la richiesta di aiuto quando uno studente chiede esplicitamente chiarimenti o assistenza all'insegnante o ai compagni.
8. Calcolare il punteggio comportamentale settimanile per ogni studente come il numero totale di giudizi positivi diviso per tutte le valutazioni valide. Calcolare successivamente le medie su 4 settimane per tutti e sei gli indicatori.
9. Calcolare un indice combinato di coinvolgimento osservato in aula (OCEI) per lo studente i nella settimana w utilizzando il modello matematico predeterminato: OCEI_iw = [Attenzione al compito_iw + Partecipazione verbale_iw + Collaborazione tra pari_iw + Appunti o uso di dispositivi orientati al compito_iw + (1 - Distrazione fuori compito_iw)]/5.
10. Mantenere la richiesta di aiuto come variabile analitica indipendente poiché può rappresentare sia una richiesta costruttiva di chiarimento sia una difficoltà con il contenuto didattico, a seconda del contesto¹². Fare riferimento a Figura 1 per il flusso dello studio e a Tabella 1 per gli indici di osservazione e le regole di codifica.

5. Formazione dell'osservatore e valutazione dell'affidabilità

1. Eseguire una formazione per gli osservatori mediante una sessione di addestramento manuale della durata di 60 minuti ed effettuare tre turni di calibrazione prima dell'inizio del programma formale.
2. Effettuare il primo turno di calibrazione utilizzando la codifica guidata di un video di aula non relativo allo studio. Completare i due turni successivi come codifiche indipendenti di video diversi non relativi allo studio, seguite da confronti statistici diretti con il codificatore senior.
3. Iniziare la raccolta formale dei dati solo quando il valore di Kappa di Cohen raggiunge o supera 0,75 e l'accordo totale tra valutatori supera l'85%.
4. Applicare una verifica della deriva a doppio cieco sul 10% delle sessioni complete e su un segmento randomizzato di 10 minuti delle sessioni rimanenti durante l'intero protocollo della durata di 4 settimane.
5. Ricalibrare il team di codifica entro 72 ore e rieseguire la verifica delle sessioni interessate prima del blocco dei dati qualora il valore di Kappa scenda al di sotto di 0,70 per qualsiasi indicatore. Fornire continuamente feedback ed organizzare esercitazioni di calibrazione per mantenere stabile nel tempo l'affidabilità della valutazione¹³.

6. Raccolta e valutazione dell'espressione riflessiva

1. Chiedere agli studenti di consegnare un testo riflessivo strutturato (da 100 a 350 parole) per ogni lezione osservata, producendo 4 contributi per partecipante nell'arco del protocollo di 4 settimane.
2. Rendere disponibili i quesiti per la riflessione tramite LMS o modulo cartaceo entro 2 ore dalla lezione osservata, chiudendo la finestra di consegna 72 ore dopo. Il modulo deve mostrare il campo dell'ID dello studio e i seguenti tre quesiti nello stesso ordine per tutti gli studenti:
   1. Indicare i momenti in cui si sono sentiti maggiormente e minormente coinvolti durante la lezione.
   2. Spiegare le cause contestuali, incluse la difficoltà del compito, le conoscenze pregresse, l'interazione di gruppo, la spiegazione dell'insegnante o l'uso della piattaforma.
   3. Descrivere in che modo la loro partecipazione ha influenzato l'atmosfera in classe e quali azioni future intendono intraprendere.
      NOTA: Conservare i contributi inferiori a 100 parole, ma contrassegnarli nel database come a basso contenuto informativo. Contrassegnare anche i contributi che omettono il quesito sul coinvolgimento, sulle cause contestuali o sull'azione futura/impatto sociale, poiché tali omissioni influiscono sulla valutazione della qualità della riflessione e sulla segnalazione della fattibilità.
3. Assegnare due valutatori anonimi per esaminare i contributi secondo specificità descrittiva, profondità analitica, orientamento all'autoregolazione e significato sociale-prosociale.
   1. Valutare ogni dimensione utilizzando una scala a 4 punti in cui 0 indica assenza, 1 indica evidenza debole o vaga, 2 indica evidenza chiara ma limitata e 3 indica evidenza forte ed elaborata. Ad esempio, la profondità analitica viene assegnata con punteggio 0 quando non viene fornita alcuna motivazione, 1 quando lo studente afferma soltanto che l'attività era difficile, 2 quando lo studente collega la difficoltà a un concetto specifico o a una condizione in aula e 3 quando lo studente spiega l'interazione tra conoscenze pregresse, discussione tra pari, feedback dell'insegnante e una strategia di apprendimento pianificata. Tabella 2 e File Supplementare 1 forniscono esempi di livello di punteggio per tutte e quattro le dimensioni riflessive.
4. Avviare la valutazione formale solo dopo aver ottenuto un coefficiente di correlazione intraclasse di almeno 0,80 per ciascuna dimensione sui testi pilota¹⁴.
5. Rivalutare casualmente il 15% delle riflessioni dello studio durante il protocollo per controllare eventuali deriva nei giudizi dei valutatori. Valutare i testi riflessivi sulla base di queste metriche qualitative multidimensionali, piuttosto che basarsi esclusivamente sulla lunghezza del testo o sulla frequenza delle parole.
6. Sviluppare o adattare la griglia di valutazione dell'espressione riflessiva attraverso una revisione da parte di almeno due ricercatori nel campo dell'educazione e di un docente del corso. Sottoporre a prova la griglia su 20-30 riflessioni non appartenenti allo studio, rivedere i descrittori ambigui e documentare la versione finale della griglia prima dell'inizio della codifica formale.
7. Somministrare il questionario sull'intenzione prosociale riportato nel File Supplementare 1. Chiedere agli studenti di esprimere il grado di disponibilità ad aiutare i compagni in difficoltà, condividere risorse per l'apprendimento, contribuire in modo costruttivo alle discussioni, incoraggiare i pari, agire con equità durante i compiti di gruppo e migliorare il clima di apprendimento in classe. Utilizzare una scala a 5 punti che va da 1 (in totale disaccordo) a 5 (in totale accordo). Calcolare il punteggio medio quando almeno cinque dei sei elementi sono completati e riportare l'alfa di Cronbach per le somministrazioni iniziale e finale del protocollo.

Estrazione di analisi sull'apprendimento

1. Assegnare un amministratore esterno per estrarre i dati di analisi dell'apprendimento dopo la Settimana 4 per evitare qualsiasi contaminazione dei processi di osservazione e riflessione.
2. Impostare la finestra di estrazione dalle 00:00 del giorno della prima lezione osservata alle 23:59 dell'ultimo giorno della finestra finale di riflessione.
3. Estrarre soltanto le variabili predeterminate necessarie per il protocollo. Registrare il numero di giorni attivi sulla piattaforma, le visualizzazioni distinte di risorse, la proporzione di risorse assegnate aperte, la quantità di risposte nei forum di discussione pubblicate, la media del tasso di completamento dei video e la puntualità nella consegna dei compiti.
4. Pulire le esportazioni grezze rimuovendo gli account degli insegnanti e degli assistenti didattici, i record duplicati, gli eventi di prova e i punti dati al di fuori dell'intervallo temporale stabilito.
5. Definire un giorno attivo come qualsiasi data del calendario contenente almeno un accesso autenticato al corso seguito da un'interazione significativa, come l'apertura di file, la visione di video o la pubblicazione di risposte.
6. Contare le aperture uniche delle risorse ignorando i ricaricamenti duplicati che si verificano entro un intervallo di 60 s. Determinare il tasso di completamento dei video troncando la frazione visualizzata rispetto al tempo programmato alle 01:00, quindi calcolando la media su tutti gli elementi multimediali assegnati.
7. Calcolare la puntualità nella consegna dei compiti in base alla proporzione di attività consegnate prima delle scadenze programmate. Calcolare la proporzione di accessi notturni come rapporto tra gli eventi significativi verificatisi tra le 00:00 e le 06:00 e il numero totale di attività significative nel periodo di osservazione. Fare affidamento su queste metriche basate sul tempo e sul contributo per ottenere informazioni più ricche rispetto alla semplice accumulazione di log¹⁵.
8. Utilizzare un flusso di lavoro predeterminato per la gestione dei dati provenienti dall'esportazione del sistema di gestione dell'apprendimento. Salvare l'esportazione originale come file di sola lettura, creare una copia di lavoro anonimizzata, rimuovere gli account degli insegnanti e degli assistenti didattici, eliminare eventi duplicati o di prova e conservare un registro di elaborazione con il conteggio delle righe dopo ogni passaggio di pulizia.
9. Eseguire la pulizia dei dati in un foglio elettronico o successivamente e l'analisi statistica in R versione 4.4.0 o successiva, o software equivalente.
   1. In un foglio elettronico, seguire i passaggi descritti nei punti 7.9.1.1–7.9.1.2.
      1. Importare i file CSV anonimizzati utilizzando Dati > Ottieni dati > Da testo/CSV e utilizzare Dati > Rimuovi duplicati per eliminare le righe duplicate di ID studio/ora/evento.
      2. Applicare il Filtro per escludere gli account degli insegnanti o degli assistenti didattici e i record fuori finestra, e salvare un registro di elaborazione con il conteggio delle righe dopo ogni passaggio.
   2. In R, seguire i passaggi descritti nei punti 7.9.2.1–7.9.2.3.
      1. Importare i file con readr::read_csv(), ristrutturare i record settimanali con dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() e tidyr::pivot_wider().
      2. Calcolare il kappa di Cohen con irr::kappa2(), i coefficienti di correlazione intraclasse (ICC) con psych::ICC() e l'alfa di Cronbach con psych::alpha().
      3. Adattare modelli lineari corretti per sezione con stats::lm(); utilizzare lme4::lmer() quando è richiesto un effetto casuale dell'intercetta per sezione di classe predeterminata e utilizzare lme4::glmer(family = binomial) soltanto per esiti binari. Archiviare lo script esatto e le versioni dei pacchetti insieme ai materiali di sottomissione.
10. Utilizzare la seguente sequenza di analisi riproducibile.
    1. Calcolare le proporzioni di osservazione per studente-settimana, calcolare l'OCEI utilizzando la formula del punto 4.9 e unire i punteggi di riflessione settimanali per ID studio e settimana.
    2. Raggruppare le variabili di analisi dell'apprendimento nell'identica finestra di 4 settimane, esaminare la mancanza di dati per fonte, calcolare statistiche descrittive e stime di affidabilità e adattare i modelli di associazione predeterminati.
    3. Non aggiungere predittori non pianificati dopo aver esaminato i risultati, a meno che non siano etichettati come esplorativi.
11. (Facoltativo) Per garantire trasparenza, depositare uno script di analisi anonimizzato, un codebook, moduli di codifica vuoti, tracce di riflessione, rubrica di valutazione delle riflessioni e questionario prosociale nel repository pubblico o nei materiali supplementari. Non depositare video grezzi identificabili delle lezioni, nomi, ID istituzionali o testi di riflessione non censurati.

8. Misurazione post-protocollo e integrazione del set di dati

1. Somministrare nuovamente lo strumento per l'intenzione prosociale immediatamente dopo la conclusione dell'ultima finestra di riflessione.
2. Chiedere agli studenti di valutare la propria disponibilità ad aiutare i compagni di classe, condividere risorse, contribuire in modo costruttivo alle discussioni, incoraggiare i pari, agire con equità e migliorare il clima di apprendimento su una scala compresa tra 1 (totalmente in disaccordo) e 5 (totalmente d'accordo). Calcolare il punteggio totale post-protocollo di ciascun individuo facendo la media delle risposte, a condizione che abbiano risposto ad almeno cinque dei sei elementi.
3. Unire i file delle osservazioni, i punteggi di riflessione e i record delle analisi di apprendimento utilizzando l'ID dello studio anonimizzato. Costruire due dataset finali da questa unione per creare un file principale a livello di partecipante e un file in formato lungo a livello settimanale.
4. Non imputare gli intervalli di osservazione mancanti causati dall'invisibilità dello studente, né le riflessioni settimanali mancanti dovute alla mancata consegna. Contrassegnare le riflessioni parzialmente completate, le variabili di analisi di apprendimento incomplete, le riflessioni con scarso contenuto informativo e gli ID di studio non abbinati prima dell'analisi.
5. Utilizzare l'analisi dei casi completi per modelli di associazione predeterminati, riportare il numero di casi esclusi per ciascun modello ed effettuare un controllo di sensibilità confrontando studenti inclusi ed esclusi in base alle variabili di base disponibili.
6. Mantenere l'intenzione prosociale come misura primaria dell'esito, al fine di riflettere gli atteggiamenti di sostegno e collaborazione che sottendono i cambiamenti strutturali nella partecipazione degli studenti universitari.

9. Risoluzione dei problemi e adattamenti del protocollo

1. Se due osservatori non concordano per più di una categoria binaria nello stesso gruppo di studenti o se il kappa di Cohen scende al di sotto di 0,70 per un qualsiasi indicatore, sospendere la valutazione formale per la sessione interessata, rivedere le definizioni operative, completare un segmento di ricalibrazione della durata di 10 minuti e ricodificare l'intervallo interessato prima del blocco dei dati.
2. Se le esportazioni della piattaforma sono incomplete, documentare il campo mancante, richiedere una seconda esportazione all'amministratore esterno e mantenere lo studente nei riassunti di osservazione/riflessione, escludendo tuttavia la variabile analitica non disponibile dai modelli che richiedono tale campo.
3. Se meno dell'80% delle riflessioni previste viene consegnato entro 48 ore dall'apertura del compito, inviare un promemoria neutro all'intera classe, estendere il supporto tecnico per eventuali problemi di accesso e riportare separatamente i conteggi finali delle consegne tempestive, in ritardo e mancanti.
4. Se più del 10% degli studenti in un gruppo non è visibile per almeno metà della finestra di scansione, codificare gli intervalli interessati come mancanti e fare affidamento sui registri dell'osservatore in tempo reale piuttosto che tentare di inferire il comportamento da video ostruiti.
5. Se uno studente si ritira, rifiuta ulteriore partecipazione o non dispone di dati collegabili tra le diverse fonti, rimuovere tale studente dai modelli di associazione collegati, ma mantenere i conteggi aggregati sulla fattibilità del protocollo quando consentito dall'approvazione etica.
6. Se più studenti segnalano che una sezione è difficile da comprendere, l'insegnante deve fornire la normale risposta pedagogica, come una breve ripetizione della spiegazione, un esempio svolto, una discussione tra pari o una risorsa di approfondimento. Registrare questo evento come un fatto contestuale poiché può influenzare la richiesta di aiuto, la profondità della riflessione e l'attività sulla piattaforma.
7. Adattare la dimensione del gruppo di studenti, la lunghezza degli intervalli, i solleciti alla riflessione e le variabili analitiche al formato didattico, mantenendo tuttavia la stessa logica relativa agli indicatori comportamentali predeterminati, ai registri anonimizzati, alla codifica indipendente e alle regole trasparenti per i dati mancanti.
8. Considerare la bassa affidabilità, l'elevata percentuale di dati mancanti, la limitata profondità della riflessione, il debole cambiamento prosociale e il debole accordo tra i flussi di dati come risultati informativi dell'implementazione piuttosto che come fallimenti del protocollo. Riportare tali risultati e spiegare se essi riflettono il contesto della classe, limitazioni degli strumenti o problemi di acquisizione dei dati.

Risultati

Inclusione dei partecipanti, completezza dei dati e affidabilità dei punteggi
Un gruppo iniziale di 204 studenti, provenienti da tutte le sezioni del corso, è stato invitato a partecipare, ottenendo il consenso di 198 individui. Successivamente, 14 casi sono stati esclusi a causa dell'abbandono del corso durante il periodo del protocollo o per mancanza di collegamento completo dei dati tra le osservazioni, le riflessioni e i registri della piattaforma. Di conseguenza, il campione finale per l'analisi ha incluso 184 studenti. Le caratteristiche dei partecipanti, i tassi settimanali di completamento e la completezza complessiva dei dati sono riportati nella Tabella 3.

Durante il programma della durata di 4 settimane, sono state osservate 24 sessioni di classe, generando un registro sincronizzato di analisi dell'apprendimento per ogni partecipante. Dei 736 resoconti riflessivi previsti, 701 sono stati consegnati entro la finestra di 72 ore, 18 sono stati consegnati in ritardo e 17 risultavano mancanti. Alla fine, 171 studenti hanno completato con successo tutte le riflessioni settimanali in tempo utile. Le analisi dell'apprendimento sono state completamente estratte per gli ultimi 184 partecipanti, dopo aver filtrato gli account degli istruttori, le voci duplicate e le attività al di fuori della finestra temporale.

La codifica osservazionale è rimasta altamente stabile per tutto il periodo del protocollo. L'affidabilità inter-valutatore per i sei indici comportamentali dell'osservazione in aula ha mostrato valori di kappa di Cohen compresi tra 0,76 e 0,84, con un accordo complessivo durante i test di deriva superiore all'86%. Per i punteggi delle espressioni riflessive, i coefficienti di correlazione intraclasse (ICC) nelle quattro dimensioni sono variati tra 0,82 e 0,89. Tabella 4 presenta le statistiche descrittive e gli indici di affidabilità delle variabili principali dello studio.

Osservazione del comportamento in classe
I comportamenti osservati in classe hanno mostrato un miglioramento graduale durante il protocollo della durata di 4 settimane. Come illustrato nella Figura 2, l'attenzione al compito, la partecipazione verbale e la collaborazione tra pari erano significativamente più elevati alla quarta settimana rispetto alle settimane iniziali. In particolare, la partecipazione verbale è aumentata da 0,18 ± 0,09 nella prima settimana a 0,24 ± 0,10 alla quarta settimana (p < 0,05). La collaborazione tra pari è aumentata in modo analogo da 0,29 ± 0,11 a 0,35 ± 0,12 (p = 0,006). L'attenzione al compito ha mostrato un miglioramento altamente significativo, passando da 0,71 ± 0,12 a 0,76 ± 0,11 (p < 0,001).

Al contrario, la presa di appunti orientata al compito o l'uso di dispositivi ha mostrato aumenti settimanali marginali che non hanno raggiunto la significatività statistica (p = 0.08). Il comportamento di richiesta di aiuto è rimasto costantemente basso per tutto il periodo di osservazione, senza mostrare un effetto significativo nel tempo (p = 0.21). Le distrazioni fuori compito sono diminuite significativamente da 0,14 ± 0,08 nella settimana 1 a 0,11 ± 0,07 nella settimana 4 (p = 0,03). Complessivamente, l'Indice Composito di Impegno in Classe Osservato è aumentato significativamente da 0,52 ± 0,10 durante la prima settimana a 0,58 ± 0,11 nell'ultima settimana (p < 0,001).

Espressioni riflessive durante il protocollo di 4 settimane
Le espressioni riflessive sono evolute nel corso del periodo di studio, anche se l'entità del cambiamento ha mostrato variazioni tra le sue sottodimensioni. Come mostrato in Figura 3, il punteggio totale della riflessione è aumentato da 7,2 ± 1,9 alla settimana 1 alla settimana 4 (p < 0,001).

La profondità analitica è risultata notevolmente maggiore alla fine della Settimana 4 rispetto alle prime due settimane (p < 0,001). Analogamente, il significato sociale-prosociale è aumentato da 1,08 ± 0,55 a 1,54 ± 0,60 (p < 0,001), e l'orientamento autorregolativo è cresciuto da 1,42 ± 0,63 a 1,69 ± 0,65 (p < 0,05). Al contrario, la specificità descrittiva ha mostrato un lieve aumento, da 2,14 ± 0,57 a 2,24 ± 0,55, che non è risultato statisticamente significativo (p = 0,09).

Le consegne hanno avuto una media compresa tra 223 e 231 parole per voce lungo tutto il protocollo. Dei 736 resoconti riflessivi previsti, 18 sono stati consegnati in ritardo e 17 sono risultati mancanti; le voci con informazioni ridotte e le risposte che omettevano il contesto causale o la domanda relativa all'azione futura/impatto sociale sono state segnalate nel database. Questi casi sono stati mantenuti come indicatori di fattibilità ed esclusi soltanto dai modelli specifici per la qualità delle riflessioni settimanali quando non è stato possibile assegnare il punteggio pertinente.

Schemi di analisi dell'apprendimento durante la finestra di studio
Le metriche relative all'attività sulla piattaforma hanno mostrato una notevole varianza interindividuale nel corso della finestra di 4 settimane, come illustrato in Figura 4.

Nell'intero periodo, gli studenti hanno registrato in media 9,7 ± 2,4 giorni attivi sulla piattaforma. Il numero medio di visualizzazioni di risorse distinte è stato di 27,3 ± 8,6, con gli studenti che hanno aperto una proporzione media dello 0,81 ± 0,14 delle risorse assegnate. Inoltre, il numero medio di risposte nei forum di discussione è stato di 4,8 ± 2,7. La puntualità media nelle consegne e la percentuale media di completamento dei video sono state rispettivamente 0,86 ± 0,18 e 0,79 ± 0,17. La proporzione di accessi alla piattaforma durante le ore notturne ha avuto una media dello 0,12 ± 0,09.

In modo significativo, le risposte nei forum di discussione e la puntualità nelle consegne degli elaborati hanno mostrato correlazioni positivamente più marcate con altri indicatori di partecipazione, nonostante la distribuzione ampia dei punteggi relativi alla puntualità.

Associazione incrociata di osservazioni, riflessioni e dati sull'apprendimento
Le tre fonti di dati hanno mostrato associazioni significative, sebbene non uniformi. Come mostrato in Figura 5, gli studenti con indici di coinvolgimento in classe osservati più elevati tendevano a ottenere punteggi totali di riflessione più alti. Nel modello aggiustato per sezione, il coinvolgimento in classe osservato prediceva positivamente il punteggio totale della riflessione (β = 0.34, p < 0.001).

Tra le variabili di analisi dell'apprendimento, le risposte nei forum di discussione e la puntualità nella consegna dei compiti sono risultate significativamente e positivamente correlate alla qualità della riflessione. Come specificato nella Tabella 5, le risposte nei forum di discussione hanno predetto in modo positivo il punteggio totale della riflessione (β = 0.19, p = 0.013), così come la puntualità nella consegna dei compiti (β = 0.17, p = 0.028). Sebbene il numero grezzo di visualizzazioni delle risorse e la proporzione di risorse assegnate aperte mostrassero inizialmente associazioni positive, queste correlazioni si sono notevolmente indebolite dopo la correzione per variabili di confondimento. La proporzione di accessi notturni non ha mostrato alcuna associazione significativa con il punteggio totale della riflessione (p = 0.18).

I dati hanno inoltre rivelato lievi correlazioni incrociate tra il comportamento osservato in classe e specifiche attività sulla piattaforma; ad esempio, le visualizzazioni grezze delle risorse erano correlate solo marginalmente con l'Indice di Coinvolgimento in Classe Osservato. Inoltre, gli studenti che partecipavano più frequentemente alle discussioni di gruppo mostravano una comunicazione verbale più elevata, mentre coloro che presentavano una migliore regolazione comportamentale manifestavano minore procrastinazione nelle consegne dei compiti.

Modifiche nell'intenzione prosociale
L'intenzione prosociale ha mostrato un incremento significativo dal valore iniziale al post-trattamento. Il punteggio medio dell'intenzione prosociale è aumentato da 3,61 ± 0,53 al basale a 3,84 ± 0,50 dopo il protocollo di 4 settimane (p < 0,001). Figura 6 illustra la distribuzione accoppiata e le associazioni aggiustate.

Nel modello finale aggiustato, un indice osservato di coinvolgimento in classe più elevato prediceva un aumento maggiore dell'intenzione prosociale post-protocollo rispetto al punteggio basale (β = 0,21, p < 0,05). Tra le dimensioni riflessive, il significato sociale-prosociale esercitava l'effetto indipendente più rilevante sull'intenzione prosociale post-protocollo (β = 0,29, p < 0,001). Sebbene la partecipazione verbale mostrasse una correlazione positiva non aggiustata con gli esiti prosociali del test finale, questa associazione perdeva significatività statistica dopo il controllo dei valori basali (p = 0,09). Infine, la frequenza di accesso serale non risultava correlata all'intenzione prosociale post-protocollo (p = 0,27).

Vincoli di implementazione osservati e risultati nulli
Lo studio implementato ha prodotto diversi risultati subottimali ma informativi, piuttosto che insuccessi tali da interrompere il protocollo. Nessuna sessione osservata è stata esclusa a causa di un kappa dell'osservatore inferiore a 0,70, nessun campo di analisi delle attività di apprendimento è rimasto indisponibile dopo l'esportazione finale e nessun problema di visibilità ha superato la soglia di mancata risposta prestabilita. I vincoli osservati erano concentrati nel completamento delle riflessioni e nei risultati comportamentali nulli o marginali: 18 riflessioni sono state inviate in ritardo, 17 riflessioni previste erano mancanti, la presa di appunti orientata al compito/l'uso del dispositivo ha mostrato solo un aumento marginale (p = 0,08), la richiesta di aiuto non ha evidenziato un effetto temporale significativo (p = 0,21) e l'accesso notturno non è risultato associato al punteggio totale delle riflessioni né all'intenzione prosociale post-protocollo.

Questi risultati sono stati mantenuti perché descrivono la fattibilità di implementazione e le condizioni al contorno del protocollo. Riflessioni tardive o mancanti sono state riportate nei riepiloghi sul flusso dei partecipanti e sulla completezza dei dati; associazioni marginali o nulle sono state riportate senza omissioni selettive; e le procedure di risoluzione dei problemi nella sezione Protocollo specificano come gestire in futuri impieghi eventuali fallimenti ipotetici, come deriva dell'osservatore, visibilità ostruita o campi LMS mancanti.

I file di analisi anonimizzati, il dizionario dei dati, gli script di analisi, i moduli di codifica vuoti, i solleciti di riflessione, la griglia di valutazione della riflessione e il questionario sull'intenzione prosociale sono stati depositati in Zenodo: https://zenodo.org/records/20607517. I video originali delle lezioni identificabili, i nomi, gli identificativi istituzionali e i testi di riflessione non censurati non sono stati resi pubblicamente disponibili.

Figura 1: Flusso di lavoro dello studio e protocollo di integrazione dei dati provenienti da più fonti. (A) Reclutamento dei partecipanti, raccolta del consenso e assegnazione dell'ID di studio in due corsi universitari e sei sezioni di classe. (B) Ciclo di raccolta dati della durata di 4 settimane: osservazione in aula settimanale, compito di scrittura riflessiva e finestra sincronizzata di acquisizione delle informazioni analitiche sull'apprendimento. (C) Tre flussi paralleli di dati: osservazione del comportamento in aula, valutazione delle espressioni riflessive e registrazioni anonime della piattaforma di apprendimento. (D) Costruzione del dataset principale a livello di partecipante e del database longitudinale a livello settimanale, che producono i principali risultati della ricerca: indice di coinvolgimento osservato in aula, punteggio di riflessione e intenzione prosociale. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 2: Variazioni settimanali nel comportamento osservato in classe durante il protocollo della durata di 4 settimane. (A) Attenzione rivolta al compito. (B) Partecipazione verbale. (C) Collaborazione tra pari. (D) Presa di appunti orientata al compito o utilizzo di dispositivi finalizzati al compito. (E) Distrazione fuori compito. (F) Ricerca di aiuto. I valori rappresentano punteggi proporzionali a livello studentesco calcolati settimanalmente, derivati da osservazioni in classe basate su intervalli. I punti indicano le medie settimanali, mentre le barre di errore indicano le deviazioni standard. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 3: Variazioni settimanali nell'espressione riflessiva nei quattro elaborati riflessivi. (A) Specificità descrittiva. (B) Profondità analitica. (C) Orientamento autoriflessivo. (D) Significato sociale-prosociale. (E) Punteggio totale di riflessione. I punteggi di riflessione sono stati assegnati da due valutatori in cieco utilizzando la griglia predefinita. I punti indicano le medie settimanali, e le barre di errore indicano le deviazioni standard. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 4: Distribuzione degli indicatori di analisi dell'apprendimento durante la finestra di studio di 4 settimane. (A) Giorni attivi sulla piattaforma di apprendimento. (B) Visualizzazioni delle risorse. (C) Proporzione di risorse assegnate aperte. (D) Risposte pubblicate nei forum di discussione. (E) Tasso medio di completamento dei video. (F) Puntualità nella consegna dei compiti. (G) Proporzione di accessi notturni. Tutti i valori sono stati calcolati sulla stessa finestra di 4 settimane utilizzata per l'osservazione in aula e la scrittura riflessiva. I grafici a violino mostrano le distribuzioni a livello di studente, mentre i grafici a scatola indicano le mediane e gli intervalli interquartili. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 5: Associazioni tra l'impegno osservato in classe, l'espressione riflessiva e alcuni indicatori selezionati di analisi dell'apprendimento. (A) Associazione tra l'Indice di Impegno Osservato in Classe e il punteggio totale della riflessione. (B) Associazione tra le risposte pubblicate nei forum di discussione e il punteggio totale della riflessione. (C) Associazione tra la puntualità nella consegna dei compiti e il punteggio totale della riflessione. (D) Associazione tra la partecipazione verbale e il punteggio totale della riflessione. Le linee di tendenza rappresentano associazioni lineari interpolate; le fasce ombreggiate indicano intervalli di confidenza al 95%. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 6: Modifica dell'intenzione prosociale e le sue associazioni con l'impegno in classe e il significato riflessivo. (A) Distribuzione accoppiata dei punteggi di intenzione prosociale al basale e dopo il protocollo. Le linee collegano i punteggi pre e post appaiati dello stesso studente. (B) Associazione tra l'Indice di Impegno in Classe Osservato e l'intenzione prosociale dopo il protocollo, aggiustando per il punteggio basale. (C) Associazione tra significato sociale-prosociale e intenzione prosociale dopo il protocollo. (D) Associazione tra partecipazione verbale e intenzione prosociale dopo il protocollo. Le fasce ombreggiate nei pannelli B-D indicano intervalli di confidenza al 95%. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Tabella 1: Indicatori e regole di codifica per l'osservazione in classe a livello studentesco. La tabella illustra le definizioni operative e i criteri di codifica relativi all'attenzione al compito, alla partecipazione verbale, alla collaborazione tra pari, alla presa di appunti o all'uso di dispositivi finalizzati al compito, alle distrazioni fuori compito e alla richiesta di aiuto. La finestra di codifica di 70 min, il ciclo di scansione di 20 s e registrazione di 10 s, la procedura di scansione per cluster, la regola relativa alla mancata visibilità e la formula OCEI sono descritte nella sezione Protocollo. Cliccare qui per scaricare questa tabella.

Tabella 2: Quadro di valutazione delle espressioni riflessive, esempi per livello di punteggio e definizioni operative delle variabili di learning analytics. La tabella illustra la griglia di valutazione per i testi riflessivi, inclusi esempi di punteggi 0, 1, 2 e 3 per ciascuna dimensione riflessiva e le definizioni operative per le variabili di learning analytics estratte. I componenti riflessivi includono specificità descrittiva, profondità analitica, orientamento autoriflessivo, significato sociale-prosociale, punteggio complessivo di riflessione, numero di parole e stato di consegna. Le analisi dell'apprendimento comprendono giorni attivi, visualizzazioni di risorse, proporzione di risorse assegnate aperte, risposte pubblicate nei forum di discussione, tasso medio di completamento dei video, puntualità nella consegna dei compiti e proporzione di accessi notturni. Cliccare qui per scaricare questa tabella.

Tabella 3: Caratteristiche dei partecipanti, flusso di inclusione e completezza dei dati. La tabella riassume l'idoneità dei partecipanti, le percentuali di consenso, i criteri di esclusione, la dimensione finale del campione e la completezza dei dati provenienti dalle tre fonti di dati. Vengono riportate le caratteristiche demografiche basali insieme al numero previsto di contributi riflessivi, consegne in tempo utile, consegne in ritardo, riflessioni mancanti ed estrazioni riuscite di dati provenienti dall'analisi dell'apprendimento. I valori sono espressi come n (%) salvo diversamente specificato. A causa degli arrotondamenti, le percentuali potrebbero non sommarsi esattamente al 100%. Come previsto dal protocollo, le riflessioni in ritardo vengono archiviate ma escluse dalle analisi specifiche per settimana. L'estrazione completa dei dati di analisi dell'apprendimento indica il recupero con successo di record anonimizzati relativi alla finestra di studio, dopo la rimozione dei profili degli istruttori, delle voci duplicate e degli eventi al di fuori della finestra temporale. Cliccare qui per scaricare questa tabella.

Tabella 4: Statistiche descrittive e coefficienti di affidabilità dei principali parametri dello studio. La tabella riporta i valori medi specifici per ogni settimana, le deviazioni standard e gli indici di affidabilità relativi al comportamento osservato in classe, all'espressione riflessiva, all'analisi didattica e all'intenzione prosociale. L'affidabilità dei dati raccolti tramite osservazione in classe è valutata mediante il kappa di Cohen. L'affidabilità della valutazione delle riflessioni è espressa come coefficienti di correlazione intraclasse (ICCs) per i testi valutati due volte. La coerenza interna della misura dell'intenzione prosociale è riportata utilizzando l'alfa di Cronbach (α). Le variabili ricavate dall'analisi didattica sono calcolate sullo stesso periodo di 4 settimane impiegato per osservazioni e riflessioni. Cliccare qui per scaricare la Tabella.

Tabella 5: Associazioni multivariate tra impegno osservato in classe, espressione riflessiva, analisi didattica e intenzione prosociale. La tabella illustra i modelli inferenziali utilizzati nelle analisi principali. Riporta i predittori multivariati del punteggio totale della riflessione, i predittori aggiustati dell’intenzione prosociale post-protocollo (aggiustati per i livelli basali) e alcune associazioni non aggiustate selezionate. I valori β rappresentano i coefficienti di regressione non standardizzati. Tutti i modelli multivariati sono aggiustati per sezione della classe. Per tutte le stime vengono forniti errori standard (SE), intervalli di confidenza al 95% (CI) e valori p. Cliccare qui per scaricare questa tabella.

Discussione

Questo studio propone un protocollo pratico che integra osservazione comportamentale, scrittura riflessiva e analisi dell'apprendimento per indagare in modo esaustivo la partecipazione, l'espressione di sé e la consapevolezza prosociale degli studenti universitari all'interno di un singolo arco temporale didattico. Catturando diverse dimensioni dell'impegno, questo approccio tripartito risponde alle critiche recenti nella ricerca sull'istruzione superiore, secondo cui le metriche basate sul tempo di utilizzo e il monitoraggio basato su sensori sono insufficienti se valutati in isolamento¹. Durante il protocollo della durata di 4 settimane, l'impegno visibile in aula è migliorato in modo significativo. In particolare, la partecipazione verbale e la collaborazione tra pari sono aumentate insieme all'attenzione compiti, mentre la richiesta di aiuto e la presa di appunti focalizzata sul compito hanno mostrato modifiche minime. Questi cambiamenti comportamentali indicano che, man mano che gli studenti si abituano all'ambiente didattico, il loro impegno evolve verso una partecipazione più strategica, socialmente interattiva e orientata al contributo¹⁶.

Da un punto di vista incentrato sul metodo, il valore del protocollo dipende da un'implementazione rigorosa piuttosto che dall'osservazione di risultati uniformemente positivi. Il flusso di lavoro rivisto sottolinea quindi una formula OCEI predeterminata, osservazioni indipendenti, elaborazione software documentata, esempi di griglie valutative, soglie di affidabilità e regole esplicite per i dati mancanti. Queste aggiunte hanno lo scopo di rendere il protocollo riproducibile in contesti didattici ordinari in cui i registri della piattaforma, la frequenza degli studenti, la visibilità della videocamera e la qualità delle riflessioni sono imperfetti.

Il protocollo deve essere interpretato anche in base al formato. In corsi di grandi dimensioni, gli osservatori potrebbero aver bisogno di gruppi più piccoli e rotanti e di un periodo di calibrazione più lungo; nelle classi online, l'osservazione del comportamento potrebbe basarsi sui registri delle interazioni e sulla partecipazione visibile piuttosto che sulla scansione dell'ambiente; nei laboratori, il comportamento relativo alla sicurezza potrebbe richiedere un indicatore aggiuntivo; e in aule culturalmente diversificate, i solleciti di riflessione e gli elementi relativi all'intenzione prosociale devono essere verificati per chiarezza linguistica e appropriatezza culturale prima dell'utilizzo.

La scrittura riflessiva fornisce un livello aggiuntivo di comprensione di questi schemi comportamentali. I punteggi totali di riflessione hanno mostrato un andamento costantemente crescente durante il protocollo, con i miglioramenti più evidenti nella profondità analitica e nel significato sociale-prosociale. Piuttosto che limitarsi a riferire gli eventi in aula, gli studenti hanno dimostrato una crescente capacità di analizzare le situazioni didattiche da una prospettiva più ampia e socialmente consapevole. Questo risultato è in linea con scoperte recenti secondo cui compiti ripetuti e strutturati di riflessione favoriscono la costruzione di significati di ordine superiore e un discorso basato sulla conoscenza, anche quando il volume testuale a livello superficiale rimane relativamente costante⁹. Di conseguenza, la scrittura riflessiva nell'istruzione superiore va considerata un costrutto multidimensionale, all'interno del quale competenze relative all'interpretazione, al trasferimento e alla proiezione autoriflessiva si sviluppano a ritmi diversi nel tempo⁵.

L'integrazione degli strumenti di learning analytics giustifica ulteriormente la necessità di un protocollo basato su più fonti. Azioni sostanziali, come le risposte alle discussioni e la puntualità nella consegna degli elaborati, si sono rivelate indicatori molto più informativi dell'impegno rispetto al semplice volume di attività. Al contrario, l'accesso alla piattaforma durante le ore notturne non ha mostrato alcuna associazione significativa né con la qualità della riflessione né con l'intenzione prosociale. Questi risultati confermano ricerche precedenti che mettono in guardia contro un'eccessiva dipendenza da metriche semplici, come la frequenza o gli accessi, per valutare il coinvolgimento degli studenti⁴. I nostri risultati indicano che gli studenti che interagiscono in modo costruttivo con i materiali del corso sviluppano una maggiore capacità di riflessione; tuttavia, l'attività di base sulla piattaforma non rispecchia perfettamente l'impegno osservabile in aula. L'overlap moderato—piuttosto che una ridondanza eccessiva—tra osservazione, riflessione e analisi convalida quindi l'uso di strategie di misurazione composite rispetto a inferenze indipendenti basate su una singola fonte¹⁷.

Un contributo secondario di questa ricerca è l'ampliamento degli esiti valutati oltre le metriche standard di partecipazione. L'intenzione prosociale ha mostrato un aumento misurabile dal pre-test al post-test, evidenziando le associazioni più forti tra gli studenti che hanno espresso temi sociali e prosociali nelle loro riflessioni e che hanno mantenuto un profilo di interazione esteso. Questo risultato è coerente con le attuali ricerche nell'istruzione superiore, che ritengono le caratteristiche cooperative e orientate al contributo parte integrante delle interazioni in aula, piuttosto che semplici effetti collaterali⁸. Inoltre, questi risultati sostengono la concezione delle aule come sistemi sociali complessi. Quando gli studenti valutano attivamente il proprio contributo relativo alla comunità di apprendimento, il loro comportamento tende a spostarsi da una semplice conformità verso un coinvolgimento costruttivo e prosociale¹⁸.

Queste conclusioni offrono spunti praticabili per la progettazione didattica. Il protocollo proposto non richiede sensori specializzati né sistemi di monitoraggio invasivi. Basandosi esclusivamente su osservazioni intervallate, riflessioni strutturate settimanali e dati standard della piattaforma del corso, questa combinazione fornisce una soluzione altamente fattibile per ambienti di insegnamento universitario che richiedono prove formative trasparenti di coinvolgimento, ma che non dispongono di infrastrutture tecnologiche avanzate. Recentemente, i modelli pedagogici incentrati sulle comunità di apprendimento e sull'insegnamento basato sulla creazione di valore suggeriscono che riposizionare gli studenti come co-progettisti attivi, piuttosto che consumatori passivi, infonde una maggiore significatività alla partecipazione nell'istruzione superiore¹⁹. La nostra evidenza empirica, secondo cui gli indicatori legati al contributo si raggruppano strettamente con la qualità della riflessione e con l'intenzione prosociale—molto più di quanto accada con il semplice traffico sulla piattaforma—supporta fortemente questo cambiamento pedagogico.

È necessario riconoscere diversi limiti. Primo, poiché il protocollo è progettato per un numero limitato di sezioni didattiche, la sua trasferibilità ad ambienti basati su laboratorio, dominati da lezioni, completamente asincroni online o culturalmente diversi richiede un'adeguata adattamento pianificato e nuove verifiche di affidabilità. Secondo, l'intenzione prosociale viene misurata tramite autovalutazione e deve essere interpretata come un'intenzione dichiarata piuttosto che come una verità oggettiva diretta del comportamento. Terzo, l'analisi dell'apprendimento registra solo le attività mediate dalla piattaforma e potrebbe non cogliere la preparazione offline, il supporto informale tra pari e lo studio assistito da intelligenza artificiale non dichiarato. Quarto, la finestra di osservazione di 4 settimane permette di identificare modelli di implementazione a breve termine, ma potrebbe non catturare traiettorie di sviluppo più lunghe. Infine, i valori rappresentativi su 4 settimane devono essere interpretati come evidenze contestuali di implementazione piuttosto che come stime causali generalizzabili²⁰.

Le ricerche future dovrebbero estendere questo quadro concettuale in diverse direzioni. Riprodurre il protocollo in diversi ambiti disciplinari accademici e in diverse modalità didattiche rappresenta un passo fondamentale successivo. Inoltre, sono necessari follow-up longitudinali per determinare se queste pratiche riflessive a breve termine generino atteggiamenti prosociali duraturi o benefici comportamentali sostenuti. Studi futuri potrebbero inoltre confrontare questo quadro osservativo con metodologie alternative, come la valutazione tra pari, l'analisi degli artefatti a livello di gruppo o l'analisi delle sequenze di eventi. Tuttavia, nella sua forma attuale, questo protocollo fornisce un meccanismo operativo solido per effettuare una triangolazione tra ciò che gli studenti fanno in classe, come interpretano tali azioni successivamente e come si posizionano socialmente all'interno dell'ambiente di apprendimento più ampio.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Scheda di codifica per l'osservazione in aula	Interno	Sei indicatori comportamentali binari	Codifica basata su intervalli di attenzione al compito, partecipazione verbale, collaborazione tra pari, uso di dispositivi/appunti orientati al compito, distrazione fuori compito e richiesta di aiuto.
GraphPad Prism	Graphpad	Versione 10.2.3	Generazione di diagrammi di flusso, grafici delle tendenze settimanali, grafici di distribuzione e figure di associazione.
Sistema istituzionale di gestione dell'apprendimento/piattaforma del corso	Università ospitante	Sistema esistente di account LMS istituzionale	Raccolta di analisi dell'apprendimento anonimizzate.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Generazione di diagrammi di flusso, grafici delle tendenze settimanali, grafici di distribuzione e figure di associazione.
R	Fondazione R		ggplot2 3.5.1
Software per fogli di calcolo	Società Microsoft	Microsoft Excel 365 v2402	Inserimento dati, pulizia, verifiche di anonimizzazione e unione dei dataset di osservazione, riflessione e analisi.
SPSS Statistics	IBM Corp	Versione 26.0	Software per analisi statistiche; statistiche descrittive, confronti a misure ripetute, kappa di Cohen, ICC, alfa di Cronbach, correlazioni e modelli di regressione.