$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Die repräsentativen Ergebnisse zeigen die Ausgaben, die durch den 16 Wochen umfassenden, in den Unterricht integrierten Verbesserungsprotokoll für das Strategische Management erzielt wurden. Die Ergebnisse sind nach Implementationsgenauigkeit, Unterrichtsqualität, Lernender-Ebene-Ergebnissen, Team-Ebene-Ergebnissen und vorab definierten Warnmustern geordnet. Da die Daten aus regulären Bildungskohorten mit einer historischen Vergleichsgruppe und nicht aus randomisierter Zuordnung stammten, sollten alle Ergebnisse als kontextspezifische Implementierungs- und Evaluierungsergebnisse interpretiert werden, nicht jedoch als kausaler Nachweis der Wirksamkeit.
Implementierungstreue und Unterrichtsqualität
Der verfügbare Datensatz mit Bildungsakten umfasste 88 Studierende in der historischen Vergleichsgruppe und 92 Studierende in der Protokollgruppe. Der Datensatz auf Teamebene umfasste 22 Teams der Vergleichsgruppe und 23 Teams der Protokollgruppe. Nach Anwendung der Regel zur gepaarten Vorher-Nachher-Wissenstestung wurden 79 Studierende der Vergleichsgruppe und 84 Studierende der Protokollgruppe für die Analyse des Wissenszuwachses berücksichtigt.
Die Einhaltung der Implementierung wurde überprüft, bevor die Lernergebnisse interpretiert wurden. Die Protokollkohorte absolvierte 15 der geplanten 16 wöchentlichen Aktivitäten (93,8 %), während die Vergleichskohorte 13 von 16 Aktivitäten durchführte (81,3 %). Die Unternehmens- oder strukturierte Fallerörterung wurde in der Protokollkohorte abgeschlossen, war jedoch kein Bestandteil der vollständigen historischen Vergleichsstruktur. In der Protokollkohorte erledigten 88 von 92 Studierenden alle drei Wettbewerbsaufgaben, was 95,7 % entspricht. In der Vergleichskohorte verfügten 18 von 88 Studierenden über vollständige Aufzeichnungen für drei vergleichbare projektbasierte Bewertungen, was 20,5 % entspricht; diese Aufzeichnungen wurden lediglich zur deskriptiven Gegenüberstellung beibehalten, da der historische Kurs die vollständige Wettbewerbssequenz nicht umgesetzt hatte. Bei 243 von 268 Abgaben der Protokollkohorte wurde das Feedback innerhalb von 7 Kalendertagen zurückgegeben, was 90,7 % entspricht, verglichen mit 49 von 66 Abgaben der Vergleichskohorte, was 74,2 % entspricht. Die durchschnittliche Bearbeitungszeit für das Feedback betrug jeweils 5,8 ± 1,9 Tage und 8,4 ± 2,7 Tage. Die Beobachtungsdurchführung erreichte 81,3 % bzw. 62,5 %. Der ICC für die überlappende subjektive Bewertung durch zwei Prüfer in der Protokollkohorte betrug 0,82 und übertraf damit die vorab festgelegte Schwelle von 0,75. Insgesamt erfüllte die Protokollkohorte 5 von 5 zentralen Indikatoren zur Implementierungstreue, während die Vergleichskohorte 2 von 5 erreichte.
Die Indikatoren für die Unterrichtsqualität waren in der Protokollgruppe höher. Die Klassenzimmerinteraktion betrug in der Protokollgruppe 3,70 ± 0,44 und in der Vergleichsgruppe 3,15 ± 0,48. Die Vollständigkeit des Fallgestaltungsdokuments lag bei 4,08 ± 0,36 bzw. 3,23 ± 0,42. Die Übereinstimmung zwischen Aufgabe und Bewertungsraster betrug 4,01 ± 0,39 und 2,30 ± 0,51. Das Schülerengagement stieg in der Protokollgruppe um 0,42 ± 0,41 Punkte an, was die vorab festgelegte Signifikanzschwelle von 0,30 Punkten überschreitet, während die Vergleichsgruppe eine Zunahme um 0,07 ± 0,34 Punkte aufwies. Die Teilnahmequote war zwischen den Gruppen vergleichbar: 89,6 % ± 5,8 % und 89,1 % ± 6,2 %. Tabelle 5 fasst diese Indikatoren zusammen.
| Indikator | Datenquelle | Vorgegebene Schwelle | Historische Vergleichsgruppe | Protokollgruppe | Interpretation |
| Geplante wöchentliche Aktivitätsabschlussrate | Protokoll zur Kursdurchführung | ≥85 % | 13/16 Wochen, 81,3 % | 15/16 Wochen, 93,8 % | Erreicht in der Protokollgruppe |
| Durchführung von Unternehmens- oder strukturierten Fallbesprechungen | Protokoll zur Unternehmensbeteiligung | ≥1 durchgeführte Sitzung | 0/1 Sitzung, 0,0 % | 1/1 Sitzung, 100,0 % | Erreicht in der Protokollgruppe |
| Vollständige Aufgabenerledigung oder Abschluss der dokumentierten Projektakten | Einreichungsunterlagen | ≥85 % | 18/88 Studierende, 20,5 % | 88/92 Studierende, 95,7 % | Erreicht in der Protokollgruppe; historische Daten lediglich deskriptiv |
| Rückmeldung innerhalb von 7 Tagen | Feedback-Protokoll | ≥80 % | 49/66 Einreichungen, 74,2 % | 243/268 Einreichungen, 90,7 % | Erreicht in der Protokollgruppe |
| Abschluss der Beobachtungscheckliste | Beobachtungsformulare | ≥75 % | 10/16 Sitzungen, 62,5 % | 13/16 Sitzungen, 81,3 % | Erreicht in der Protokollgruppe |
| Übereinstimmung zwischen zwei Bewertenden | Bewertungsergebnisse | ICC ≥0,75 | Nicht erforderlich | ICC = 0,82 | Erreicht in der Protokollgruppe |
| Zeit für die Rückmeldung | Feedback-Protokoll | Mittelwert ≤7 Tage (bevorzugt) | 8,4 ± 2,7 Tage | 5,8 ± 1,9 Tage | Im bevorzugten Bereich in der Protokollgruppe |
| Klasseninteraktion | Beobachtungscheckliste | Mittelwert ≥3,50 oder Zunahme ≥0,30 | 3,15 ± 0,48 | 3,70 ± 0,44 | Höher in der Protokollgruppe |
| Vollständigkeit der Fallgestaltung | Checkliste zur Fallgestaltung | Mittelwert ≥4,00 (bevorzugt) | 3,23 ± 0,42 | 4,08 ± 0,36 | Höher in der Protokollgruppe |
| Ausrichtung der Aufgabe an der Bewertungsrubrik | Ausrichtungscheckliste | Mittelwert ≥4,00 | 2,30 ± 0,51 | 4,01 ± 0,39 | Erreicht in der Protokollgruppe |
| Zuwachs an Studierendenengagement | Anwesenheit, Protokolle, Umfrageitems | Zunahme ≥0,30 Punkte | +0,07 ± 0,34 | +0,42 ± 0,41 | Erreicht in der Protokollgruppe |
| Anwesenheitsrate | Anwesenheitsaufzeichnung | Deskriptiv | 89,1 % ± 6,2 % | 89,6 % ± 5,8 % | Ähnlich in beiden Gruppen |
| Zusammenfassung der Kern-Implementierungstreue | Implementierungsindikatoren | Die meisten Kernschwellen erreicht | 2/5 Schwellen erreicht | 5/5 Schwellen erreicht | Protokoll wie vorgesehen umgesetzt |
Tabelle 5: Repräsentative Indikatoren für die Einhaltung der Implementierungstreue und die Unterrichtsqualität. Diese Tabelle berichtet repräsentative Ergebnisse zur Implementierungstreue und Unterrichtsqualität für die historische Vergleichsgruppe und die Protokollgruppe und zeigt an, ob die vorab festgelegten operationellen Schwellenwerte erreicht wurden.
Abbildung 2 zeigt das Profil zur Einhaltungstreue der Durchführung und zur Qualität der Unterrichtsgestaltung. Abbildung 2A zeigt die geplante wöchentliche Absolvierung von Aktivitäten. Abbildung 2B zeigt die vollständige Bearbeitung einer Sequenz aus drei Aufgaben. Abbildung 2C zeigt die Rückgabe von Feedback innerhalb von 7 Kalendertagen. Abbildung 2D zeigt den Unterrichtsdialog, den Grad der Vollständigkeit der Fallgestaltung, die Übereinstimmung mit der Aufgabenbewertungsskala sowie Zuwächse bei der Schülerbeteiligung. Abbildung 2E zeigt die Durchführung von Beobachtungen sowie die Absolvierung von betriebsnahen oder strukturierten Fallbesprechungen. Prozentsatzbasierte Maße zur Durchführungstreue und skalenbasierte Indikatoren zur Unterrichtsqualität sollten jeweils anhand ihrer spezifischen Messskalen interpretiert werden.

Abbildung 2: Umsetzungstreue und Profil der Unterrichtsqualität. Diese Abbildung fasst Indikatoren zur Umsetzungstreue und zur Unterrichtsqualität für die historische Vergleichsgruppe und die Protokollgruppe zusammen. (A) Geplante wöchentliche Aktivitätsabschlüsse. (B) Vollständige Aufgaben- oder abgebildete Projektakten-Abschlüsse, wobei die vollständige dreiteilige Aufgabensequenz der Protokollgruppe von den abgebildeten Projektakten der historischen Vergleichsgruppe unterschieden wird. (C) Innerhalb von 7 Kalendertagen zurückgegebenes Feedback, wobei die Feedback-Bearbeitungszeit als ergänzende Information dargestellt ist. (D) Indikatoren der Unterrichtsqualität, einschließlich Klasseninteraktion, Vollständigkeit der Fallgestaltung, Übereinstimmung zwischen Aufgabe und Bewertungsraster sowie Zunahme der Schülerbeteiligung. (E) Abschluss der Beobachtungscheckliste sowie Durchführung einer Unternehmens- oder strukturierten Fallbesprechung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Lernergebnisse auf Studierendenebene
Die Ergebnisse auf Ebene der Studierenden wurden separat von den Ergebnissen auf Ebene des Teamwettbewerbs untersucht. Die Ausgangswissenwerte lagen bei 64,18 ± 8,74 in der Protokollkohorte und bei 62,37 ± 8,91 in der Vergleichskohorte, mit einer geringen Differenz von 1,81 Punkten zum Zeitpunkt der Basislinie (d = 0,21). Die Wissenwerte nach dem Kurs betrugen 71,08 ± 8,58 und 66,41 ± 9,06, mit einer Differenz von 4,67 Punkten (d = 0,53). Der Wissenszuwachs betrug 6,90 ± 5,41 Punkte und 4,04 ± 5,26 Punkte, mit einer Differenz von 2,86 Punkten (d = 0,54). Die Protokollkohorte übertraf das vorab definierte Signal eines Wissenszuwachses von 5 Punkten.
Die Leistung bei der Einzel-Fallanalyse am Ende des Semesters betrug 82,31 ± 7,06 in der Protokollkohorte und 76,42 ± 7,38 in der Vergleichskohorte, was einer Differenz von 5,89 Punkten entspricht (d = 0,82). Dieses Ergebnis wurde als Indikator für die Leistung nach dem Kurs und nicht als gepaarter Gewinn interpretiert, da keine echte Basisbefundung zur Fallanalyse durchgeführt wurde. Die Zufriedenheit lag bei 3,66 ± 0,58 und 3,34 ± 0,62 (d = 0,53). Die wahrgenommene praktische Relevanz betrug 3,91 ± 0,55 bzw. 3,41 ± 0,59 (d = 0,88). Der Wettbewerbsdruck war in der Protokollkohorte mit 3,12 ± 0,76 im Vergleich zu 2,48 ± 0,71 (d = 0,87) höher, jedoch gaben 13 von 92 Studierenden der Protokollkohorte hohen Arbeitslastdruck an, was 14,1 % entspricht und unterhalb der vorab festgelegten Warnschwelle von 20 % liegt. Die endgültige Kursnote wurde als sekundäres bildungswissenschaftliches Ergebnis betrachtet und betrug 87,20 ± 6,10 in der Protokollkohorte und 84,80 ± 6,70 in der Vergleichskohorte (d = 0,37). Tabelle 6 fasst die Ergebnisse auf Ebene der Studierenden und auf Teamebene zusammen.
| Ergebnis | Ebene | Historische Vergleichsgruppe | Protokollgruppe | Differenz | Effektgröße | Interpretation |
| Vorhandene Stichprobe aus Bildungsakten | Schüler | n = 88 | n = 92 | — | — | Verwendbare anonymisierte Kursunterlagen |
| Stichprobe für gepaarte Wissensanalyse | Schüler | n = 79 | n = 84 | — | — | Schüler mit Wissenstests zu Beginn und nach Abschluss des Kurses |
| Wissenstest zu Kursbeginn | Schüler | 62,37 ± 8,91 | 64,18 ± 8,74 | 1,81 | 0,21 | Kleine Differenz zu Beginn |
| Wissenstest nach Kursende | Schüler | 66,41 ± 9,06 | 71,08 ± 8,58 | 4,67 | 0,53 | Höher in der Protokollgruppe |
| Wissenszuwachs | Schüler | 4,04 ± 5,26 | 6,90 ± 5,41 | 2,86 | 0,54 | Protokollgruppe übertraf das ≥5-Punkte-Signal |
| Einzelanalyse-Bewertung | Schüler | 76,42 ± 7,38 | 82,31 ± 7,06 | 5,89 | 0,82 | Übertraf das ≥3-Punkte-Signal für Fallanalysen |
| Zuwachs an Lernbeteiligung | Schüler | +0,07 ± 0,34 | +0,42 ± 0,41 | +0,35 | 0,93 | Übertraf das ≥0,30-Punkte-Signal |
| Zufriedenheitsbewertung | Schüler | 3,34 ± 0,62 | 3,66 ± 0,58 | 0,32 | 0,53 | Höher in der Protokollgruppe |
| Wahrgenommene praktische Relevanz | Schüler | 3,41 ± 0,59 | 3,91 ± 0,55 | 0,5 | 0,88 | Höher in der Protokollgruppe |
| Bewertung des Wettbewerbsdrucks | Schüler | 2,48 ± 0,71 | 3,12 ± 0,76 | 0,64 | 0,87 | Höherer Druck in der Protokollgruppe |
| Hoher Arbeitslastdruck | Schüler | Nicht als Wettbewerbsdruck bewertet | 13/92, 14,1 % | — | — | Unterhalb der Warnschwelle von 20 % |
| Endgültige Kursnote | Schüler | 84,80 ± 6,70 | 87,20 ± 6,10 | 2,4 | 0,37 | Sekundäres Bildungsergebnis |
| Anzahl der Teams | Team | n = 22 | n = 23 | — | — | Analysen auf Teamebene separat berichtet |
| Exposition gegenüber Entscheidungsrunden | Team | 0,77 ± 0,81 Runden | 5,09 ± 0,79 Runden | 4,32 | Nicht geschätzt | Indikator für Implementierungsexposition |
| Aufgabe 1 oder bewertete Diagnose | Team | 69,84 ± 6,45 | 72,18 ± 6,28 | 2,34 | 0,37 | Bescheidene Differenz auf Teamebene |
| Aufgabe 2 oder bewertete Entscheidung | Team | 71,09 ± 6,12 | 73,52 ± 5,91 | 2,43 | 0,4 | Bescheidene Differenz auf Teamebene |
| Aufgabe 3 oder bewertete Endpräsentation | Team | 72,71 ± 6,36 | 77,20 ± 6,04 | 4,49 | 0,72 | Größte Differenz auf Teamebene |
| Endgültige Teamnote | Team | 71,21 ± 5,81 | 74,30 ± 5,52 | 3,09 | 0,55 | Mäßige Differenz auf Teamebene |
| Dimension strategische Diagnose | Team | 14,60 ± 1,80 | 15,60 ± 1,70 | 1 | — | Dimension des Bewertungsrasters für Endpräsentation |
| Dimension strategische Entscheidung | Team | 17,90 ± 2,20 | 19,10 ± 2,10 | 1,2 | — | Dimension des Bewertungsrasters für Endpräsentation |
| Dimension Umsetzbarkeit | Team | 14,40 ± 1,90 | 15,50 ± 1,80 | 1,1 | — | Dimension des Bewertungsrasters für Endpräsentation |
| Dimension Innovation | Team | 10,80 ± 1,60 | 11,50 ± 1,50 | 0,7 | — | Dimension des Bewertungsrasters für Endpräsentation |
| Dimension Nutzung von Evidenz | Team | 7,10 ± 1,00 | 7,50 ± 0,90 | 0,4 | — | Dimension des Bewertungsrasters für Endpräsentation |
| Dimension mündliche Verteidigung | Team | 7,91 ± 1,10 | 8,00 ± 1,00 | 0,09 | — | Dimension des Bewertungsrasters für Endpräsentation |
| Mittlere Bewertung der Teammitgliederbeiträge | Team | 3,72 ± 0,41 | 3,91 ± 0,36 | 0,19 | 0,49 | Kein gravierender Teamprozessfehler |
| Teams mit unausgewogenen Beiträgen | Team | 4/22, 18,2 % | 3/23, 13,0 % | −5,2 Prozentpunkte | — | Kein systematisches Ungleichgewicht erkennbar |
| Verteilung der Auszeichnungen | Team | Nicht zutreffend | 10 ohne; 8 Dritte; 2 Zweite; 3 Erste | — | — | Nur in der Protokollgruppe |
| Muster zur Warnung vor Noteninflation | Team | Nicht zutreffend | 2/23 Teams, 8,7 % | — | — | Zur Fehlerbehebung markiert |
Tabelle 6: Repräsentative Ergebnisse auf Ebene der Studierenden und auf Teamebene. Diese Tabelle zeigt repräsentative Ergebnisse auf Ebene der Studierenden und auf Teamebene, einschließlich der verfügbaren Stichprobe aus Bildungsakten, der gepaarten Stichprobe zur Wissensanalyse, Wissenstestscores, Wissenszuwachs, individueller Fallanalyse-Score, Engagement, Zufriedenheit, wahrgenommene praktische Relevanz, Arbeitsbelastung, endgültiger Kurs-Score, Teamaufgaben-Scores, Bewertungsscores nach den Kriterien des Endpräsentations-Rubrics, Peer-Beitrag, Verteilung von Auszeichnungen und Warnhinweisen.
Abbildung 3 zeigt Ergebnisse auf Studentenebene mit Unsicherheitsschätzungen, wo zutreffend. Abbildung 3A zeigt die Wissenswerte vor und nach dem Kurs an. Abbildung 3B zeigt Wissenszuwachs. Abbildung 3C zeigt die Leistung der individuellen Fallanalyse. Abbildung 3D zeigt Steigerungen in der Beteiligung, Zufriedenheit und wahrgenommene praktische Relevanz. Abbildung 3E zeigt die endgültige Kursnote als sekundären Endpunkt an.

Abbildung 3: Repräsentative Lernergebnisse auf Ebene der Studierenden. Diese Abbildung zeigt die Ergebnisse auf individueller Ebene getrennt von den wettbewerbsbezogenen Ergebnissen auf Team-Ebene. (A) Strategisches-Management-Wissenstests zur Ausgangsbasis und nach Abschluss des Kurses. (B) Wissenszuwachs von der Ausgangsbasis bis zur Nach-Testung. (C) Bewertung der individuellen Fallanalyse in der späten Semesterphase. (D) Indikatoren für Zuwachs an Engagement und Wahrnehmung in Umfragen, einschließlich Zufriedenheit und wahrgenommener praktischer Relevanz, dargestellt mit separaten Skalen, wo erforderlich. (E) Endgültige Kursnote als sekundäres bildnerisches Ergebnis sowie der im Protokoll-Kohorte beobachtete hohe Arbeitslastdruck im Vergleich zur vordefinierten Warnschwelle. Die Werte werden als Mittelwert ± SD angegeben, wenn ±-Werte dargestellt sind, und die Fehlerbalken repräsentieren die SD. In (E) zeigt die gestrichelte Referenzlinie die vordefinierte Warnschwelle für hohen Arbeitslastdruck von 20 %. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Ergebnisse auf Teamebene
Teambezogene Ergebnisse wurden getrennt von schülerbezogenen Ergebnissen analysiert. Zur deskriptiven Darstellung wurden die Fallprojektdatensätze der Vergleichsgruppe, wenn verfügbar, auf vergleichbare Bewertungszeitpunkte abgebildet, wobei diese Datensätze jedoch nicht den Abschluss der vollständigen, wettbewerbsintegrierten Sequenz darstellten. Die Teilnahme an Entscheidungsrunden wurde als Indikator für die Implementierungstiefe und nicht als Schätzung des Lerneffekts berichtet. Die Protokollgruppe absolvierte 5,09 ± 0,79 Entscheidungsrunden, während die Vergleichsgruppe 0,77 ± 0,81 abgebildete Runden absolvierte.
In der Protokollkohorte betrug die durchschnittliche Punktzahl für Aufgabe 1 72,18 ± 6,28, die durchschnittliche Punktzahl für Aufgabe 2 betrug 73,52 ± 5,91 und die durchschnittliche Punktzahl für Aufgabe 3 betrug 77,20 ± 6,04. Die entsprechenden abgebildeten Vergleichskohorten-Punktzahlen lagen bei 69,84 ± 6,45, 71,09 ± 6,12 und 72,71 ± 6,36. Die endgültige Team-Punktzahl betrug in der Protokollkohorte 74,30 ± 5,52 und in der Vergleichskohorte 71,21 ± 5,81. Die Dimensionen des Endverteidigungs- oder abgebildeten Endprojekt-Bewertungsrasters waren wie folgt: strategische Diagnose, 15,60 ± 1,70 und 14,60 ± 1,80; strategische Entscheidung, 19,10 ± 2,10 und 17,90 ± 2,20; Umsetzbarkeit, 15,50 ± 1,80 und 14,40 ± 1,90; Innovation, 11,50 ± 1,50 und 10,80 ± 1,60; Nutzung von Belegen, 7,50 ± 0,90 und 7,10 ± 1,00; sowie mündliche Verteidigung, 8,00 ± 1,00 und 7,91 ± 1,10.
Die Preisvergabe wurde nur für den Protokoll-Kohortenstich beschrieben, da die Vergleichsgruppe die vollständige wettbewerbsbasierte Preisstruktur nicht nutzte. In der Protokoll-Kohorte erhielten 10 Teams keinen Preis, 8 erhielten den dritten Preis, 2 den zweiten Preis und 3 den ersten Preis. Der durchschnittliche Peer-Beitrag betrug in der Protokoll-Kohorte 3,91 ± 0,36 und in der Vergleichs-Kohorte 3,72 ± 0,41. Eine Ungleichheit bei den Beiträgen wurde in 3 von 23 Teams der Protokoll-Kohorte und in 4 von 22 Teams der Vergleichs-Kohorte festgestellt. Ein Muster der Bewertungsübertreibung wurde in 2 von 23 Teams der Protokoll-Kohorte identifiziert, was 8,7 % entspricht.
Abbildung 4 zeigt Ergebnisse auf Teamebene und Warnmuster. Abbildung 4A zeigt die Teamergebnisse für Aufgabe 1, Aufgabe 2 und Aufgabe 3. Abbildung 4B zeigt die Bewertungsergebnisse nach Rubrikdimensionen für die Abschlusspräsentation. Abbildung 4C zeigt ausschließlich die Verteilung der Protokoll-Kohorten-Auszeichnungen. Abbildung 4D zeigt Fälle mit Warnhinweisen auf Punkteinflation. Abbildung 4E zeigt die Balance der Beiträge der Teammitglieder untereinander sowie die Anzahl der ungleichen Beitragsverteilungen.

Abbildung 4: Teamübergreifende Wettbewerbsergebnisse und Warnmuster. Diese Abbildung zeigt teamübergreifende Ergebnisse getrennt von lernergebnisbezogenen Ergebnissen auf Ebene der Studierenden. (A) Teamergebnisse nach Aufgabenabschnitt für strategische Diagnose (Aufgabe 1), strategische Entscheidung (Aufgabe 2) und abschließende Verteidigung (Aufgabe 3), wobei die zugeordneten Projektergebnisse für die historische Vergleichsgruppe angegeben sind, sofern verfügbar. (B) Ergebnisse nach Dimensionen des Bewertungsrasters für die abschließende Verteidigung, einschließlich strategische Diagnose, strategische Entscheidung, Umsetzbarkeit, Innovation, Nutzung von Belegen und mündliche Verteidigung. (C) Verteilung der Auszeichnungen nur für den Protokoll-Kohorten, da die historische Vergleichsgruppe nicht die vollständige, auf Auszeichnungen basierende Wettbewerbsstruktur verwendete. (D) Warnmuster bezüglich Ergebnisaufblähung, definiert als hohe Leistung in der abschließenden Verteidigung ohne unterstützende diagnostische Stärke oder Belege für individuelles Lernen. (E) Die Bewertung der Teammitgliederbeiträge und die Zählung von Beitragsumverteilungen werden als separate teamübergreifende Indikatoren dargestellt. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Suboptimale Muster und Hinweise zur Fehlerbehebung
Zwei der 23 Protokoll-Kohorten-Teams wiesen ein vorab definiertes Muster einer Punkteinflationswarnung auf. Diese Teams erzielten relativ hohe Endbewertungspunktzahlen, wiesen jedoch schwächere diagnostische Punktzahlen in Aufgabe 1 sowie unterdurchschnittliche individuelle Wissenszuwächse auf. Dieses Muster wurde zur Überprüfung in der nächsten Kursdurchführung markiert, anstatt als Hinweis auf eine Verbesserung des Lernens interpretiert zu werden. Keine wesentliche Deckeleffekt-Warnung wurde beobachtet, da die Ausgangswerte für Wissen unter 85 von 100 lagen und die Ausgangszufriedenheit unter 4,50 von 5 betrug. Die Teilnahme war zwischen den Kohorten vergleichbar, und es wurde kein systematisches Ungleichgewicht bei der Teambeiträge beobachtet, obwohl drei Protokoll-Kohorten-Teams einer Überwachung bedurften.
Insgesamt zeigten die repräsentativen Ergebnisse, dass das Protokoll auf drei Ebenen interpretierbare Ergebnisse lieferte: Implementierungstreue, Lernnachweise auf Ebene der Studierenden und Leistung der Teams im Wettbewerb. Die Warnfälle unterstützten die Anwendung des Protokolls für die Kursüberwachung, die Fehlerbehebung und die anschließende Kursoptimierung.
Der anonymisierte Datensatz, der diese Studie unterstützt, wurde in figshare.com hinterlegt und ist verfügbar unter https://doi.org/10.6084/m9.figshare.33094931. Der Datensatz umfasst Datensätze auf Ebene der Studierenden, Team-Competition-Datensätze, Implementierungsindikatoren, Teilnehmerfluss-Datensätze, Prüfprotokolle zu fehlenden Daten sowie Bewertungsergebnis-Datensätze. Identifikatoren der Studierenden, Einwilligungsdokumente, Verknüpfungsdateien und identifizierbare Freitextkommentare sind nicht enthalten.
Ergänzende Tabelle S1: Schulung der Bewertenden, Beurteilungsübereinstimmung und Verfahren zur Ergebnisabstimmung. Diese Tabelle enthält Angaben zur Zuweisung der Bewertenden, zur Überprüfung der Unabhängigkeit, zur Einführung in den Bewertungsmaßstab, zur Kalibrierung der Bewertung, zur Überprüfung der Übereinstimmung der Bewertungen, zur Regelung bei Bewertungsunterschieden, zum Verfahren zur Ergebnisabstimmung, zur Überprüfung der Dateneingabe, zur Sperre der Ergebnisse und zum Archivierungsverfahren.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Tabelle S2: Fehlersuchmatrix für Protokollabweichungen und suboptimale Durchführung. Diese Tabelle listet Protokollabweichungen und Muster einer suboptimalen Umsetzung auf, einschließlich Auslöserregeln, Korrekturmaßnahmen, erforderliche Aufzeichnungen und Interpretationshinweise.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Tabelle S3: Datensatzstruktur und Variablenverzeichnis für den anonymisierten Bildungsdatensatz. Diese Tabelle definiert Variablen auf Ebene der Studierenden, der Teams und der Unterrichtssitzungen, einschließlich Variablenkodierungen, Beschreibungen, Datentypen, Kodierungsbereiche, Datenquellen und Regeln für fehlende Daten.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatzdatei 1: Operative Vorlagen, Bewertungsmaterialien und Workbook mit anonymisierten Datensätzen. Diese Zusatzdatei enthält die operativen Vorlagen, Bewertungsmaterialien, Auswertungsbögen, Umfrageitems, Fallgestaltungsprüfung, Regeln für fehlende Daten, die Struktur des Workbooks mit anonymisierten Datensätzen, das Bereinigungsprotokoll, die Vorlage für die Zusammenfassung der Analyse sowie die Aufzeichnung der Versionskontrolle, die zur Sicherstellung der Reproduzierbarkeit verwendet wurden. Bitte klicken Sie hier, um die Datei herunterzuladen.