$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Przedstawione wyniki pokazują efekty wygenerowane przez 16-tygodniowy protokół ulepszenia kursu Zarządzania Strategicznego zintegrowanego z elementami rywalizacji. Wyniki zostały uporządkowane według wierności implementacji, jakości nauczania, efektów na poziomie studentów, efektów na poziomie zespołów oraz zdefiniowanych wcześniej wzorców ostrzegawczych. Ponieważ dane pochodzą z rutynowych kohort edukacyjnych z historyczną grupą porównawczą, a nie z przydziału randomizowanego, wszystkie wyniki należy interpretować jako wyniki implementacji i ewaluacji specyficzne dla danego kontekstu, a nie jako dowody przyczynowe na skuteczność.
Wierność implementacji i jakość nauczania
Dostępny zestaw danych z dokumentacji edukacyjnej obejmował 88 studentów w kohorcie porównawczej (historycznej) oraz 92 studentów w kohorcie protokołu. Zestaw danych na poziomie zespołów obejmował 22 zespoły z kohorty porównawczej i 23 zespoły z kohorty protokołu. Po zastosowaniu reguły sparowanych testów wiedzy przed i po interwencji, do analizy przyrostu wiedzy zakwalifikowano 79 studentów z kohorty porównawczej oraz 84 studentów z kohorty protokołu.
Przed interpretacją efektów uczenia się sprawdzono wierność implementacji. Grupa protokołu zrealizowała 15 z 16 zaplanowanych cotygodniowych aktywności (93,8%), natomiast grupa porównawcza zrealizowała 13 z 16 (81,3%). Sesja przedsiębiorstwa lub ustrukturyzowanego studium przypadku została zrealizowana w grupie protokołu, ale nie stanowiła części pełnej historycznej struktury porównawczej. W grupie protokołu 88 z 92 studentów ukończyło wszystkie trzy zadania konkursowe, co odpowiada 95,7%. W grupie porównawczej 18 z 88 studentów posiadało kompletne rekordy dla trzech porównywalnych ocen opartych na projektach, co odpowiada 20,5%; rekordy te zachowano wyłącznie do porównania opisowego, ponieważ w kursie historycznym nie wdrożono pełnej sekwencji konkursowej. Informacja zwrotna została przekazana w ciągu 7 dni kalendarzowych dla 243 z 268 zgłoszeń w grupie protokołu, co odpowiada 90,7%, w porównaniu do 49 z 66 zgłoszeń w grupie porównawczej, co odpowiada 74,2%. Średni czas przekazania informacji zwrotnej wynosił odpowiednio 5,8 ± 1,9 dnia oraz 8,4 ± 2,7 dnia. Stopień ukończenia obserwacji wyniósł odpowiednio 81,3% i 62,5%. Współczynnik ICC dla dwóch oceniających w grupie protokołu w przypadku nakładających się ocen subiektywnych wyniósł 0,82, przekraczając predefiniowany próg 0,75. Ogólnie grupa protokołu osiągnęła 5 z 5 głównych wskaźników wierności implementacji, podczas gdy grupa porównawcza osiągnęła 2 z 5.
Wskaźniki jakości dydaktycznej były wyższe w grupie stosującej protokół. Interakcje w klasie wyniosły 3,70 ± 0,44 w grupie protokołu i 3,15 ± 0,48 w grupie porównawczej. Kompletność projektu przypadku wyniosła odpowiednio 4,08 ± 0,36 oraz 3,23 ± 0,42. Spójność zadań z kryteriami oceny wyniosła 4,01 ± 0,39 oraz 2,30 ± 0,51. Zaangażowanie studentów wzrosło o 0,42 ± 0,41 punktu w grupie protokołu, przekraczając zdefiniowany próg sygnałowy 0,30 punktu, podczas gdy w grupie porównawczej wzrost wyniósł 0,07 ± 0,34 punktu. Obecność była podobna w obu grupach: 89,6% ± 5,8% oraz 89,1% ± 6,2%. Tabela 5 podsumowuje te wskaźniki.
| Wskaźnik | Źródło danych | Predefiniowany próg | Historyczna kohorta porównawcza | Kohorta protokołu | Interpretacja |
| Realizacja zaplanowanych tygodniowych aktywności | Dziennik wdrażania kursu | ≥85% | 13/16 tygodni, 81.3% | 15/16 tygodni, 93.8% | Osiągnięto w kohorcie protokołu |
| Wdrożenie sesji przypadków strukturalnych lub przedsiębiorstw | Dziennik zaangażowania przedsiębiorstw | ≥1 wdrożona sesja | 0/1 sesja, 0.0% | 1/1 sesja, 100.0% | Osiągnięto w kohorcie protokołu |
| Ukończenie zadania lub przypisanej dokumentacji projektu | Rejestry przesyłania prac | ≥85% | 18/88 studentów, 20.5% | 88/92 studentów, 95.7% | Osiągnięto w kohorcie protokołu; rekordy historyczne mają charakter wyłącznie opisowy |
| Informacja zwrotna przekazana w ciągu 7 dni | Dziennik informacji zwrotnych | ≥80% | 49/66 przesyłek, 74.2% | 243/268 przesyłek, 90.7% | Osiągnięto w kohorcie protokołu |
| Uzupełnienie listy kontrolnej obserwacji | Formularze obserwacji | ≥75% | 10/16 sesji, 62.5% | 13/16 sesji, 81.3% | Osiągnięto w kohorcie protokołu |
| Zgodność między dwoma oceniającymi | Wyniki ocen | ICC ≥0.75 | Niewymagane | ICC = 0.82 | Osiągnięto w kohorcie protokołu |
| Czas odpowiedzi z informacją zwrotną | Dziennik informacji zwrotnych | Preferowana średnia ≤7 dni | 8.4 ± 2.7 dni | 5.8 ± 1.9 dni | W preferowanym zakresie w kohorcie protokołu |
| Interakcja w klasie | Lista kontrolna obserwacji | Średnia ≥3.50 lub wzrost ≥0.30 | 3.15 ± 0.48 | 3.70 ± 0.44 | Wyższa w kohorcie protokołu |
| Kompletność projektu przypadku | Lista kontrolna projektu przypadku | Preferowana średnia ≥4.00 | 3.23 ± 0.42 | 4.08 ± 0.36 | Wyższa w kohorcie protokołu |
| Zgodność zadania z rubryką oceny | Lista kontrolna zgodności | Średnia ≥4.00 | 2.30 ± 0.51 | 4.01 ± 0.39 | Osiągnięto w kohorcie protokołu |
| Wzrost zaangażowania studentów | Obecność, dzienniki, pytania ankietowe | Wzrost ≥0.30 pkt | +0.07 ± 0.34 | +0.42 ± 0.41 | Osiągnięto w kohorcie protokołu |
| Wskaźnik obecności | Rejestr obecności | Opisowy | 89.1% ± 6.2% | 89.6% ± 5.8% | Podobny w obu kohortach |
| Podsumowanie wierności wdrażania podstawowego | Wskaźniki wdrożenia | Osiągnięto większość podstawowych progów | Osiągnięto 2/5 progów | Osiągnięto 5/5 progów | Protokół wdrożony zgodnie z założeniami |
Tabela 5: Reprezentatywne wskaźniki wierności implementacji i jakości instruktażu.W tabelach tej przedstawiono reprezentatywne wyniki wierności implementacji i jakości instruktażu dla kohorty porównawczej historycznej oraz kohorty protokolarnej, określając, czy osiągnięto zdefiniowane wcześniej progi operacyjne.
Rysunek 2 przedstawia profil wierności implementacji oraz jakości nauczania. Rysunek 2A pokazuje realizację zaplanowanych cotygodniowych działań. Rysunek 2B pokazuje realizację sekwencji trzech zadań. Rysunek 2C pokazuje informacje zwrotne przekazane w ciągu 7 dni kalendarzowych. Rysunek 2D pokazuje interakcje w klasie, kompletność projektu studium przypadku, zgodność rubryk zadań oraz wzrost zaangażowania studentów. Rysunek 2E pokazuje realizację obserwacji oraz realizację sesji z przedsiębiorstwem lub ustrukturyzowanego studium przypadku. Mierniki wierności oparte na procentach oraz wskaźniki nauczania oparte na skalach należy interpretować w ramach ich własnych skal pomiarowych.

Rycina 2: Profil wierności implementacji i jakości instruktażowej. Ta rycina podsumowuje wskaźniki wierności implementacji oraz jakości instruktażowej dla kohorty porównawczej historycznej oraz kohorty protokołu. (A) Realizacja zaplanowanych zajęć tygodniowych. (B) Ukończenie pełnego zadania lub zmapowanego rekordu projektu, z rozróżnieniem pełnej sekwencji trzech zadań w kohorcie protokołu od zmapowanych rekordów projektów w kohorcie porównawczej historycznej. (C) Informacje zwrotne przekazane w ciągu 7 dni kalendarzowych, przy czym czas odpowiedzi z informacją zwrotną przedstawiono jako informacje uzupełniające. (D) Wskaźniki jakości instruktażowej, w tym interakcje w klasie, kompletność projektu przypadku, zgodność zadania z rubryką oceny oraz wzrost zaangażowania studentów. (E) Wypełnienie listy kontrolnej obserwacji oraz implementacja sesji przypadku przedsiębiorstwa lub ustrukturyzowanej. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Efekty uczenia się na poziomie studenckim
Wyniki na poziomie studenta analizowano oddzielnie od wyników rywalizacji na poziomie zespołów. Wyniki wiedzy wyjściowej wynosiły 64,18 ± 8,74 w kohorcie protokołu i 62,37 ± 8,91 w kohorcie porównawczej, przy niewielkiej różnicy wyjściowej wynoszącej 1,81 punktu (d = 0,21). Wyniki wiedzy po kursie wynosiły 71,08 ± 8,58 oraz 66,41 ± 9,06, przy różnicy 4,67 punktu (d = 0,53). Przyrost wiedzy wyniósł 6,90 ± 5,41 punktu oraz 4,04 ± 5,26 punktu, przy różnicy 2,86 punktu (d = 0,54). Kohorta protokołu przekroczyła wstępnie zdefiniowany sygnał przyrostu wiedzy wynoszący 5 punktów.
Wyniki indywidualnej analizy przypadków na koniec semestru wyniosły 82,31 ± 7,06 w grupie protokołu oraz 76,42 ± 7,38 w grupie porównawczej, co stanowi różnicę 5,89 punktu (d = 0,82). Wynik ten zinterpretowano jako wskaźnik osiągnięć po kursie, a nie jako przyrost w parze, ponieważ nie przeprowadzono rzeczywistej oceny bazowej z analizy przypadków. Poziom satysfakcji wyniósł odpowiednio 3,66 ± 0,58 oraz 3,34 ± 0,62 (d = 0,53). Postrzegana istotność praktyczna wyniosła 3,91 ± 0,55 oraz 3,41 ± 0,59 (d = 0,88). Presja konkurencyjna była wyższa w grupie protokołu (3,12 ± 0,76) w porównaniu z grupą porównawczą (2,48 ± 0,71; d = 0,87), jednak wysoką presję wynikającą z obciążenia pracą zgłosiło 13 z 92 studentów grupy protokołu, co odpowiada 14,1%, czyli wartości poniżej zdefiniowanego progu ostrzegawczego wynoszącego 20%. Końcowy wynik kursu potraktowano jako wtórny efekt edukacyjny; wyniósł on 87,20 ± 6,10 w grupie protokołu oraz 84,80 ± 6,70 w grupie porównawczej (d = 0,37). Tabela 6 podsumowuje wyniki na poziomie studenta i zespołu.
| Wynik | Poziom | Historyczna kohorta porównawcza | Kohorta protokołu | Różnica | Wielkość efektu | Interpretacja |
| Dostępna próbka dokumentacji edukacyjnej | Student | n = 88 | n = 92 | — | — | Użyteczne zanonimizowane rekordy kursów |
| Próbka do sparowanej analizy wiedzy | Student | n = 79 | n = 84 | — | — | Studenci z wynikami testów wiedzy przed i po kursie |
| Wynik wyjściowy wiedzy | Student | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | Niewielka różnica wyjściowa |
| Wynik testu wiedzy po kursie | Student | 66.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | Wyższa wartość w kohorcie protokołu |
| Przyrost wiedzy | Student | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | Kohorta protokołu przekroczyła sygnał ≥5 punktów |
| Wynik analizy pojedynczego przypadku | Student | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | Przekroczono sygnał analizy przypadków dla ≥3 punktów |
| Wzrost zaangażowania studentów | Student | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | Przekroczono sygnał ≥0,30 pkt |
| Wynik satysfakcji | Student | 3.34 ± 0.62 | 3.66 ± 0.58 | 0.32 | 0.53 | Wyższa w kohorcie protokołu |
| Postrzegana istotność praktyczna | Student | 3.41 ± 0.59 | 3.91 ± 0.55 | 0.5 | 0.88 | Wyższa grupa w kohorcie protokołu |
| Wskaźnik presji konkurencyjnej | Student | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | Wyższe ciśnienie w kohorcie protokołu |
| Wysoka presja związana z obciążeniem pracą | Student | Nie oceniono jako presji konkurencyjnej | 13/92, 14.1% | — | — | Poniżej 20% progu ostrzegawczego |
| Końcowa ocena z kursu | Student | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | Wtórny punkt końcowy edukacyjny |
| Liczba zespołów | Zespół | n = 22 | n = 23 | — | — | Analizy na poziomie zespołów raportowane oddzielnie |
| Ekspozycja w rundzie decyzyjnej | Zespół | 0,77 ± 0,81 rund | 5,09 ± 0,79 rund | 4.32 | Nieoszacowano | Wskaźnik ekspozycji implementacyjnej |
| Zadanie 1 lub przypisany wynik diagnozy | Zespół | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | Umiarkowana różnica na poziomie zespołu |
| Zadanie 2 lub zmapowany wynik decyzji | Zespół | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | Umiarkowana różnica na poziomie zespołów |
| Zadanie 3 lub przypisany wynik obrony końcowej | Zespół | 72.71 ± 6.36 | 77.20 ± 6.04 | 4.49 | 0.72 | Największa różnica na poziomie zespołów |
| Końcowy wynik zespołu | Zespół | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.55 | Umiarkowana różnica na poziomie zespołu |
| Wymiar diagnozy strategicznej | Zespół | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | Kryteria oceny obrony końcowej |
| Wymiar wyboru strategicznego | Zespół | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | Kryteria oceny obrony końcowej |
| Wymiar wykonalności wdrożenia | Zespół | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | Kryteria oceny obrony końcowej |
| Wymiar innowacji | Zespół | 10.80 ± 1.60 | 11.50 ± 1.50 | 0.7 | — | Kryterium oceny obrony końcowej |
| Wymiar wykorzystania dowodów | Zespół | 7.10 ± 1.00 | 7.50 ± 0.90 | 0.4 | — | Kryterium oceny obrony końcowej |
| Wymiar obrony ustnej | Zespół | 7.91 ± 1.10 | 8.00 ± 1.00 | 0.09 | — | Kryteria oceny obrony końcowej |
| Średnia wkładu recenzentów | Zespół | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | Brak poważnych błędów w procesach zespołowych |
| Zespoły z niezrównoważonym wkładem pracy | Zespół | 4/22, 18.2% | 3/23, 13.0% | −5,2 punktu procentowego | — | Brak systematycznego wzorca niezrównoważenia |
| Rozkład nagród | Zespół | Nie dotyczy | 10 brak; 8 trzeci; 2 drugi; 3 pierwszy | — | — | Tylko kohorta protokołu |
| Wzorzec ostrzegający przed zawyżaniem wyników | Zespół | Nie dotyczy | 2/23 zespoły, 8,7% | — | — | Oznaczone do rozwiązywania problemów |
Tabela 6: Reprezentatywne wyniki na poziomie studenta i zespołu. W tabeli przedstawiono reprezentatywne wyniki na poziomie studenta i zespołu, w tym dostępną próbkę zapisów edukacyjnych, sparowaną próbkę analizy wiedzy, wyniki testów wiedzy, przyrost wiedzy, indywidualny wynik analizy przypadku, zaangażowanie, satysfakcję, postrzeganą relewancję praktyczną, presję związaną z obciążeniem pracą, końcową ocenę z kursu, wyniki zadań zespołowych, wyniki wymiarów rubryki obrony końcowej, wkład rówieśników, rozdzielenie nagród oraz wskaźniki ostrzegawcze.
Rysunek 3 przedstawia wyniki na poziomie studentów wraz z szacunkami niepewności, gdzie jest to właściwe. Rysunek 3A pokazuje wyniki wiedzy wyjściowej oraz po zakończeniu kursu. Rysunek 3B przedstawia przyrost wiedzy. Rysunek 3C pokazuje indywidualne wyniki analizy przypadków. Rysunek 3D przedstawia przyrost zaangażowania, satysfakcję oraz postrzeganą przydatność praktyczną. Rysunek 3E przedstawia końcową ocenę z kursu jako wynik wtórny.

Rysunek 3: Reprezentatywne wyniki uczenia się na poziomie studenta. Ta figura przedstawia wyniki na poziomie indywidualnym oddzielnie od wyników rywalizacji na poziomie zespołowym. (A) Wyniki wiedzy z zakresu zarządzania strategicznego przed kursem (baseline) i po kursie. (B) Przyrost wiedzy od oceny wyjściowej do oceny po kursie. (C) Indywidualny wynik analizy przypadku z końca semestru. (D) Przyrost zaangażowania i wskaźniki percepcji z ankiety, w tym satysfakcja i postrzegana praktyczna przydatność, przedstawione z oddzielnymi skalami tam, gdzie było to wymagane. (E) Końcowy wynik kursu jako wtórny wynik edukacyjny oraz wysoka presja obciążenia pracą kohorty protokolarnej w stosunku do zdefiniowanego progu ostrzegawczego. Wartości przedstawiono jako średnia ± SD w przypadkach, gdy wskazano wartości ±, a słupki błędów reprezentują SD. Na rysunku (E) przerywana linia referencyjna wskazuje zdefiniowany próg ostrzegawczy wysokiej presji obciążenia pracą wynoszący 20%. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Wyniki rywalizacji na poziomie zespołu
Wyniki na poziomie zespołów analizowano oddzielnie od wyników na poziomie studentów. W raportowaniu opisowym rekordy projektów przypadków z kohorty porównawczej przypisano do porównywalnych punktów oceny, jeśli były one dostępne, jednak rekordy te nie reprezentowały ukończenia pełnej sekwencji zintegrowanej z konkursem. Ekspozycję na rundy decyzyjne raportowano jako wskaźnik ekspozycji na wdrożenie, a nie jako szacunek efektu uczenia się. Kohorta protokołu ukończyła 5,09 ± 0,79 rund decyzyjnych, podczas gdy kohorta porównawcza ukończyła 0,77 ± 0,81 przypisanych rund.
W kohorcie protokołu średni wynik w Zadaniu 1 wyniósł 72,18 ± 6,28, średni wynik w Zadaniu 2 wyniósł 73,52 ± 5,91, a średni wynik w Zadaniu 3 wyniósł 77,20 ± 6,04. Odpowiadające im wyniki w kohorcie porównawczej (po mapowaniu) wyniosły odpowiednio 69,84 ± 6,45, 71,09 ± 6,12 oraz 72,71 ± 6,36. Końcowy wynik zespołu wyniósł 74,30 ± 5,52 w kohorcie protokołu oraz 71,21 ± 5,81 w kohorcie porównawczej. Wymiary rubryki obrony końcowej lub zmapowanego projektu końcowego prezentowały się następująco: diagnoza strategiczna, 15,60 ± 1,70 i 14,60 ± 1,80; wybór strategiczny, 19,10 ± 2,10 i 17,90 ± 2,20; wykonalność wdrożenia, 15,50 ± 1,80 i 14,40 ± 1,90; innowacyjność, 11,50 ± 1,50 i 10,80 ± 1,60; wykorzystanie dowodów, 7,50 ± 0,90 i 7,10 ± 1,00; oraz obrona ustna, 8,00 ± 1,00 i 7,91 ± 1,10, odpowiednio.
Rozkład nagród przedstawiono wyłącznie dla kohorty protokolarnej, ponieważ kohorta porównawcza nie korzystała z pełnej struktury rywalizacji opartej na nagrodach. W kohorcie protokolarnej 10 zespołów nie otrzymało żadnej nagrody, 8 otrzymało trzecią nagrodę, 2 otrzymały drugą nagrodę, a 3 otrzymały pierwszą nagrodę. Średni wkład rówieśników wyniósł 3,91 ± 0,36 w kohorcie protokolarnej i 3,72 ± 0,41 w kohorcie porównawczej. Nierównowaga wkładów zidentyfikowana została w 3 z 23 zespołów kohorty protokolarnej oraz w 4 z 22 zespołów kohorty porównawczej. Wzorzec ostrzegający przed inflacją punktacji zidentyfikowano w 2 z 23 zespołów kohorty protokolarnej, co odpowiada 8,7%.
Rysunek 4 przedstawia wyniki na poziomie zespołu oraz wzorce ostrzeżeń. Rysunek 4A pokazuje wyniki zespołów dla Zadania 1, Zadania 2 i Zadania 3. Rysunek 4B przedstawia wyniki dla poszczególnych wymiarów rubryki oceny końcowej obrony. Rysunek 4C pokazuje wyłącznie rozkład nagród dla kohort protokołów. Rysunek 4D przedstawia przypadki ostrzeżeń o zawyżeniu wyników. Rysunek 4E pokazuje równowagę wkładu rówieśników oraz liczbę przypadków nierównomiernego wkładu.

Rysunek 4: Wyniki konkurencji na poziomie zespołów i wzorce ostrzeżeń. Figura ta przedstawia wyniki na poziomie zespołów oddzielnie od wyników uczenia się na poziomie studentów. (A) Wyniki zespołów na poszczególnych etapach zadania dla Zadania 1 (diagnoza strategiczna), Zadania 2 (decyzja strategiczna) i Zadania 3 (obrona końcowa), wraz z naniesionymi wynikami projektów dla kohorty porównawczej historycznej, jeśli były dostępne. (B) Wyniki wymiarów rubryki oceny obrony końcowej, obejmujące diagnozę strategiczną, wybór strategiczny, wykonalność wdrożenia, innowacyjność, wykorzystanie dowodów oraz obronę ustną. (C) Rozkład nagród wyłącznie dla kohorty protokolarnej, ponieważ kohorta porównawcza historyczna nie korzystała z pełnej struktury konkurencji opartej na nagrodach. (D) Wzorzec ostrzeżenia o zawyżaniu wyników, zdefiniowany jako wysoka ocena obrony końcowej przy braku wspierającej mocy diagnostycznej lub dowodów indywidualnego uczenia się. (E) Wynik wkładu rówieśników oraz liczba niezrównoważonych wkładów przedstawione jako oddzielne wskaźniki na poziomie zespołu. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Nieoptymalne wzorce i wskaźniki rozwiązywania problemów
Dwa z 23 zespołów z kohorty protokołu wykazały zdefiniowany wcześniej wzorzec ostrzegawczy dotyczący zawyżania wyników. Zespoły te uzyskały stosunkowo wysokie końcowe oceny z obrony, lecz słabsze wyniki diagnostyczne w Zadaniu 1 oraz poniżej średniej przyrosty wiedzy indywidualnej. Wzorzec ten został odnotowany w celu dalszej analizy w następnej iteracji kursu, zamiast być interpretowanym jako dowód poprawy procesu uczenia się. Nie zaobserwowano istotnego ostrzeżenia dotyczącego efektu sufitowego, ponieważ wyjściowe wyniki wiedzy były niższe niż 85 z 100, a wyjściowy poziom satysfakcji był niższy niż 4,50 z 5. Frekwencja była podobna w obu kohortach i nie zauważono systematycznej nierównowagi wkładu zespołowego, choć trzy zespoły z kohorty protokołu wymagały monitorowania.
Ogólnie rzecz biorąc, reprezentatywne wyniki wykazały, że protokół wygenerował interpretowalne dane na trzech poziomach: wierności implementacji, dowodów uczenia się na poziomie studenta oraz wyników rywalizacji na poziomie zespołu. Przypadki ostrzegawcze potwierdziły przydatność protokołu do monitorowania przebiegu kursu, rozwiązywania problemów oraz późnego udoskonalania kursu.
Zanonimizowany zbiór danych wspierający niniejsze badanie został zdeponowany w serwisie figshare.com i jest dostępny pod adresem https://doi.org/10.6084/m9.figshare.33094931. Zbiór danych obejmuje rekordy na poziomie studentów, rekordy rywalizacji na poziomie zespołów, wskaźniki wdrożenia, rekordy przepływu uczestników, rekordy audytu brakujących danych oraz rekordy ocen raterów. Identyfikatory studentów, dokumenty zgody, pliki powiązań oraz identyfikowalne komentarze w formie wolnego tekstu nie zostały uwzględnione.
Tabela uzupełniająca S1: Szkolenie oceniających, zgodność punktacji i procedura uzgadniania wyników.Tabela ta przedstawia przydział oceniających, weryfikację niezależności, zapoznanie z rubryką, punktację kalibracyjną, weryfikację zgodności punktacji, zasadę różnicy punktowej, procedurę uzgadniania wyników, audyt wprowadzania danych, blokadę punktacji oraz procedurę archiwizacji.Proszę kliknąć tutaj, aby pobrać ten plik.
Tabela uzupełniająca S2: Macierz rozwiązywania problemów dla odchyleń od protokołu i nieoptymalnej implementacji. Tabela ta zawiera odchylenia od protokołu i wzorce nieoptymalnej implementacji, w tym reguły wyzwalające, działania korygujące, wymagane zapisy oraz uwagi interpretacyjne.Prosimy kliknąć tutaj, aby pobrać ten plik.
Tabela uzupełniająca S3: Struktura zbioru danych i słownik zmiennych dla zanonimizowanego edukacyjnego zbioru danych. Tabela ta definiuje zmienne na poziomie studenta, zespołu oraz sesji zajęciowych, w tym kody zmiennych, opisy, typy danych, zakresy kodowania, źródła danych oraz reguły dotyczące brakujących danych.Prosimy kliknąć tutaj, aby pobrać ten plik.
Plik uzupełniający 1: Szablony operacyjne, materiały oceniające i arkusz z zanonimizowanym zbiorem danych.Ten plik uzupełniający zawiera szablony operacyjne, materiały oceniające, formularze punktacji, pytania ankiety, weryfikację projektu przypadków, zasady dotyczące brakujących danych, strukturę arkusza z zanonimizowanym zbiorem danych, dziennik oczyszczania danych, szablon podsumowania analizy oraz rejestr kontroli wersji wykorzystane w celu zapewnienia reprodukowalności.Prosimy kliknąć tutaj, aby pobrać ten plik.