$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Temsili sonuçlar, 16 haftalık yarışma entegreli Stratejik Yönetim dersi geliştirme protokolü tarafından üretilen çıktıları göstermektedir. Sonuçlar; uygulamaye sadakat, öğretim kalitesi, öğrenci düzeyindeki çıktılar, ekip düzeyindeki çıktılar ve önceden tanımlanmış uyarı modellerine göre düzenlenmiştir. Veriler, randomize atama yerine tarihsel bir karşılaştırma grubu olan rutin eğitim kohortlarından elde edildiği için, tüm sonuçlar etkililiğe dair nedensel kanıtlar olarak değil, bağlama özgü uygulama ve değerlendirme çıktıları olarak yorumlanmalıdır.
Uygulama sadakati ve öğretim kalitesi
Mevcut eğitim kayıtları veri seti, tarihsel karşılaştırma kohortunda 88 öğrenciyi ve protokol kohortunda 92 öğrenciyi içermekteydi. Ekip düzeyindeki veri seti, 22 karşılaştırma kohortu ekibini ve 23 protokol kohortu ekibini kapsıyordu. Eşleştirilmiş ön test-son test bilgi testi kuralı uygulandıktan sonra, bilgi kazanımı analizi için karşılaştırma kohortundan 79 öğrenci ve protokol kohortundan 84 öğrenci çalışmaya dahil edildi.
Öğrenme çıktıları yorumlanmadan önce uygulama sadakati kontrol edildi. Protokol kohortu, planlanan 16 haftalık etkinliğin 15'ini (%93,8) tamamlarken, karşılaştırma kohortu 16 etkinliğin 13'ünü (%81,3) tamamladı. Kurumsal veya yapılandırılmış vaka oturumu protokol kohortunda tamamlanmış olup, tam tarihsel karşılaştırma yapısının bir parçası değildi. Protokol kohortunda, 92 öğrenciden 88'i üç yarışma görevinin tamamını bitirdi ve bu oran %95,7'ye karşılık geldi. Karşılaştırma kohortunda, 88 öğrenciden 18'inin üç benzer proje tabanlı değerlendirme için eksiksiz kayıtları vardı ve bu oran %20,5'ti; tarihsel ders tüm yarışma sekansını uygulamadığı için bu kayıtlar yalnızca tanımlayıcı karşılaştırma amacıyla saklandı. Protokol kohortu gönderimlerinin 268'den 243'ü için (%90,7) geri bildirim 7 takvim günü içinde verilmişken, karşılaştırma kohortu gönderimlerinin 66'dan 49'u için (%74,2) geri bildirim verilmiştir. Ortalama geri bildirim dönüş süresi sırasıyla 5,8 ± 1,9 gün ve 8,4 ± 2,7 gün idi. Gözlem tamamlama oranları sırasıyla %81,3 ve %62,5'e ulaştı. Protokol kohortunun çakışan subjektif puanlama için iki değerlendirici ICC değeri 0,82 olup, önceden belirlenen 0,75 eşiğini aşmıştır. Genel olarak, protokol kohortu 5 temel uygulama sadakati göstergesinin 5'ini gerçekleştirirken, karşılaştırma kohortu 5 göstergenin 2'sini gerçekleştirmiştir.
Öğretim kalitesi göstergeleri protokol kohortunda daha yüksekti. Sınıf içi etkileşim, protokol kohortunda 3,70 ± 0,44 ve karşılaştırma kohortunda 3,15 ± 0,48 idi. Vaka tasarım tamlığı sırasıyla 4,08 ± 0,36 ve 3,23 ± 0,42 idi. Görev-rubrik uyumu ise 4,01 ± 0,39 ve 2,30 ± 0,51 idi. Öğrenci katılımı, protokol kohortunda önceden tanımlanmış 0,30 puanlık sinyal eşiğini aşarak 0,42 ± 0,41 puan artarken, karşılaştırma kohortunda 0,07 ± 0,34 puan artış göstermiştir. Devamsızlık oranları kohortlar arasında benzerdi: %89,6 ± %5,8 ve %89,1 ± %6,2. Tablo 5 bu göstergeleri özetlemektedir.
| İndikatör | Veri kaynağı | Önceden tanımlanmış eşik değer | Geçmiş karşılaştırma kohortu | Protokol kohortu | Yorumlama |
| Planlanan haftalık etkinlik tamamlama | Kurs uygulama günlüğü | ≥85% | 13/16 hafta, 81.3% | 15/16 hafta, 93.8% | Protokol kohortunda başarıldı |
| Kurumsal veya yapılandırılmış vaka oturumu uygulaması | Kurumsal katılım günlüğü | ≥1 uygulanan oturum | 0/1 oturum, 0.0% | 1/1 oturum, 100.0% | Protokol kohortunda başarıldı |
| Görev tamamlama veya eşleştirilmiş proje kaydı tamamlama | Teslim kayıtları | ≥85% | 18/88 öğrenci, 20.5% | 88/92 öğrenci, 95.7% | Protokol kohortunda başarıldı; geçmiş kayıtlar yalnızca tanımlayıcıdır |
| 7 gün içinde iletilen geri bildirim | Geri bildirim günlüğü | ≥80% | 49/66 teslimat, 74.2% | 243/268 teslimat, 90.7% | Protokol kohortunda başarıldı |
| Gözlem kontrol listesi tamamlama | Gözlem formları | ≥75% | 10/16 oturum, 62.5% | 13/16 oturum, 81.3% | Protokol kohortunda başarıldı |
| İki değerlendirici uyumu | Değerlendirici puanları | ICC ≥0.75 | Gerekli değil | ICC = 0.82 | Protokol kohortunda başarıldı |
| Geri bildirim dönüş süresi | Geri bildirim günlüğü | Ortalama ≤7 gün tercih edilir | 8.4 ± 2.7 gün | 5.8 ± 1.9 gün | Protokol kohortunda tercih edilen aralıkta |
| Sınıf içi etkileşim | Gözlem kontrol listesi | Ortalama ≥3.50 veya artış ≥0.30 | 3.15 ± 0.48 | 3.70 ± 0.44 | Protokol kohortunda daha yüksek |
| Vaka tasarımı eksiksizliği | Vaka tasarımı kontrol listesi | Ortalama ≥4.00 tercih edilir | 3.23 ± 0.42 | 4.08 ± 0.36 | Protokol kohortunda daha yüksek |
| Görev-rubrik uyumu | Uyum kontrol listesi | Ortalama ≥4.00 | 2.30 ± 0.51 | 4.01 ± 0.39 | Protokol kohortunda başarıldı |
| Öğrenci katılımı kazanımı | Devamsızlık, günlükler, anket maddeleri | Artış ≥0.30 puan | +0.07 ± 0.34 | +0.42 ± 0.41 | Protokol kohortunda başarıldı |
| Devam oranı | Devam kaydı | Tanımlayıcı | 89.1% ± 6.2% | 89.6% ± 5.8% | Kohortlar arasında benzer |
| Temel uygulama sadakati özeti | Uygulama indikatörleri | Çoğu temel eşik değere ulaşıldı | 5 eşikten 2'sine ulaşıldı | 5 eşikten 5'ine ulaşıldı | Protokol amaçlandığı gibi uygulandı |
Tablo 5: Temsili uygulama sadakati ve öğretim kalitesi göstergeleri. Bu tablo, tarihsel karşılaştırma kohortu ve protokol kohortu için temsili uygulama sadakati ve öğretim kalitesi çıktılarını raporlamakta ve önceden tanımlanmış operasyonel eşiklerin karşılanıp karşılanmadığını belirtmektedir.
Şekil 2, uygulama sadakati ve öğretim kalitesi profilini sunmaktadır. Şekil 2A, planlanan haftalık etkinliklerin tamamlanma durumunu göstermektedir. Şekil 2B, üçlü görev dizisi tamamlanmasını göstermektedir. Şekil 2C, 7 takvim günü içinde verilen geri bildirimleri göstermektedir. Şekil 2D sınıf içi etkileşimi, vaka tasarımının bütünlüğünü, görev rubrik uyumunu ve öğrenci katılımı kazanımlarını göstermektedir. Şekil 2E, gözlem tamamlanmasını ve işletme veya yapılandırılmış vaka oturumlarının tamamlanmasını göstermektedir. Yüzde tabanlı sadakat ölçümleri ve ölçek tabanlı öğretim göstergeleri, kendi ölçüm ölçekleri dahilinde yorumlanmalıdır.

Şekil 2: Uygulama sadakati ve öğretim kalitesi profili. Bu şekil, tarihsel karşılaştırma kohortu ve protokol kohortu için uygulama sadakati ve öğretim kalitesi göstergelerini özetlemektedir. (A) Planlanan haftalık etkinliklerin tamamlanma durumu. (B) Tam görev veya eşlenmiş proje kaydı tamamlanma durumu; protokol kohortunun tam üç görev dizisi ile tarihsel karşılaştırma kohortundaki eşlenmiş proje kayıtları ayırt edilmiştir. (C) 7 takvim günü içinde iletilen geri bildirimler; geri bildirim dönüş süresi destekleyici bilgi olarak gösterilmiştir. (D) Sınıf içi etkileşim, vaka tasarım eksiksizliği, görev-rubrik uyumu ve öğrenci katılım artışı dahil olmak üzere öğretim kalitesi göstergeleri. (E) Gözlem kontrol listesi tamamlanma durumu ve işletme veya yapılandırılmış vaka oturumu uygulaması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Öğrenci düzeyindeki öğrenim çıktıları
Öğrenci düzeyindeki sonuçlar, ekip düzeyindeki yarışma sonuçlarından ayrı olarak incelenmiştir. Başlangıç bilgi puanları, protokol kohortunda 64,18 ± 8,74 ve karşılaştırma kohortunda 62,37 ± 8,91 olarak belirlenmiş olup, başlangıçta 1,81 puanlık küçük bir fark (d = 0,21) saptanmıştır. Kurs sonrası bilgi puanları sırasıyla 71,08 ± 8,58 ve 66,41 ± 9,06 olarak gerçekleşmiş ve 4,67 puanlık bir fark (d = 0,53) oluşmuştur. Bilgi kazanımı 6,90 ± 5,41 puan ve 4,04 ± 5,26 puan olarak ölçülmüş olup, 2,86 puanlık bir fark (d = 0,54) gözlemlenmiştir. Protokol kohortu, önceden tanımlanmış olan 5 puanlık bilgi kazanım sinyalini aşmıştır.
Dönem sonundaki bireysel vaka analizi performansı, protokol kohortunda 82,31 ± 7,06 ve karşılaştırma kohortunda 76,42 ± 7,38 olarak gerçekleşmiş olup 5,89 puanlık bir fark saptanmıştır (d = 0,82). Gerçek bir başlangıç vaka analizi değerlendirmesi yapılmadığı için bu sonuç, eşleştirilmiş bir kazanımdan ziyade ders sonrası performans göstergesi olarak yorumlanmıştır. Memnuniyet oranları sırasıyla 3,66 ± 0,58 ve 3,34 ± 0,62'dir (d = 0,53). Algılanan pratik uygunluk ise 3,91 ± 0,55 ve 3,41 ± 0,59 olarak belirlenmiştir (d = 0,88). Rekabet baskısı, protokol kohortunda 3,12 ± 0,76 ile 2,48 ± 0,71'e (d = 0,87) kıyasla daha yüksek çıkmıştır; ancak protokol kohortundaki 92 öğrencinin 13'ü (% 14,1), önceden tanımlanmış % 20'lik uyarı eşiğinin altında kalarak yüksek iş yükü baskısı bildirmiştir. İkincil eğitim çıktısı olarak ele alınan final ders puanı, protokol kohortunda 87,20 ± 6,10 ve karşılaştırma kohortunda 84,80 ± 6,70 olarak gerçekleşmiştir (d = 0,37). Tablo 6, öğrenci düzeyindeki ve ekip düzeyindeki sonuçları özetlemektedir.
| Sonuç | Düzey | Geçmiş karşılaştırma kohortu | Protokol kohortu | Fark | Etki büyüklüğü | Yorum |
| Mevcut eğitim kaydı örneği | Öğrenci | n = 88 | n = 92 | — | — | Kullanılabilir kimliksizleştirilmiş ders kayıtları |
| Eşleştirilmiş bilgi analizi örneği | Öğrenci | n = 79 | n = 84 | — | — | Başlangıç ve ders sonrası bilgi puanlarına sahip öğrenciler |
| Başlangıç bilgi puanı | Öğrenci | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | Küçük başlangıç farkı |
| Ders sonrası bilgi puanı | Öğrenci | 66.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | Protokol kohortunda daha yüksek |
| Bilgi artışı | Öğrenci | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | Protokol kohortu ≥5 puanlık sinyali aşmıştır |
| Bireysel vaka analizi puanı | Öğrenci | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | ≥3 puanlık vaka analizi sinyalini aşmıştır |
| Öğrenci etkileşim artışı | Öğrenci | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | ≥0.30 puanlık sinyali aşmıştır |
| Memnuniyet puanı | Öğrenci | 3.34 ± 0.62 | 3.66 ± 0.58 | 0.32 | 0.53 | Protokol kohortunda daha yüksek |
| Algılanan pratik uygunluk | Öğrenci | 3.41 ± 0.59 | 3.91 ± 0.55 | 0.5 | 0.88 | Protokol kohortunda daha yüksek |
| Rekabet baskısı puanı | Öğrenci | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | Protokol kohortunda daha yüksek baskı |
| Yüksek iş yükü baskısı | Öğrenci | Rekabet baskısı olarak değerlendirilmedi | 13/92, 14.1% | — | — | %20 uyarı eşiğinin altında |
| Final ders puanı | Öğrenci | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | İkincil eğitim sonucu |
| Ekip sayısı | Ekip | n = 22 | n = 23 | — | — | Ekip düzeyi analizleri ayrı olarak bildirilmiştir |
| Karar turu maruziyeti | Ekip | 0.77 ± 0.81 tur | 5.09 ± 0.79 tur | 4.32 | Tahmin edilmedi | Uygulama maruziyet göstergesi |
| Görev 1 veya eşleştirilmiş tanı puanı | Ekip | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | Kısıtlı ekip düzeyi farkı |
| Görev 2 veya eşleştirilmiş karar puanı | Ekip | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | Kısıtlı ekip düzeyi farkı |
| Görev 3 veya eşleştirilmiş final savunma puanı | Ekip | 72.71 ± 6.36 | 77.20 ± 6.04 | 4.49 | 0.72 | En büyük ekip düzeyi farkı |
| Final ekip puanı | Ekip | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.55 | Orta düzeyde ekip düzeyi farkı |
| Stratejik tanı boyutu | Ekip | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | Final savunma rubriği boyutu |
| Stratejik seçim boyutu | Ekip | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | Final savunma rubriği boyutu |
| Uygulama fizibilitesi boyutu | Ekip | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | Final savunma rubriği boyutu |
| İnovasyon boyutu | Ekip | 10.80 ± 1.60 | 11.50 ± 1.50 | 0.7 | — | Final savunma rubriği boyutu |
| Kanıt kullanımı boyutu | Ekip | 7.10 ± 1.00 | 7.50 ± 0.90 | 0.4 | — | Final savunma rubriği boyutu |
| Sözlü savunma boyutu | Ekip | 7.91 ± 1.10 | 8.00 ± 1.00 | 0.09 | — | Final savunma rubriği boyutu |
| Akran katkısı ortalaması | Ekip | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | Önemli bir ekip süreci hatası yok |
| Katkı dengesizliği olan ekipler | Ekip | 4/22, 18.2% | 3/23, 13.0% | −5.2 yüzde puanı | — | Sistematik bir dengesizlik örüntüsü yok |
| Ödül dağılımı | Ekip | Uygulanamaz | 10 yok; 8 üçüncül; 2 ikincil; 3 birincil | — | — | Yalnızca protokol kohortu |
| Puan şişirme uyarı örüntüsü | Ekip | Uygulanamaz | 2/23 ekip, 8.7% | — | — | Sorun giderme için işaretlendi |
Tablo 6: Temsili öğrenci düzeyi ve ekip düzeyi sonuçları.Bu tablo; mevcut eğitim kaydı örneği, eşleştirilmiş bilgi analizi örneği, bilgi puanları, bilgi artışı, bireysel vaka analizi puanı, katılım, memnuniyet, algılanan pratik uygunluk, iş yükü baskısı, final ders puanı, ekip görevi puanları, final savunma rubrik boyutu puanları, akran katkısı, ödül dağılımı ve uyarı göstergeleri dahil olmak üzere temsili öğrenci düzeyi ve ekip düzeyi sonuçlarını raporlamaktadır.
Şekil 3, uygun olan yerlerde belirsizlik tahminleriyle birlikte öğrenci düzeyindeki sonuçları sunmaktadır. Şekil 3A, başlangıç ve kurs sonrası bilgi puanlarını göstermektedir. Şekil 3B, bilgi artışını göstermektedir. Şekil 3C, bireysel vaka analiz performansını göstermektedir. Şekil 3D, etkileşim artışını, memnuniyeti ve algılanan pratik uygunluğu göstermektedir. Şekil 3E ise ikincil bir sonuç olarak final kurs puanını göstermektedir.

Şekil 3: Öğrenci düzeyindeki temsilci öğrenme çıktıları. Bu şekil, bireysel düzeydeki çıktıları, ekip düzeyindeki yarışma çıktılarından ayrı olarak sunmaktadır. (A) Başlangıç ve kurs sonrası Stratejik Yönetim bilgi puanları. (B) Başlangıç değerlendirmesinden kurs sonrası değerlendirmeye kadar olan bilgi artışı. (C) Dönem sonu bireysel vaka analiz puanı. (D) Etkileşim artışı ve memnuniyet ile algılanan pratik uygunluk dahil olmak üzere anket algı göstergeleri, gerektiğinde ayrı ölçeklerle gösterilmiştir. (E) İkincil bir eğitim çıktısı olarak final kurs puanı ve önceden tanımlanmış uyarı eşiğine göre protokol kohortunun yüksek iş yükü baskısı. Değerler, ± değerlerin gösterildiği yerlerde ortalama ± SD olarak sunulmuştur ve hata çubukları SD'yi temsil etmektedir. (E)'de, kesikli referans çizgisi %20'lik önceden tanımlanmış yüksek iş yükü baskısı uyarı eşiğini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Takım düzeyindeki yarışma sonuçları
Ekip düzeyindeki sonuçlar, öğrenci düzeyindeki sonuçlardan ayrı olarak analiz edildi. Betimsel raporlama için, karşılaştırma kohortu vaka-proje kayıtları, mevcut olduğunda karşılaştırılabilir değerlendirme noktalarıyla eşleştirildi; ancak bu kayıtlar, yarışma ile entegre edilmiş dizinin tamamının tamamlandığını temsil etmiyordu. Karar aşamasına maruz kalma, bir öğrenme etkisi tahmini yerine uygulama maruziyet göstergesi olarak rapor edildi. Protokol kohortu 5,09 ± 0,79 karar aşamasını tamamlarken, karşılaştırma kohortu 0,77 ± 0,81 eşleşmiş aşama tamamladı.
Protokol kohortunda, ortalama Görev 1 puanı 72,18 ± 6,28, ortalama Görev 2 puanı 73,52 ± 5,91 ve ortalama Görev 3 puanı 77,20 ± 6,04 idi. Buna karşılık gelen eşleştirilmiş karşılaştırma kohortu puanları sırasıyla 69,84 ± 6,45, 71,09 ± 6,12 ve 72,71 ± 6,36 idi. Nihai ekip puanı protokol kohortunda 74,30 ± 5,52, karşılaştırma kohortunda ise 71,21 ± 5,81 idi. Nihai savunma veya eşleştirilmiş nihai proje rubrik boyutları sırasıyla şu şekildeydi: stratejik tanı, 15,60 ± 1,70 ve 14,60 ± 1,80; stratejik seçim, 19,10 ± 2,10 ve 17,90 ± 2,20; uygulama fizibilitesi, 15,50 ± 1,80 ve 14,40 ± 1,90; inovasyon, 11,50 ± 1,50 ve 10,80 ± 1,60; kanıt kullanımı, 7,50 ± 0,90 ve 7,10 ± 1,00; ve sözlü savunma, 8,00 ± 1,00 ve 7,91 ± 1,10.
Kontrol grubu ödül tabanlı yarışma yapısının tamamını kullanmadığı için ödül dağılımı yalnızca protokol kohortu için rapor edilmiştir. Protokol kohortunda 10 ekip hiç ödül almamış, 8 ekip üçüncülük ödülü, 2 ekip ikincilik ödülü ve 3 ekip birincilik ödülü almıştır. Ortalama akran katkısı protokol kohortunda 3,91 ± 0,36 ve kontrol grubunda 3,72 ± 0,41 olarak belirlenmiştir. Katkı dengesizliği, protokol kohortundaki 23 ekibin 3'ünde ve kontrol grubundaki 22 ekibin 4'ünde tespit edilmiştir. Protokol kohortundaki 23 ekibin 2'sinde, %8,7'ye tekabül eden bir puan şişirme uyarı örüntüsü saptanmıştır.
Şekil 4, ekip düzeyindeki sonuçları ve uyarı modellerini sunmaktadır. Şekil 4A Görev 1, Görev 2 ve Görev 3 ekip puanlarını göstermektedir. Şekil 4B final savunması rubrik boyut puanlarını göstermektedir. Şekil 4C yalnızca protokol-kohort ödül dağılımını göstermektedir. Şekil 4D puan şişirme uyarı vakalarını göstermektedir. Şekil 4E akran katkı dengesini ve katkı dengesizliği sayılarını göstermektedir.

Şekil 4: Ekip düzeyindeki yarışma sonuçları ve uyarı örüntüleri. Bu şekil, ekip düzeyindeki sonuçları öğrenci düzeyindeki öğrenme sonuçlarından ayrı olarak sunmaktadır. (A) Görev 1 stratejik tanı, Görev 2 stratejik karar ve Görev 3 final savunması için görev aşaması ekip puanları; mevcut olduğu durumlarda tarihsel karşılaştırma kohortu için eşleştirilmiş proje puanları gösterilmiştir. (B) Stratejik tanı, stratejik seçim, uygulama fizibilitesi, inovasyon, kanıt kullanımı ve sözlü savunma dahil olmak üzere final savunması rubrik boyut puanları. (C) Tarihsel karşılaştırma kohortu ödül tabanlı yarışma yapısının tamamını kullanmadığı için yalnızca protokol kohortu ödül dağılımı. (D) Destekleyici tanısal güç veya bireysel öğrenme kanıtı olmaksızın yüksek final savunması performansı olarak tanımlanan puan enflasyonu uyarı örüntüsü. (E) Akran katkı puanı ve katkı dengesizliği sayıları, ayrı ekip düzeyi göstergeleri olarak görüntülenmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Optimal olmayan paternler ve sorun giderme göstergeleri
Protokol kohortundaki 23 ekipten ikisinde, önceden tanımlanmış bir puan şişirme uyarı örüntüsü görüldü. Bu ekipler, nispeten yüksek final savunma puanlarına sahipti ancak Görev 1 tanı puanları daha düşük ve bireysel bilgi kazanımları ortalamanın altındaydı. Bu örüntü, öğrenme gelişiminin bir kanıtı olarak yorumlanmak yerine, bir sonraki kurs döngüsünde takip edilmesi için işaretlendi. Başlangıç bilgi puanlarının 100 üzerinden 85'in altında ve başlangıç memnuniyetinin 5 üzerinden 4,50'nin altında olması nedeniyle herhangi bir önemli tavan etkisi uyarısı gözlemlenmedi. Katılım kohortlar arasında benzerdi ve üç protokol kohort ekibinin izlenmesi gerekmiş olsa da, sistematik bir ekip katkı dengesizliği gözlemlenmedi.
Genel olarak, temsili sonuçlar protokolün üç düzeyde yorumlanabilir çıktılar ürettiğini göstermiştir: uygulama sadakati, öğrenci düzeyinde öğrenme kanıtları ve ekip düzeyinde yarışma performansı. Uyarı vakaları, protokolün ders izleme, sorun giderme ve ardından gelen ders iyileştirmeleri için kullanımını desteklemiştir.
Bu çalışmayı destekleyen kimliksizleştirilmiş veri seti figshare.com adresinde saklanmıştır ve https://doi.org/10.6084/m9.figshare.33094931 adresinden erişilebilirdir. Veri seti; öğrenci düzeyindeki kayıtları, takım düzeyindeki yarışma kayıtlarını, uygulama göstergelerini, katılımcı akış kayıtlarını, eksik veri denetim kayıtlarını ve değerlendirici puan kayıtlarını içermektedir. Öğrenci tanımlayıcıları, onam kayıtları, bağlantı dosyaları ve kimlik belirleyici serbest metin yorumları dahil edilmemiştir.
Ek Tablo S1: Değerlendirici eğitimi, puanlama uyumu ve puan uzlaştırma prosedürü. Bu tablo; değerlendirici atamasını, bağımsızlık kontrolünü, rubrik oryantasyonunu, kalibrasyon puanlamasını, puanlama uyumu kontrolünü, puan farkı kuralını, uzlaştırma prosedürünü, veri giriş denetimini, puan kilitlemeyi ve arşivleme prosedürünü sunmaktadır.Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Tablo S2: Protokol sapmaları ve suboptimal uygulama için sorun giderme matrisi. Bu tablo, tetikleyici kurallar, düzeltici eylemler, gerekli kayıtlar ve yorumlama notaları da dahil olmak üzere protokol sapmalarını ve suboptimal uygulama modellerini listeler.Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Tablo S3: Kimliksizleştirilmiş eğitimsel veri seti için veri seti yapısı ve değişken sözlüğü.Bu tablo; değişken kodları, açıklamaları, veri türleri, kodlama aralıkları, veri kaynakları ve eksik veri kuralları dahil olmak üzere öğrenci düzeyindeki, ekip düzeyindeki ve ders oturumu düzeyindeki değişkenleri tanımlamaktadır.Lütfen bu dosyayı indirmek için buraya tıklayınız.
Ek Dosya 1: Operasyonel şablonlar, değerlendirme materyalleri ve anonimleştirilmiş veri seti çalışma kitabı.Bu ek dosya; tekrarlanabilirliği desteklemek için kullanılan operasyonel şablonları, değerlendirme materyallerini, puanlama formlarını, anket maddelerini, vaka tasarım kontrolünü, eksik veri kurallarını, anonimleştirilmiş veri seti çalışma kitabı yapısını, temizleme günlüğünü, analiz özeti şablonunu ve versiyon kontrol kaydını sunmaktadır.Bu dosyayı indirmek için lütfen buraya tıklayın.