Davranışsal Gözlem ve Öğrenme Analitiği Kullanarak Üniversite Öğrencilerinin Sınıf içi Katılımının, Yansıtıcı İfade ve Prososyal Niyetinin Değerlendirilmesi

Özet

Bu protokol; üniversite öğrencilerinin davranışsal katılımını, yansıtıcı ifadelerini ve sosyal odaklı öğrenme çıktılarını 4 haftalık bir öğretim sürecinde değerlendirmek için sınıf gözlemi, yansıtıcı yazım, prososyal niyet ölçümü ve öğrenme analitiklerini entegre eder. Protokol; etik onay sürecini, araç içeriklerini, yazılım iş akışını, eksik verilerin yönetimini, sorun giderme prosedürlerini ve gözlemlenen uygulama kısıtlamaları dahil olmak üzere temsili sonuçların yorumlanmasını detaylandırır.

Özet

Geleneksel metriklerin ötesinde, öğrenci katılımının çok boyutlu değerlendirilmesi ihtiyacını karşılamak amacıyla bu protokol; lisans derslerinde sınıf içi etkileşimin, yansıtıcı ifadenin, öğrenme analitiği aktivitesinin ve prososyal niyetin değerlendirilmesine yönelik yapılandırılmış bir yaklaşım tanımlamaktadır. Protokol; aralık tabanlı davranışsal gözlem, haftalık yapılandırılmış yansıtıcı yazım, kimliksizleştirilmiş öğrenme yönetim sistemi kayıtları ve bir ön/son prososyal niyet anketini birleştirmektedir. Revize edilmiş prosedürler; yeniden üretilebilir bir davranışsal kodlama modeli, puan örneklerini içeren bir yansıtıcı ifade rubriği, yazılım ve veri yönetimi adımları ile gözlemci uyuşmazlığı, eksik platform kayıtları, düşük yansıtıcı yazı gönderim oranları, yetersiz kamera görünürlüğü, katılımcı kaybı ve tutarsız ön bilgi durumları için açık sorun giderme kılavuzu sunmaktadır. Bu protokol, araştırmacıların lisans eğitimi sırasında canlı sınıf içi davranışı, öğrenci öz-yorumlamasını ve rutin öğrenme yönetim sistemi (LMS) aktivitesini birleştiren, düşük müdahaleli ve yeniden üretilebilir bir yönteme ihtiyaç duyduğu durumlarda kullanılmalıdır. Gözlemlenebilir etkileşimin olmadığı tamamen asenkron dersler, bağımsız gözlemi veya kayıt bağlantılandırmayı yasaklayan ortamlar ya da biyometrik veya duygu tanıma çıkarımı gerektiren çalışmalar için uygun değildir. Temsili sonuçlar; onaylanmış etik onay, ders kayıtlarının kimliksizleştirilmesi ve veri deposu hazırlığının ardından uygulanan ampirik uygulamadan raporlanmıştır.

Giriş

Yükseköğretimde öğrenci katılımının değerlendirilmesi kapsamlı ve çok kaynaklı bir yaklaşım gerektirir. Öğrenci etkileşimi; gözlemlenebilir davranış, bilişsel çaba ve çevresel etkileşimi kapsayan çok boyutlu bir yapı olarak yaygın şekilde kavramsallaştırılsa da mevcut analitik yaklaşımlar ağırlıklı olarak giriş sıklıkları ve sistem tarafından kaydedilen eylemler gibi yüzeysel günlük verilerine dayanmaktadır¹. Bu aşırı bağımlılık, uygulama tabanlı sınıf araştırmaları için önemli bir zorluk teşkil etmektedir. Öğretimsel katılımın en kritik biçimleri olan doğrudan akran etkileşimleri, bilişsel yansıma ve sosyal katkılar, genellikle platform görünürlüğünün sınırlı kapsamının tamamen dışında gerçekleşmektedir².

Modern üniversite sınıflarının karmaşıklığı, dijital platformları geleneksel yüz yüze eğitimle harmanlayan hibrit pedagojik modellerin benimsenmesiyle artmıştır. Öğrenme analitiklerine yönelik sistematik incelemeler, dijital izlerin zaman tahsisi, erişim modelleri ve uzun süreli kalıcılık oranları hakkında değerli bilgiler sunduğunu doğrulasa da, bu metrikler tek başına bir öğrencinin dikkatinin gerçekten verimli veya anlamlı olup olmadığını belirleyemez³. Sonuç olarak, güncel akademik çalışmalar; dijital izleri, sınıf içi davranışlar ve yansıtıcı etkinlikler gibi daha zengin, bağlama bağımlı katılım ölçümleriyle uyumlu hale getirerek öğrenme analitiklerinin daha güçlü teorik çerçevelere dayandırılmasını savunmaktadır⁴.

Yansıtıcı yazım, bu değerlendirmeye hayati bir nitel boyut kazandırır. Yapılandırılmış ders sonrası yansıtmalar ve günlükler, öğrencilerin öğrenme etkinliklerine dair yorumlarını yakalar, öğretimsel zorlukları netleştirir ve teorik içeriği sonraki pratik eylemlerle ilişkilendirir. Güncel ampirik kanıtlar, yansıtıcı ifadeyi; betimsel hatırlama, analitik çıkarım, öz-referanslı temsil ve anlam genellemesinden oluşan bütünleşik, çok bileşenli bir yapı olarak kavramsallaştırmaktadır⁵. Ayrıca araştırmalar, öğrencilere tekrarlanan yansıtıcı rehberlik sağlanmasının, onların içgörü kapasitelerini kademeli olarak güçlendirdiğini göstermektedir; ders süreci boyunca yapılandırılmış yansıtma sıklığı arttıkça, öğrencilerin bağımsız keşif becerileri de eş zamanlı olarak gelişmektedir⁶.

Güncel katılım araştırmalarındaki ikinci büyük boşluk, sınıf içi sosyalleşmenin sıklıkla göz ardı edilmesidir. Mevcut çalışmalar ağırlıklı olarak bireysel davranışa veya bilişe vurgu yapsa da, üniversite sınıfları, öğrencilerin iş birliği ve karşılıklı etkileşimler yoluyla birbirlerini etkilediği, doğası gereği sosyal öğrenme ortamları olarak işlev görür. Yeni kanıtlar, sınıf ikliminin ve katılım yapılarının; akademik performans veya öğrenci memnuniyetine ilişkin geleneksel ölçütlere kıyasla daha az araştırılmış sonuçlar olan prososyal davranışlar ve katkı odaklı bir zihniyetle güçlü bir şekilde ilişkili olduğunu göstermektedir. Akademik ortamlardaki prososyal davranış, yalnızca duygusal durumların veya stresin bir yan ürünü değildir; aksine, temel olarak öğrencilerin kolektif öğrenme faaliyetleri içinde kendilerini nasıl konumlandırdıklarıyla ilgilidir⁷. Bu nedenle, prososyal niyetin ölçülmesi, sınıf katılımının izole edilmiş görev tamamlamanın ötesine geçip geçmediğini ve doğrudan öğretim ortamının ötesinde iş birlikçi ve teşvik edici davranışları destekleyip desteklemediğini belirlemek için uygun bir bakış açısı sağlar⁸.

Bu kavramsal gelişmeler, tek bir öğretim penceresi içinde uygulanan entegre bir kanıt toplama çerçevesinin gerekliliğini vurgulamaktadır. Çok kaynaklı bir tasarım, tek bir metriğe güvenmenin sınırlılıklarını azaltarak farklı katılım modları arasında çapraz doğrulamaya olanak tanır ve öğrencilerin bağımsız öğrenmeyi teşvik etmek için ders sonrası etkinliklerini nasıl yorumladıklarını ortaya çıkarır⁹. Reflektif değerlendirmeler öğrencinin içsel bilişsel durumunu yakalarken, bu öz raporların nesnel davranışsal izlerle desteklenmesi öğrenme verilerinin yorumlanabilirliğini önemli ölçüde artırır. Günümüzde, sistematik davranışsal gözlemi, yapılandırılmış reflektif raporlamayı ve öğrenme analitiklerini rutin üniversite uygulamaları için sorunsuz bir şekilde sentezleyen, pratik ve sınıfa hazır protokollerin belirgin bir eksikliği bulunmaktadır.

Bu metodolojik eksiklikleri gidermek amacıyla bu makale, üniversite öğrencilerinin sınıf içi katılımını, yansıtıcı ifadesini ve prososyal niyetini eş zamanlı olarak ölçmek için tasarlanmış bir değerlendirme protokolü sunmaktadır. Özellikle lisans düzeyindeki ortamlar için geliştirilen bu protokol, bilimsel tekrarlanabilirlikten ödün vermeden minimum idari yük gerektiren kolaylaştırılmış bir metodoloji sağlamaktadır. Gözlemlenebilir davranışlar, ifade edilen öz-deneyim ve sosyal odaklı öğrenme çıktıları arasındaki analitik boşluğu dolduran bu çerçeve, eğitim ortamlarındaki insan-teknoloji etkileşimi araştırmalarında daha fazla kavramsal netlik yönündeki artan talebe yanıt vermektedir¹⁰.

Protokol

İnsan katılımcıların yer aldığı tüm yöntemler, Helsinki Deklarasyonu ve ilgili kurumsal yönergelerle uyumlu olarak yürütülmüştür. Uygulanan çalışma için protokol, katılımcı alımı başlamadan önce Nanchang Institute of Technology Etik Kurulu tarafından onaylanmıştır (onay no.: NITE778291). Katılan her öğrenciden yazılı bilgilendirilmiş onam alınmıştır. Analizler için yalnızca kimliksizleştirilmiş toplam sınıf gözlemi, yansıtma puanı, öğrenme analitiği ve anket verileri kullanılmıştır; kimlik belirleyici sınıf videoları, isimler, kurumsal kimlik numaraları ve düzenlenmemiş yansıtma metinleri kamuya açık paylaşımdan hariç tutulmuştur.

1. Çalışma tasarımı ve katılımcı seçimi

1. Protokolü, seçilen her sınıf şubesi için birbirini takip eden dört öğretim dönemi boyunca uygulayın. Kimliksizleştirilmiş ders etiketlerini, öğretim formatını, sınıf mevcudunu, eğitmenin dersle ilgili deneyimini ve her sınıfın tüm sınıfa yönelik öğretim, grup çalışması veya bireysel uygulama içerip içermediğini kaydedin. Başlangıçta 18 yaş ve üzeri yaklaşık 180 ila 210 lisans öğrencisinin kayıt olmasını hedefleyin veya örneklem büyüklüğü hedefini ders bağlamına göre uyarlayın.
2. Tüm katılımcıların ders platformu için aktif bir kurumsal hesabı olduğundan, gözlemlenen derslere katılacaklarından ve sınıfa normalde sağlanan ön koşul ders rehberliğini aldıklarından emin olun. Ön koşul bilgileri önemli ölçüde farklılık gösterdiğinde, gözlem penceresinden önce kısa bir köprüleyici el kitapçığı, ders öncesi kaynak listesi veya eğitmen liderliğinde bir tekrar sağlayın ve sağlanan desteği bağlamsal meta veri olarak kaydedin.
3. Kapsamlı bir yazılı bilgi formu sunduktan sonra tüm öğrencilerden yazılı bilgilendirilmiş onam alın. Onam formunda, çalışmanın sınıf içi davranışsal gözlemi, haftalık yansıtıcı yazımı ve kimliksizleştirilmiş öğrenme platformu kayıtlarını ilişkilendirdiğini açıkça belirtin.
4. Araştırma veri setine yalnızca onam veren öğrencileri dahil edin. Katılımı reddetmenin devam durumunu, notları, ders erişimini veya eğitmen iletişimini etkilemeyeceğini garanti edin.
   1. İlk yansıtma görevi öncesinde, yapay zeka (AI) araçlarının izin verilen ve yasaklanan kullanımını açıklayın.
      NOT: AI araçları yalnızca ders politikası tarafından izin verildiğinde ve sadece genel çalışma desteği için kullanılabilir; yansıtıcı gönderiler ve prososyal niyet yanıtları öğrencinin kendi deneyimini tanımlamalı ve her türlü AI desteğini beyan etmelidir.
   2. Eğitmen, ön koşul bilgilerinin AI destekli köprülendirilmesine izin verirse, onaylanmış aynı istemleri veya kaynakları tüm öğrencilere sağlayın ve bu desteği bir protokol uyarlaması olarak kaydedin. Doğrulama çalışması AI destekli yanıtları açıkça değerlendirmediği sürece, AI tarafından oluşturulan özetleri öğrenci yansıtmasının birincil kanıtı olarak kullanmayın.
5. Onamı reddeden, protokol penceresi sırasında dersten ayrılan veya gözlem, yansıtma ve analiz kayıtları arasında eşleşen verisi bulunmayan öğrencileri analizden önce hariç tutun. 4 haftalık bir süre boyunca üç farklı kaynaktan tutarlı veriler toplamak için tekrarlı ölçümler tasarımını uygulayın².

2. Temel veri toplama ve kimlik yönetimi

1. Yarı rastgele bir süreç aracılığıyla her bir gönüllü katılımcıya sekiz karakterli alfanümerik bir çalışma kimliği (ID) atamak üzere tek bir veri yöneticisi belirleyin.
2. Öğrenci isimlerini, kurumsal kimlik numaralarını, ders şubelerini ve çalışma numaralarını içeren bir kimlik-çalışma kimliği ilişkilendirme dosyası oluşturun. Bu dosyayı analiz dosyalarından ayrı ve güvenli bir şekilde saklayarak; gözlemcilerin, yansıtma kodlayıcıların ve araştırmacıların bu dosyaya erişiminin tamamen engellendiğinden emin olun.
3. Kısıtlı ilişkilendirme ve kimliksizleştirme ile ilgili mevcut yükseköğretim öğrenme analitiği uygulamalarına uygunluğu koruyarak¹, onaylanmış kurumsal veri saklama politikasına göre nihai veri doğrulamasından sonra bu ilişkilendirme dosyasını imha edin veya arşivleyin.
4. Gözlemlenen ilk dersten önceki başlangıç haftasında katılımcıların yaşı, cinsiyeti, akademik yılı ve bölümü hakkında temel demografik verileri toplayın.
5. Gözlemlenen ilk dersten önce yapılandırılmış temel araç olarak Ek Dosya 1'deki altı maddelik prososyal niyet anketini kullanın. Anketi LMS üzerinden elektronik olarak veya sadece atanan Çalışma Kimliğini kullanarak kağıt üzerinde uygulayın. Öğrenciler her bir maddeyi 1 = kesinlikle katılmıyorum ile 5 = kesinlikle katılıyorum arasında 5'li bir ölçekle değerlendirir; altı maddeden en az beşi yanıtlandığında, temel puanı tamamlanan maddelerin ortalaması olarak hesaplayın.
6. Nitel kodlama süreci başlamadan önce tam anonimliği sağlamak amacıyla, daha sonra toplanan tüm yansıtıcı metinleri isimler, e-posta adresleri veya diğer kişisel tanımlayıcılar olmadan dışa aktarın.

3. Sınıf gözlemi hazırlığı

1. Her sınıf şubesi için 4 hafta üst üste, haftada bir kez gözlem planlayın. Standart 90 dakikalık bir ders için, ilk 10 dakikayı ve son 10 dakikayı kodlamanın dışında tutarak 70 dakikalık bir gözlem penceresi belirleyin⁵.
2. Standart 90 dakikalık bir dersin 10^. dakikasında kodlamaya başlayın ve 80^. dakikasında durun. Bu ara dönemler 70 dakikalık gözlem penceresinin bir parçası değildir; dolayısıyla standart bir ders, 30 dakikalık bir oturum yerine 70 dakikalık kodlanmış gözlem sağlar.
3. Alarmlar, oda değişiklikleri veya platform kesintileri nedeniyle dersin 5 dakikadan fazla süren bir aksama yaşaması durumunda, kesintiye uğrayan eğitim bloğunu nihai değerlendirmenin dışında tutun.
4. Her ölçüm noktasında birkaç davranışsal göstergeyi eş zamanlı olarak kaydederek, sınıf katılımını birden fazla davranışın gözlemlenebilir bir bileşimi olarak değerlendirin¹¹. Göstergeler arasında göreve odaklanma, sözlü katılım, akran iş birliği, göreve yönelik not alma veya cihaz kullanımı, görev dışı dikkat dağınıklığı ve yardım arama davranışı yer alır.
5. İlk gözlemden önce sınıf oturma düzenini grup şeklinde ayarlayın ve bu oturma düzenini 4 haftalık sürenin tamamı boyunca kesinlikle koruyun.
6. Bağımsız kodlama yapabilmeleri için eğitimli iki gözlemciyi, odanın tamamını görebilecekleri sabit konumlara yerleştirin. Kurumsal film çekimine izin verilirse ve katılımcılar onay verirse, arka-orta ve arka-yan bölgelere iki sabit kamera kurun ve bunları oturumdan önce senkronize edin.
7. Kamera kayıtlarını yalnızca gözlemci eğitimi, güvenilirlik doğrulaması ve görünürlük sorunlarının çözümü için kullanın; video kayıtlarını birincil kodlama kaynağı olarak kullanmayın ve yüz duygusu, ses duygusu, biyometrik veya kimlik tanıma analizi yapmayın.

4. Aralık tabanlı davranışsal kodlama

1. 70 dakikalık gözlem penceresini, 20 saniyelik bir görsel taramanın ardından gelen 10 saniyelik bir kayıt döneminden oluşan ardışık aralıklara bölün. Büyük bir ders, laboratuvar veya çevrimiçi sınıf farklı bir aralık süresi gerektiriyorsa, veri toplama işlemi başlamadan önce uyarlanan aralık yapısını raporlayın ve gerekçelendirin.
   NOT: Bu 20 s/10 s yapısı, ekolojik sınıf gözlemi ile kodlayıcı iş yükü arasında denge kurar: tarama süresi; sürdürülebilir dikkati, iş birliğini ve görev dışı davranışı tespit etmek için yeterince uzunken, kayıt süresi bellek yükünü azaltır ve tutarlı ikili kararları destekler.
2. Oturma düzenine dayalı olarak, her aralıkta on öğrenciye kadar olan net bir şekilde tanımlanmış grubu sürekli bir döngü halinde tarayın.
3. Gevşek operasyonel tanımların neden olduğu kodlayıcı tutarsızlıklarını önlemek için spesifik tarama kriterleri kullanın⁴. Her tarama sırasında öğrenci düzeyinde altı ikili göstergeyi kodlayın. Bunlar; göreve odaklı dikkat, sözel katılım, akran iş birliği, göreve odaklı not alma veya cihaz kullanımı, görev dışı dikkat dağınıklığı ve yardım isteme davranışıdır.
4. Belirlenen davranış 20 saniyelik taramanın herhangi bir anında gerçekleşirse, göstergeyi "1" olarak işaretleyin. Aksi takdirde, "0" olarak işaretleyin. Bir öğrenci taramanın en az 10 s boyunca görünür değilse, aralığı eksik olarak kodlayın.
5. Bir öğrenci; eğitmene, atanan görevlere, sunulan bilgilere veya görev tartışmasına katılan akranlarına en az 5 ardışık saniye boyunca görsel olarak yöneldiğinde göreve odaklı dikkati kaydedin. Duyulabilir ve görevle ilgili her türlü katkı için sözel katılımı kodlayın.
6. Öğrenciler görünür görev tabanlı etkileşimlerde, ortak problem çözmede veya akran açıklamalarında bulunduklarında akran iş birliğini kodlayın. Aktif yazma, klavye kullanımı veya ders materyalleriyle dijital etkileşim için göreve odaklı not alma veya cihaz kullanımını kaydedin.
7. Bir öğrenci ilgili olmayan konuşmalara, akademik olmayan cihaz kullanımına veya en az 5 ardışık saniye boyunca sürekli kopukluğa yönelirse görev dışı dikkat dağınıklığını işaretleyin. Bir öğrenci eğitmenden veya akranlarından açıkça açıklama veya yardım istediğinde yardım istemeyi kaydedin.
8. Her öğrenci için haftalık davranış puanını, pozitif değerlendirmelerin toplam sayısının tüm geçerli değerlendirmelere bölünmesi şeklinde hesaplayın. Ardından altı göstergenin tamamı için 4 haftalık ortalamaları türetin.
9. Önceden belirlenmiş matematiksel modeli kullanarak w haftasındaki i öğrencisi için birleşik Gözlemlenen Sınıf Katılım Endeksi'ni (OCEI) hesaplayın: OCEI_iw = [Göreve odaklı dikkat_iw + Sözel katılım_iw + Akran iş birliği_iw + Göreve odaklı not alma/cihaz kullanımı_iw + (1 - Görev dışı dikkat dağınıklığı_iw)]/5.
10. Bağlama bağlı olarak ya yapıcı bir açıklama isteğini ya da öğretim içeriğiyle ilgili bir zorluğu temsil edebileceği için yardım istemeyi bağımsız bir analitik değişken olarak tutun¹². Çalışma iş akışı için Şekil 1'e, gözlem indeksleri ve kodlama kuralları için Tablo 1'e başvurun.

5. Gözlemci eğitimi ve güvenilirlik değerlendirmesi

1. 60 dakikalık bir kılavuz eğitim oturumu ile gözlemci eğitimini gerçekleştirin ve resmi program öncesinde üç kalibrasyon turu uygulayın.
2. İlk kalibrasyon turunu, çalışma dışı bir sınıf videosunun yönlendirmeli kodlamasıyla gerçekleştirin. Sonraki iki turu, farklı çalışma dışı videoların bağımsız kodlamaları olarak tamamlayın ve ardından kıdemli kodlayıcı ile doğrudan istatistiksel karşılaştırmalar yapın.
3. Resmi veri toplamaya ancak Cohen's Kappa değeri 0.75'e ulaştığında veya bu değeri geçtiğinde ve toplam değerlendiriciler arası uyum %85'i aştığında başlayın.
4. 4 haftalık protokol boyunca, tüm oturumların %10'u üzerinde ve kalan oturumlardan rastgele seçilen 10 dakikalık bir segment üzerinde çift kör sapma doğrulaması uygulayın.
5. Herhangi bir gösterge için Kappa değeri 0.70'in altına düşerse, veri kilitlemeden önce 72 saat içinde kodlama ekibini yeniden kalibre edin ve etkilenen oturumları yeniden doğrulayın. Değerlendirme stabilitesini zaman içinde korumak için sürekli geri bildirim sağlayın ve kalibrasyon egzersizleri düzenleyin¹³.

6. Yansıtıcı ifade toplama ve değerlendirme

1. Öğrencilere gözlemlenen her ders için bir yapılandırılmış yansıtıcı metin (100-350 kelime) sunmalarını söyleyerek, 4 haftalık protokol boyunca katılımcı başına 4 giriş oluşturulmasını sağlayın.
2. Yansıtma istemlerini, gözlemlenen dersten sonraki 2 saat içinde LMS üzerinden veya basılı bir form aracılığıyla yayınlayın ve gönderim penceresini 72 saat sonra kapatın. Form, her öğrenci için Çalışma ID alanını ve aşağıdaki üç istemi aynı sırayla göstermelidir:
   1. Derste kendilerini en çok ve en az dahil hissettikleri noktaları belirlemeleri.
   2. Görev zorluğu, ön bilgi, grup etkileşimi, eğitmen açıklaması veya platform kullanımı dahil olmak üzere bağlamsal nedenleri açıklamaları.
   3. Katılımlarının sınıf atmosferini nasıl etkilediğini ve gelecekte hangi eylemi gerçekleştirmeyi planladıklarını tanımlamaları.
      NOT: 100 kelimenin altındaki girişleri saklayın ancak bunları veri tabanında düşük bilgi içerikli olarak işaretleyin. Ayrıca dahil olma, bağlamsal neden veya gelecek eylem/sosyal etki istemlerini atlayan girişleri de işaretleyin; çünkü bu eksiklikler yansıtma kalitesi puanlamasını ve fizibilite raporlamasını etkiler.
3. Gönderileri tanımlayıcı özgünlük, analitik derinlik, öz düzenleme yönelimi ve sosyal-prososyal anlam açısından değerlendirmek üzere iki kör kodlayıcı atayın.
   1. Her boyutu, 0'ın yokluğu, 1'in zayıf veya belirsiz kanıtı, 2'nin net ancak sınırlı kanıtı ve 3'ün güçlü ve ayrıntılı kanıtı belirttiği 4 puanlı bir ölçek kullanarak puanlayın. Örneğin analitik derinlik; hiçbir neden sunulmadığında 0, öğrenci yalnızca etkinliğin zor olduğunu belirttiğinde 1, öğrenci zorluğu belirli bir kavramla veya sınıf koşuluyla ilişkilendirdiğinde 2 ve öğrenci ön bilgi, akran tartışması, eğitmen geri bildirimi ve planlanmış bir öğrenme stratejisi arasındaki etkileşimi açıkladığında 3 olarak puanlanır. Tablo 2 ve Ek Dosya 1, dört yansıtıcı boyutun tamamı için puan düzeyi örnekleri sunmaktadır.
4. Resmi değerlendirmeye, ancak pilot metinlerde her boyut için 0.80 veya daha yüksek bir sınıf içi korelasyon katsayısı elde ettikten sonra başlayın¹⁴.
5. Puanlayıcı kaymasını kontrol etmek için protokol sırasında çalışma yansıtmalarının %15'ini rastgele çift puanlayın. Yansıtıcı yazıları, yalnızca metin uzunluğuna veya kelime sıklığına güvenmek yerine bu çok boyutlu nitel metriklere göre değerlendirin.
6. Yansıtıcı ifade rubriğini, en az iki eğitim araştırmacısı ve bir ders eğitmeninin uzman incelemesi yoluyla geliştirin veya uyarlayın. Rubriği çalışma dışı 20 ila 30 yansıtma üzerinde pilot uygulama ile test edin, belirsiz tanımlayıcıları revize edin ve resmi kodlama başlamadan önce rubriğin nihai versiyonunu belgeleyin.
7. Ek Dosya 1'de gösterilen prososyal niyet anketini uygulayın. Öğrencilerden; zorluk yaşayan sınıf arkadaşlarına yardım etme, öğrenme kaynaklarını paylaşma, tartışmalara yapıcı katkıda bulunma, akranlarını teşvik etme, grup görevleri sırasında adil davranma ve sınıf öğrenme ortamını iyileştirme isteklerini puanlamalarını isteyin. 1 (kesinlikle katılmıyorum) ile 5 (kesinlikle katılıyorum) arasında değişen 5 puanlı bir ölçek kullanın. Altı maddeden en az beşi tamamlandığında ortalama puanı hesaplayın ve başlangıç ile protokol sonrası uygulamalar için Cronbach alfa değerini raporlayın.

7. Öğrenme analitiklerinin çıkarılması

1. Gözlem ve yansıtma süreçlerinin herhangi bir şekilde etkilenmesini önlemek için 4. haftadan sonra öğrenme analitiği verilerini çıkarmak üzere harici bir yönetici görevlendirin.
2. Veri çıkarma penceresini, gözlemlenen ilk dersin günündeki 00:00'dan, son yansıtma penceresinin kapanış günündeki 23:59'a kadar olarak ayarlayın.
3. Yalnızca protokol için gerekli olan önceden belirlenmiş değişkenleri çıkarın. Platformdaki aktif gün sayısını, farklı kaynak görüntülemelerini, açılan atanmış kaynakların oranını, paylaşılan tartışma yanıtlarının miktarını, ortalama video tamamlama oranını ve ödev dakikliğini kaydedin.
4. Eğitmenlere ve öğretim asistanlarına ait hesapları, yinelenen kayıtları, test olaylarını ve belirlenen zaman dilimi dışındaki veri noktalarını kaldırarak ham dışa aktarımları temizleyin.
5. Aktif günü, en az bir kimliği doğrulanmış kurs erişiminin ardından dosya açma, video izleme veya yanıt paylaşma gibi anlamlı bir etkileşimin gerçekleştiği herhangi bir takvim günü olarak hesaplayın.
6. 60 saniyelik süre içinde gerçekleşen yinelenen yenileme olaylarını göz ardı ederek benzersiz kaynak açılışlarını sayın. Görüntülenen kesri, planlanan süreye göre 01:00'da kırparak ve ardından tüm atanmış medya öğeleri üzerinden ortalamasını alarak video tamamlama oranını belirleyin.
7. Ödev dakikliğini, planlanan son tarihlerden önce teslim edilen görevlerin oranına göre hesaplayın. Gece geç saat erişim oranını, 00:00 ile 06:00 arasında gerçekleşen anlamlı olayların, gözlem süresi içindeki toplam anlamlı aktivitelere oranına göre hesaplayın. Basit log birikiminden daha zengin bilgi sağlamak için bu zaman sınırlı ve katkı odaklı metriklere dayanın¹⁵.
8. Ham öğrenme yönetim sistemi dışa aktarımı için önceden belirlenmiş bir veri yönetimi iş akışı kullanın. Orijinal dışa aktarımı salt okunur bir dosya olarak kaydedin, kimliksizleştirilmiş bir çalışma kopyası oluşturun, eğitmen ve öğretim asistanı hesaplarını kaldırın, yinelenen veya test olaylarını silin ve her temizleme adımından sonraki satır sayılarını içeren bir işlem günlüğü tutun.
9. Veri temizleme işlemini bir hesap tablosunda veya daha güncel bir sürümünde ve istatistiksel analizi R sürüm 4.4.0 veya daha güncel bir sürümünde ya da eşdeğer bir yazılımda gerçekleştirin.
   1. Bir hesap tablosunda, 7.9.1.1–7.9.1.2'de açıklanan adımları izleyin.
      1. Kimliksizleştirilmiş CSV dosyalarını Veri > Veri Al > Metinden/CSV'den seçeneğini kullanarak içe aktarın ve yinelenen Çalışma Kimliği/zaman damgası/olay satırlarını kaldırmak için Veri > Yinelenenleri Kaldır seçeneğini kullanın.
      2. Eğitmen veya öğretim asistanı hesaplarını ve pencere dışı kayıtları hariç tutmak için Filtre uygulayın ve her adımdan sonra satır sayılarını içeren bir işlem günlüğü kaydedin.
   2. R'da, 7.9.2.1–7.9.2.3'te açıklanan adımları izleyin.
      1. Dosyaları readr::read_csv() ile içe aktarın; haftalık kayıtları dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() ve tidyr::pivot_wider() ile yeniden şekillendirin.
      2. Cohen's kappa'yı irr::kappa2() ile, ICC'leri psych::ICC() ile ve Cronbach's alpha'yı psych::alpha() ile hesaplayın.
      3. Seksiyon ayarlı doğrusal modelleri stats::lm() ile kurun; önceden belirlenmiş bir sınıf-seksiyon rastgele kesişimi gerektiğinde lme4::lmer() kullanın ve lme4::glmer(family = binomial) fonksiyonunu yalnızca ikili sonuçlar için kullanın. Tam betiği ve paket sürümlerini gönderi materyalleriyle birlikte arşivleyin.
10. Aşağıdaki tekrarlanabilir analiz dizisini kullanın.
    1. Öğrenci-hafta gözlem oranlarını hesaplayın, 4.9. adımdaki formülü kullanarak OCEI'yi hesaplayın ve haftalık yansıtma puanlarını Çalışma Kimliği ve haftaya göre birleştirin.
    2. Öğrenme analitiği değişkenlerini aynı 4 haftalık pencere boyunca toplulaştırın, veri kaynağına göre eksiklikleri inceleyin, tanımlayıcı istatistikleri ve güvenilirlik tahminlerini hesaplayın ve önceden belirlenmiş ilişki modellerini kurun.
    3. Sonuçları inceledikten sonra, keşifsel olarak etiketlenmedikleri sürece planlanmamış öngörücüler eklemeyin.
11. (Opsiyonel) Şeffaflık adına, kimliksizleştirilmiş bir analiz betiğini, kod kitabını, boş kodlama formlarını, yansıtma istemlerini, yansıtma rubriğini ve prososyal anketi kamuya açık depoya veya ek materyallere yerleştirin. Kimlik tespit edilebilen ham sınıf videolarını, isimleri, kurumsal kimlikleri veya sansürlenmemiş yansıtma metinlerini yerleştirmeyin.

8. Protokol sonrası ölçüm ve veri seti entegrasyonu

1. Prososyal niyet ölçüm aracını, son yansıtma penceresinin sona ermesinin hemen ardından ikinci kez uygulayın.
2. Öğrencilerden; sınıf arkadaşlarına yardım etme, kaynakları paylaşma, tartışmalara yapıcı katkıda bulunma, akranlarını teşvik etme, adil davranma ve öğrenme ortamını iyileştirme konusundaki istekliliklerini 1 (kesinlikle katılmıyorum) ile 5 (kesinlikle katılıyorum) arasında değişen bir ölçekte değerlendirmelerini isteyin. Altı maddenin en az beşini yanıtlamış olmaları koşuluyla, yanıtların ortalamasını alarak her bireyin toplam protokol sonrası puanını hesaplayın.
3. Gözlem dosyalarını, yansıtma puanlarını ve öğrenme analitiği kayıtlarını anonimleştirilmiş Çalışma Kimliği (Study ID) kullanarak birleştirin. Bu birleştirmeden, katılımcı düzeyinde bir ana dosya ve hafta düzeyinde uzun formatlı bir dosya oluşturmak üzere iki nihai veri seti oluşturun.
4. Öğrencinin görünür olmamasından kaynaklanan eksik gözlem aralıklarını veya teslim edilmemesinden kaynaklanan eksik haftalık yansıtmaları impute etmeyin. Analizden önce kısmen tamamlanmış yansıtmaları, eksik öğrenme analitiği değişkenlerini, düşük bilgi içeren yansıtmaları ve eşleşmeyen Çalışma Kimliklerini işaretleyin.
5. Önceden belirlenmiş ilişki modelleri için tam vaka analizini (complete-case analysis) kullanın, her model için hariç tutulan vaka sayısını raporlayın ve dahil edilen ile hariç tutulan öğrencileri mevcut temel değişkenler üzerinden karşılaştıran bir duyarlılık kontrolü gerçekleştirin.
6. Üniversite öğrencilerinin katılımındaki yapısal değişikliklerin temelini oluşturan destekleyici ve iş birlikçi tutumları yansıtmak amacıyla, prososyal niyeti birincil sonuç ölçütü olarak tutun.

9. Sorun giderme ve protokol uyarlamaları

1. İki gözlemci aynı öğrenci kümesi genelinde birden fazla ikili kategori kalıbı konusunda fikir ayrılığına düşerse veya herhangi bir gösterge için Cohen's kappa 0,70'in altına düşerse, etkilenen oturum için resmi puanlamayı durdurun, operasyonel tanımları gözden geçirin, 10 dakikalık bir yeniden kalibrasyon bölümünü tamamlayın ve veriler kilitlenmeden önce etkilenen aralığı yeniden kodlayın.
2. Platform çıktıları eksikse, eksik alanı belgeleyin, harici yöneticiden ikinci bir çıktı talep edin ve öğrenciyi gözlem/yansıma özetlerinde tutun, ancak bu alanı gerektiren modellerden mevcut olmayan analitik değişkeni hariç tutun.
3. Görev açıldıktan sonraki 48 saat içinde beklenen yansımaların %80'inden azı gönderilmişse, tüm sınıfa nötr bir hatırlatma gönderin, erişim sorunları için teknik desteği genişletin ve zamanında, geç ve eksik sayılarını ayrı ayrı raporlayın.
4. Bir kümedeki öğrencilerin %10'undan fazlası tarama penceresinin en az yarısı boyunca görünür değilse, etkilenen aralıkları "eksik" olarak kodlayın ve engellenmiş videodan davranış çıkarmaya çalışmak yerine canlı gözlemci kayıtlarına güvenin.
5. Bir öğrenci çekilirse, daha fazla katılımı reddederse veya kaynaklar arasında ilişkilendirilebilir verisi yoksa, o öğrenciyi bağlantılı ilişkilendirme modellerinden çıkarın, ancak etik onayın izin verdiği durumlarda toplam protokol uygulanabilirlik sayılarını koruyun.
6. Birden fazla öğrenci bir bölümün anlaşılmasının zor olduğunu belirtirse, eğitmen kısa bir yeniden açıklama, çözümlü örnek, akran tartışması veya takip kaynağı gibi normal pedagojik yanıtı vermelidir. Bunu, yardım arama, yansıma derinliği ve platform aktivitesini etkileyebileceği için bağlamsal bir olay olarak kaydedin.
7. Öğrenci kümesi boyutunu, aralık uzunluğunu, yansıma istemlerini ve analitik değişkenleri öğretim formatına uyarlayın; ancak önceden tanımlanmış davranışsal göstergeler, kimlikten arındırılmış kayıtlar, bağımsız kodlama ve şeffaf eksik veri kurallarının aynı mantığını koruyun.
8. Düşük güvenilirliği, yüksek eksikliği, sınırlı yansıma derinliğini, zayıf prososyal değişimi ve veri akışları arasındaki zayıf uyumu, protokol hatalarından ziyade bilgilendirici uygulama sonuçları olarak değerlendirin. Bu sonuçları raporlayın ve bunların sınıf bağlamını mı, araç sınırlamalarını mı yoksa veri yakalama sorunlarını mı yansıttığını açıklayın.

Sonuçlar

Katılımcı dahil etme, veri tamamlığı ve puan güvenilirliği
Tüm sınıf şubelerinden toplam 204 öğrencinin katılmasına davet edildiği başlangıç kohortundan 198 kişi onay verdi. Protokol süresince dersten çekilme veya gözlem, yansıma ve platform kayıtları arasındaki veri bağlantılarının eksik olması nedeniyle on dört vaka daha sonra çalışma dışı bırakıldı. Sonuç olarak, nihai analitik örneklem 184 öğrenciden oluştu. Katılımcı özellikleri, haftalık tamamlama oranları ve genel veri tamamlığı Tablo 3'te ayrıntılı olarak verilmiştir.

4 haftalık program boyunca 24 ders oturumu gözlemlenmiş ve her katılımcı için senkronize bir öğrenme analitiği kaydı oluşturulmuştur. Beklenen 736 yansıtıcı rapordan 701'i 72 saatlik süre içerisinde teslim edilmiş, 18'i geç teslim edilmiş ve 17'si eksik kalmıştır. Nihayetinde, 171 öğrenci tüm haftalık yansıtma raporlarını zamanında başarıyla tamamlamıştır. Eğitmen hesapları, mükerrer girişler ve belirlenen süre dışındaki etkinlikler filtrelendikten sonra, son 184 katılımcı için öğrenme analitikleri eksiksiz olarak çıkarılmıştır.

Gözlem kodlaması, protokol süresi boyunca oldukça stabil kalmıştır. Sınıf gözleminin altı davranışsal dizini için değerlendiriciler arası güvenirlik, %86'yı aşan genel uyumla birlikte 0,76 ile 0,84 arasında değişen Cohen's kappa değerleri göstermiştir. Reflektif ifade puanları için dört boyut genelindeki sınıf içi korelasyon katsayıları (ICC'ler) 0,82 ile 0,89 arasında değişmiştir. Tablo 4, temel çalışma değişkenleri için tanımlayıcı istatistikleri ve güvenirlik dizinlerini sunmaktadır.

Sınıf içi davranış gözlemi
Gözlemlenen sınıf içi davranışlar, 4 haftalık protokol boyunca kademeli bir iyileşme göstermiştir. Şekil 2'de gösterildiği üzere, göreve odaklanma, sözel katılım ve akran iş birliği 4. haftada başlangıç haftalarına kıyasla anlamlı derecede daha yüksekti. Spesifik olarak, sözel katılım birinci haftadaki 0.18 ± 0.09 değerinden dördüncü haftaya gelindiğinde 0.24 ± 0.10 değerine yükselmiştir (p < 0.05). Akran iş birliği benzer şekilde 0.29 ± 0.11'den 0.35 ± 0.12'ye yükselmiştir (p = 0.006). Göreve odaklanma ise 0.71 ± 0.12'den 0.76 ± 0.11'e geçerek oldukça anlamlı bir iyileşme göstermiştir (p < 0.001).

Aksine, göreve odaklı not alma veya cihaz kullanımı, istatistiksel anlamlılığa ulaşmayan yalnızca marjinal haftalık artışlar göstermiştir (p = 0.08). Yardım arama davranışı, gözlem süresi boyunca tutarlı bir şekilde düşük seyretmiş ve anlamlı bir zaman etkisi sergilememiştir (p = 0.21). Görev dışı dikkat dağınıklığı, 1. haftadaki 0.14 ± 0.08 değerinden 4. haftadaki 0.11 ± 0.07 değerine anlamlı düzeyde azalmıştır (p = 0.03). Genel olarak, kompozit Gözlemlenen Sınıf Katılım Endeksi, ilk hafta boyunca 0.52 ± 0.10'dan final haftasında 0.58 ± 0.11'e anlamlı şekilde yükselmiştir (p < 0.001).

4 haftalık protokol boyunca yansıtıcı ifadeler
Yansıtıcı ifade, alt boyutları arasındaki değişim miktarı farklılık gösterse de çalışma süresi boyunca gelişme göstermiştir. Şekil 3'te gösterildiği gibi, toplam yansıtma puanı 1. Haftadan itibaren artarak 4. Haftaya kadar 7,2 ± 1,9'a yükselmiştir (p < 0.001).

Analitik derinlik, 4. haftanın sonunda ilk iki haftaya kıyasla belirgin şekilde daha yüksekti (p < 0.001). Benzer şekilde, sosyal-prososyal anlam 1.08 ± 0.55'ten 1.54 ± 0.60'a yükselmiş (p < 0.001) ve öz-düzenleyici yönelim 1.42 ± 0.63'ten 1.69 ± 0.65'e artmıştır (p < 0.05). Buna karşılık, tanımlayıcı spesifisite 2.14 ± 0.57'den 2.24 ± 0.55'e hafif bir artış eğilimi göstermiş olup bu durum istatistiksel olarak anlamlı bulunmamıştır (p = 0.09).

Protokol boyunca gönderilen yanıtlar, giriş başına ortalama 223 ile 231 kelime arasındaydı. Beklenen 736 yansıtıcı raporun 18'i geç teslim edildi ve 17'si eksikti; yetersiz bilgi içeren girişler ile bağlamsal neden veya gelecek eylem/sosyal etki istemini atlayan yanıtlar veri tabanında işaretlendi. Bu vakalar fizibilite göstergeleri olarak tutuldu ve yalnızca ilgili skor atanamadığı durumlarda haftaya özel yansıtma kalitesi modellerinden hariç tutuldu.

Çalışma penceresindeki öğrenme analitiği örüntüleri
Platform aktivite metrikleri, Şekil 4'te gösterildiği gibi, 4 haftalık pencere boyunca bireyler arasında önemli varyasyonlar sergilemiştir.

Toplam süre boyunca, öğrencilerin platformdaki aktif gün sayısı ortalama 9.7 ± 2.4 olmuştur. Farklı kaynak görüntüleme sayısının ortalaması 27.3 ± 8.6 iken, öğrenciler atanan kaynakların ortalama 0.81 ± 0.14 oranında açmışlardır. Ayrıca, ortalama tartışma yanıt sayısı 4.8 ± 2.7 olarak belirlenmiştir. Ortalama ödev teslim zamanlaması ve ortalama video tamamlama oranı sırasıyla 0.86 ± 0.18 ve 0.79 ± 0.17'dir. Gece geç saatlerde platforma erişim oranı ortalama 0.12 ± 0.09 olmuştur.

Önemli bir bulgu olarak, dakiklik puanlarının geniş bir dağılım göstermesine rağmen, tartışma yanıtları ve ödev teslim dakikliği, diğer katılım göstergeleriyle daha belirgin pozitif korelasyonlar sergilemiştir.

Gözlemlerin, yansımaların ve öğrenme verilerinin çapraz ilişkilendirilmesi
Üç veri kaynağı, tekdüze olmasa da anlamlı ilişkiler göstermiştir. Şekil 5'te gösterildiği üzere, Gözlemlenen Sınıf Katılım İndeksleri daha yüksek olan öğrenciler, daha yüksek toplam yansıtma puanları alma eğilimindedir. Bölüme göre düzeltilmiş modelde, gözlemlenen sınıf katılımı, yansıtma toplam puanını pozitif yönde öngörmüştür (β = 0.34, p < 0.001).

Öğrenme analitiği değişkenleri arasında, tartışma yanıtları ve ödev dakikliği ile yansıtma kalitesi arasında anlamlı ve pozitif bir korelasyon saptanmıştır. Tablo 5'te ayrıntılı olarak belirtildiği üzere, tartışma yanıtları yansıtma toplam puanını pozitif yönde öngörmüştür (β = 0.19, p = 0.013); ödev dakikliği de benzer şekilde pozitif bir öngörü göstermiştir (β = 0.17, p = 0.028). Ham kaynak görüntülemeleri ve atanan kaynakların açılma oranı başlangıçta pozitif ilişkiler gösterse de, karıştırıcı değişkenler için düzeltme yapıldıktan sonra bu korelasyonlar önemli ölçüde zayıflamıştır. Gece geç saatlerdeki erişim oranı ile yansıtma toplam puanı arasında anlamlı bir ilişki saptanmamıştır (p = 0.18).

Veriler ayrıca, gözlemlenen sınıf davranışı ile belirli platform faaliyetleri arasında hafif çapraz korelasyonlar olduğunu ortaya koymuştur; örneğin, ham kaynak görüntülemeleri Gözlemlenen Sınıf Katılım Endeksi ile yalnızca sınırlı düzeyde korelasyon göstermiştir. Dahası, grup tartışmalarına daha sık katılan öğrenciler daha yüksek sözel iletişim sergilerken, davranışsal düzenlemesi daha yüksek olanlar görev teslimlerinde daha az erteleme davranışı göstermiştir.

Prososyal niyetle ilgili değişimler
Prososyal niyet, başlangıç değerinden son teste kadar anlamlı bir artış göstermiştir. Ortalama prososyal niyet puanı, başlangıçtaki 3.61 ± 0.53 değerinden 4 haftalık protokol sonrasında 3.84 ± 0.50 değerine yükselmiştir (p < 0.001). Şekil 6, eşleşmiş dağılımı ve düzeltilmiş ilişkileri göstermektedir.

Son düzeltilmiş modelde, daha yüksek Gözlemlenen Sınıf Katılım Endeksi, başlangıç skoruna kıyasla protokol sonrası prososyal niyetle daha büyük bir artış öngörmüştür (β = 0.21, p < 0.05). Reflektif boyutlar arasında, sosyal-prososyal anlam, protokol sonrası prososyal niyet üzerinde en belirgin bağımsız etkiyi göstermiştir (β = 0.29, p < 0.001). Sözel katılım, son test prososyal sonuçlarıyla pozitif bir düzeltilmemiş korelasyon sergilemiş olsa da, başlangıç değerleri kontrol edildikten sonra bu ilişki istatistiksel anlamlılığını yitirmiştir (p = 0.09). Son olarak, gece geç saatlerde erişim oranı, protokol sonrası prososyal niyetle ilişkisiz kalmaya devam etmiştir (p = 0.27).

Gözlemlenen uygulama kısıtlamaları ve anlamsız bulgular
Uygulanan çalışma, protokolü durduracak başarısızlıklar yerine, optimal olmayan ancak bilgilendirici birkaç sonuç üretmiştir. Gözlemci kappa değerinin 0.70'in altında olması nedeniyle hariç tutulması gereken herhangi bir oturum gözlemlenmemiştir, final dışa aktarımından sonra hiçbir öğrenme analitiği alanı erişilemez kalmamıştır ve hiçbir görünürlük sorunu önceden belirlenmiş eksiklik eşiğini aşmamıştır. Gözlemlenen kısıtlamalar, yansıtma tamamlamalarında ve anlamsız veya marjinal davranışsal bulgularda yoğunlaşmıştır: 18 yansıtma geç teslim edilmiş, beklenen 17 yansıtma eksik kalmış, göreve odaklı not alma/cihaz kullanımı yalnızca marjinal bir artış göstermiş (p = 0.08), yardım arama anlamlı bir zaman etkisi göstermemiş (p = 0.21) ve gece geç saatlerde erişim, yansıtma toplam puanı veya protokol sonrası prososyal niyet ile ilişkilendirilmemiştir.

Bu bulgular, protokolün uygulama fizibilitesini ve sınır koşullarını tanımladıkları için korunmuştur. Geç gelen veya eksik yansımalar, katılımcı akış ve veri tamlığı özetlerinde raporlanmıştır; marjinal veya anlamsız ilişkiler seçici bir çıkarma yapılmadan bildirilmiştir ve Protokol bölümündeki sorun giderme prosedürleri, gözlemci kayması, engellenmiş görünürlük veya eksik LMS alanları gibi varsayımsal hataların gelecekteki uygulamalarda nasıl ele alınması gerektiğini belirtmektedir.

Kimliksizleştirilmiş analiz dosyaları, veri sözlüğü, analiz betikleri, boş kodlama formları, yansıtma istemleri, yansıtma rubriği ve prososyal niyet anketi Zenodo'ya yüklenmiştir: https://zenodo.org/records/20607517. Kimlik belirleyici ham sınıf videoları, isimler, kurum kimlik numaraları ve düzenlenmemiş yansıtma metinleri kamuya açıklanmamıştır.

Şekil 1: Çalışma iş akışı ve çok kaynaklı veri entegrasyon protokolü. (A) İki lisans dersi ve altı sınıf şubesinde katılımcı alımı, onam toplama ve çalışma-ID ataması. (B) 4 haftalık veri toplama döngüsü: haftalık sınıf içi gözlem, yansıtıcı yazma görevi ve senkronize öğrenme analitiği yakalama penceresi. (C) Üç paralel veri akışı: sınıf içi davranışsal gözlem, yansıtıcı ifade puanlaması ve kimliksizleştirilmiş öğrenme platformu kayıtları. (D) Katılımcı düzeyindeki ana veri setinin ve hafta düzeyindeki uzun formatlı veri tabanının oluşturulmasıyla elde edilen temel araştırma çıktıları: gözlemlenen sınıf içi etkileşim indeksi, yansıtma puanı ve prososyal niyet. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2: 4 haftalık protokol süresince gözlemlenen sınıf içi davranışlardaki haftalık değişimler. (A) Göreve odaklı dikkat. (B) Sözel katılım. (C) Akran iş birliği. (D) Göreve odaklı not alma veya göreve odaklı cihaz kullanımı. (E) Görev dışı dikkat dağınıklığı. (F) Yardım arama. Değerler, aralık tabanlı sınıf gözlemlerinden elde edilen haftalık öğrenci düzeyindeki oran puanlarıdır. Noktalar haftalık ortalamaları ve hata çubukları standart sapmaları göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: Dört yansıtıcı ödev boyunca yansıtıcı ifade düzeyindeki haftalık değişimler. (A) Betimsel özgünlük. (B) Analitik derinlik. (C) Öz-düzenleme yönelimi. (D) Sosyal-prososyal anlam. (E) Toplam yansıtma puanı. Yansıtma puanları, önceden belirlenmiş rubrik kullanılarak iki kör kodlayıcı tarafından atanmıştır. Noktalar haftalık ortalamaları, hata çubukları ise standart sapmaları göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 4: 4 haftalık çalışma penceresi boyunca öğrenme analitiği göstergelerinin dağılımı. (A) Öğrenme platformundaki aktif günler. (B) Kaynak görüntülemeleri. (C) Açılan atanmış kaynakların oranı. (D) Paylaşılan tartışma yanıtları. (E) Ortalama video tamamlama oranı. (F) Ödev zamanlaması. (G) Gece geç saatlerde erişim oranı. Tüm değerler, sınıf gözlemi ve yansıtıcı yazım için kullanılan aynı 4 haftalık pencere üzerinden hesaplanmıştır. Keman grafikleri öğrenci düzeyindeki dağılımları, kutu grafikleri ise medyanları ve çeyrekler arası aralıkları göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5: Gözlemlenen ders etkileşimi, yansıtıcı ifade ve seçilmiş öğrenme analitiği göstergeleri arasındaki ilişkiler. (A) Gözlemlenen Ders Etkileşim Endeksi ile toplam yansıtma puanı arasındaki ilişki. (B) Paylaşılan tartışma yanıtları ile toplam yansıtma puanı arasındaki ilişki. (C) Ödev zamanlaması ile toplam yansıtma puanı arasındaki ilişki. (D) Sözel katılım ile toplam yansıtma puanı arasındaki ilişki. Trend çizgileri uydurulmuş doğrusal ilişkileri; gölgeli bantlar %95 güven aralıklarını temsil etmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 6: Prososyal niyetle ilgili değişim ve bunun sınıf katılımı ile yansıtıcı anlam ile olan ilişkileri. (A) Başlangıç ve protokol sonrası prososyal niyet skorlarının eşli dağılımı. Çizgiler, aynı öğrenciden alınan eşli ön/son skorları birbirine bağlar. (B) Başlangıç skoru kontrol edildikten sonra, Gözlemlenen Sınıf Katılımı İndeksi ile protokol sonrası prososyal niyet arasındaki ilişki. (C) Sosyal-prososyal anlam ile protokol sonrası prososyal niyet arasındaki ilişki. (D) Sözel katılım ile protokol sonrası prososyal niyet arasındaki ilişki. B-D panellerindeki gölgeli bantlar %95 güven aralıklarını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Tablo 1: Öğrenci düzeyindeki sınıf gözlemi göstergeleri ve kodlama kuralları. Tablo; derse odaklanmış dikkat, sözel katılım, akran iş birliği, göreve yönelik not alma veya cihaz kullanımı, derse odaklanmama/dikkat dağınıklığı ve yardım arama için operasyonel tanımları ve kodlama kriterlerini detaylandırmaktadır. 70 dakikalık kodlama penceresi, 20 saniyelik tarama/10 saniyelik kayıt döngüsü, küme tarama prosedürü, görünürlük kaybı kuralı ve OCEI formülü Protokol bölümünde açıklanmıştır. Lütfen bu Tabloyu indirmek için buraya tıklayınız.

Tablo 2: Yansıtıcı ifade puanlama çerçevesi, puan düzeyi örnekleri ve öğrenme analitiği değişken tanımları. Tablo; her bir yansıtıcı boyut için 0, 1, 2 ve 3 puanlarının örneklerini ve çıkarılan öğrenme analitiği değişkenlerinin operasyonel tanımlarını içeren yansıtıcı metinler için puanlama rubriğini özetlemektedir. Yansıtıcı bileşenler arasında betimleyici özgünlük, analitik derinlik, öz düzenleme yönelimi, sosyal-prososyal anlam, genel yansıtma puanı, kelime sayısı ve gönderim durumu yer almaktadır. Öğrenme analitiği ise aktif günleri, kaynak görüntülemelerini, açılan atanmış kaynakların oranını, paylaşılan tartışma yanıtlarını, ortalama video tamamlama oranını, ödev dakikliğini ve gece geç saatlerdeki erişim oranını kapsamaktadır. Bu tabloyu indirmek için lütfen buraya tıklayınız.

Tablo 3: Katılımcı özellikleri, dahil edilme akışı ve veri tamlığı. Tablo; katılımcı uygunluğunu, onay oranlarını, hariç tutma kriterlerini, nihai örneklem büyüklüğünü ve üç veri kaynağı genelindeki veri tamlığını özetlemektedir. Başlangıç demografik özelliklerinin yanı sıra beklenen yansıtıcı girişler, zamanında gönderimler, geç gönderimler, eksik yansıtmalar ve başarılı öğrenme analitiği çıkarımları rapor edilmiştir. Aksi belirtilmedikçe değerler n (%) şeklinde sunulmuştur. Yuvarlamalar nedeniyle yüzdelerin toplamı tam olarak %100 olmayabilir. Protokol uyarınca, geç yansıtmalar arşivlenmiş ancak haftaya özel yansıtma analizlerinden hariç tutulmuştur. Tam öğrenme analitiği çıkarımı; eğitmen hesaplarının, mükerrer girişlerin ve pencere dışı olayların kaldırılmasının ardından kimliksizleştirilmiş çalışma penceresi kayıtlarının başarıyla geri getirilmesini ifade eder. Bu Tabloyu indirmek için lütfen buraya tıklayın.

Tablo 4: Birincil çalışma değişkenlerinin betimsel istatistikleri ve test güvenirlik puanları. Tablo; gözlemlenen sınıf içi davranış, yansıtıcı ifade, öğrenme analitiği ve prososyal niyet için haftaya özel ortalama değerleri, standart sapmaları ve güvenirlik indekslerini sunmaktadır. Sınıf gözlem verilerinin güvenilirliği Cohen's kappa kullanılarak değerlendirilmiştir. Yansıtma puanlama güvenilirliği, çift puanlanmış metinler için sınıf içi korelasyon katsayıları (ICCs) olarak sunulmuştur. Prososyal niyet ölçümünün iç tutarlılığı Cronbach's α kullanılarak raporlanmıştır. Öğrenme analitiği değişkenleri, gözlemler ve yansıtmalar için kullanılan aynı 4 haftalık süre üzerinden hesaplanmıştır. Bu Tabloyu indirmek için lütfen buraya tıklayınız.

Tablo 5: Gözlemlenen sınıf içi etkileşim, yansıtıcı ifade, öğrenme analitiği ve prososyal niyet arasındaki çok değişkenli ilişkiler. Tablo, ana analizlerde kullanılan çıkarımsal modelleri detaylandırmaktadır. Yansıtma toplam puanının çok değişkenli öngördürücülerini, protokol sonrası prososyal niyetin düzeltilmiş öngördürücülerini (bazal seviyeler kontrol edilerek) ve seçilmiş düzeltilmemiş ilişkileri sunar. β değerleri, standardize edilmemiş regresyon katsayılarını temsil eder. Tüm çok değişkenli modeller sınıf şubesine göre düzeltilmiştir. Tüm tahminler için standart hatalar (SE), %95 güven aralıkları (CI) ve p-değerleri sağlanmıştır. Bu tabloyu indirmek için lütfen buraya tıklayın.

Tartışma

Bu çalışma; üniversite öğrencilerinin katılımını, kendilerini ifade etme biçimlerini ve prososyal farkındalıklarını tek bir öğretim penceresi içerisinde kapsamlı bir şekilde incelemek için davranışsal gözlemi, yansıtıcı yazımı ve öğrenme analitiklerini entegre eden pratik bir protokol önermektedir. Katılımın farklı boyutlarını yakalayan bu üç modlu yaklaşım, yükseköğretim araştırmalarındaki güncel eleştirilere yanıt vermektedir; söz konusu eleştiriler, kullanım süresi metriklerinin ve sensör tabanlı izlemenin tek başlarına değerlendirildiklerinde yetersiz kaldığını savunmaktadır¹. 4 haftalık protokol boyunca, görünür sınıf katılımı anlamlı düzeyde artmıştır. Özellikle, sözel katılım ve akran iş birliği, görev odaklı dikkat ile birlikte artarken; yardım arama ve göreve odaklı not alma davranışlarında minimal değişiklikler görülmüştür. Bu davranışsal değişimler, öğrenciler öğretim ortamına uyum sağladıkça katılımın daha stratejik, sosyal etkileşimli ve katkı odaklı bir yapıya evrildiğini göstermektedir¹⁶.

Yöntem odaklı bir bakış açısıyla, protokolün değeri tekdüze pozitif sonuçların gözlemlenmesinden ziyade disiplinli bir uygulamaya bağlıdır. Bu nedenle revize edilen iş akışı; önceden belirlenmiş bir OCEI formülünü, bağımsız gözlemi, belgelenmiş yazılım işlemini, rubrik örneklerini, güvenilirlik eşiklerini ve açık eksik veri kurallarını vurgulamaktadır. Bu eklemeler; platform kayıtlarının, öğrenci katılımının, kamera görünürlüğünün ve yansıma kalitesinin kusurlu olduğu sıradan sınıf ortamlarında protokolün yeniden üretilebilir olmasını sağlamayı amaçlamaktadır.

Protokol aynı zamanda formata duyarlı olarak yorumlanmalıdır. Kalabalık amfi derslerinde, gözlemcilerin daha küçük rotasyonel kümelere ve daha uzun bir kalibrasyon süresine ihtiyacı olabilir; çevrim içi derslerde, davranışsal gözlem oda taramasından ziyade etkileşim kayıtlarına ve görünür katılıma dayanabilir; laboratuvarlarda, güvenlikle ilgili davranışlar ek bir gösterge gerektirebilir ve kültürel açıdan çeşitlilik gösteren sınıflarda, yansıtma istemleri ile prososyal niyet maddeleri kullanım öncesinde dilsel netlik ve kültürel uygunluk açısından gözden geçirilmelidir.

Yansıtıcı yazım, bu davranışsal kalıplara ilişkin ikincil bir içgörü katmanı sağlar. Toplam yansıtma puanları, protokol boyunca istikrarlı bir artış eğilimi göstermiş; en belirgin iyileşmeler analitik derinlik ve sosyal-prososyal anlam alanlarında gerçekleşmiştir. Öğrenciler, sınıf içi olayları sadece yeniden anlatmak yerine, öğretim durumlarını daha geniş ve sosyal açıdan daha bilinçli bir perspektiften analiz etme konusunda artan bir kapasite sergilemişlerdir. Bu durum, yüzey düzeyindeki metin hacmi nispeten sabit kaldığında bile tekrarlanan, yapılandırılmış yansıtma görevlerinin üst düzey anlamlandırmayı ve bilgiye dayalı söylemi teşvik ettiğine dair güncel bulgularla örtüşmektedir⁹. Sonuç olarak, yükseköğretimde yansıtıcı yazım; yorumlama, transfer ve öz-düzenleyici projeksiyonla ilgili becerilerin zaman içinde farklı hızlarda geliştiği çok boyutlu bir yapı olarak değerlendirilmelidir⁵.

Öğrenme analitiğinin entegrasyonu, çok kaynaklı bir protokolün gerekliliğini daha da haklı çıkarmaktadır. Tartışma cevapları ve ödevlerin zamanında teslimi gibi somut eylemlerin, etkileşimin çok daha açıklayıcı göstergeleri olduğu kanıtlanmıştır. Buna karşılık, gece geç saatlerde platforma erişimin, ne yansıtma kalitesiyle ne de prososyal niyetle anlamlı bir ilişkisi olduğu görülmüştür. Bu bulgular, öğrenci katılımını değerlendirmek için basit frekans veya giriş metriklerine aşırı güvenilmemesi konusunda uyaran önceki araştırmaları desteklemektedir⁴. Sonuçlarımız, ders materyalleriyle yapıcı şekilde etkileşim kuran öğrencilerin daha güçlü bir yansıtma kapasitesi geliştirdiğini; ancak temel platform etkinliğinin, gözlemlenebilir sınıf içi etkileşimi tam olarak yansıtmadığını göstermektedir. Gözlem, yansıtma ve analitikler arasındaki aşırı冗余 yerine orta düzeydeki örtüşme, böylece bağımsız ve tek kaynaklı çıkarımlar yerine bileşik ölçüm stratejilerinin kullanımını doğrulamaktadır¹⁷.

Bu araştırmanın ikincil bir katkısı, değerlendirilen çıktıların standart katılım metriklerinin ötesine genişletilmesidir. Prososyal niyet, ön testten son teste ölçülebilir bir artış göstermiş; yansıtma yazılarında sosyal-prososyal temaları dile getiren ve kapsamlı bir etkileşim profili sürdüren öğrenciler arasında en güçlü ilişkileri sergilemiştir. Bu durum, iş birlikçi ve katkı odaklı özelliklerin, sınıf içi etkileşimlerin yalnızca yan etkileri değil, aksine bunların ayrılmaz bir parçası olduğunu öne süren güncel yükseköğretim araştırmalarıyla tutarlıdır⁸. Ayrıca bu sonuçlar, sınıfların karmaşık sosyal sistemler olarak kavramsallaştırılmasını desteklemektedir. Öğrenciler, öğrenme topluluğuna yaptıkları göreceli katkıları aktif olarak değerlendirdiklerinde, davranışları temel uyum sağlamadan yapıcı ve prososyal bir etkileşime doğru kayma eğilimi göstermektedir¹⁸.

Bu sonuçlar, pedagojik tasarım için uygulanabilir içgörüler sunmaktadır. Önerilen protokol, özel sensörler veya müdahaleci izleme sistemleri gerektirmemektedir. Yalnızca aralık bazlı gözlemlere, haftalık yapılandırılmış yansıtmalara ve standart kurs platformu verilerine dayanan bu kombinasyon; şeffaf ve biçimlendirici etkileşim kanıtlarına ihtiyaç duyan ancak gelişmiş teknolojik altyapıdan yoksun olan lisans eğitim ortamları için oldukça uygulanabilir bir çözüm sağlamaktadır. Öğrenme topluluklarını ve değer yaratma odaklı öğretimi vurgulayan güncel pedagojik çerçeveler, öğrencilerin pasif tüketiciler yerine aktif ortak yaratıcılar olarak yeniden konumlandırılmasının, yükseköğretim katılımına daha fazla anlam kattığını öne sürmektedir¹⁹. Katkı ile ilgili göstergelerin, basit platform trafiğinden çok daha fazla, yansıtma kalitesi ve prososyal niyetle sıkı bir şekilde kümelendiğine dair ampirik bulgumuz, bu pedagojik değişimi güçlü bir şekilde desteklemektedir.

Bazı sınırlamaların kabul edilmesi gerekmektedir. İlk olarak, protokol sınırlı sayıda ders şubesi için tasarlandığından; laboratuvar tabanlı, ders anlatımı ağırlıklı, tamamen asenkron çevrim içi veya kültürel açıdan çeşitli ortamlara aktarılabilirliği, planlı adaptasyon ve yenilenmiş güvenilirlik testleri gerektirmektedir. İkinci olarak, prososyal niyet öz bildirim yoluyla ölçülmüştür ve doğrudan bir davranışsal gerçeklikten ziyade beyan edilen bir niyet olarak yorumlanmalıdır. Üçüncü olarak, öğrenme analitiği platform aracılı aktiviteleri kaydetmekte olup; çevrim dışı hazırlıkları, kayıt dışı akran desteğini ve açıklanmayan yapay zeka destekli çalışmaları gözden kaçırabilmektedir. Dördüncü olarak, 4 haftalık gözlem penceresi kısa vadeli uygulama örüntülerini belirleyebilir ancak daha uzun gelişimsel yörüngeleri yakalayamayabilir. Son olarak, 4 haftalık temsilci değerler, genellenebilir nedensel tahminlerden ziyade bağlama özgü uygulama kanıtları olarak yorumlanmalıdır²⁰.

Gelecekteki araştırmalar bu çerçeveyi birkaç yönde genişletmelidir. Protokolün farklı akademik disiplinlerde ve öğretim yöntemlerinde tekrarlanması kritik bir sonraki adımdır. Ayrıca, bu kısa vadeli yansıtıcı uygulamaların kalıcı prososyal tutumlar veya sürdürülebilir davranışsal faydalar sağlayıp sağlamadığını belirlemek için boylamsal takipler gereklidir. Sonraki çalışmalar, bu gözlemsel çerçeveyi akran değerlendirmesi, grup düzeyinde ürün analizi veya olay dizisi analizi gibi alternatif metodolojilerle karşılaştırabilir. Yine de mevcut haliyle bu protokol; öğrencilerin sınıfta ne yaptıklarını, bu eylemleri sonrasında nasıl yorumladıklarını ve daha geniş öğrenme ortamı içinde kendilerini sosyal olarak nasıl konumlandırdıklarını üçgenleme yöntemiyle belirlemek için güçlü ve operasyonel bir mekanizma sunmaktadır.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Sınıf gözlem kodlama formu	Kurum içi	Altı ikili davranışsal gösterge	Görev odaklı dikkat, sözlü katılım, akran iş birliği, göreve yönelik not alma/cihaz kullanımı, görev dışı dikkat dağınıklığı ve yardım arayışının aralık tabanlı kodlanması.
GraphPad Prism	Graphpad	Sürüm 10.2.3	İş akış şemalarının, haftalık trend grafiklerinin, dağılım grafiklerinin ve ilişki şekillerinin oluşturulması.
Kurumsal öğrenme yönetim sistemi / ders platformu	Ev sahibi üniversite	Mevcut kurumsal LMS hesap sistemi	Kimlikten arındırılmış öğrenme analitiklerinin toplanması.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	İş akış şemalarının, haftalık trend grafiklerinin, dağılım grafiklerinin ve ilişki şekillerinin oluşturulması.
R	R Foundation		ggplot2 3.5.1
Hesap tablosu yazılımı	Microsoft Corporation	Microsoft Excel 365 v2402	Veri girişi, temizleme, kimlikten arındırma kontrolleri ve gözlem/yansıtma/analitik veri setlerinin birleştirilmesi.
SPSS Statistics	IBM Corp	Sürüm 26.0	İstatistiksel analiz yazılımı; Betimsel istatistikler, tekrarlanan ölçümler karşılaştırmaları, Cohen's kappa, ICC, Cronbach's alpha, korelasyonlar ve regresyon modelleri.