Mobil Göz İzleyicileri Kullanarak Ortak Görsel Dikkat Yakalama Için Bir Metodoloji

Merhaba, benim adım Bertrand Schneider ve Harvard Eğitim Fakültesi'nde yardımcı doçentim. Bu videoda size mobil göz izleyicilerini nasıl kullanabileceğimizi göstereceğim. Ortak görsel dikkat psikologlar tarafından kapsamlı bir şekilde incelenmiş ve grup üyeleri arasındaki etkileşimlerin kalitesiyle yakından ilişkili bulunmuştur.

Bu insanlar ortak bir zemin oluşturmak ve bir görev ortak bir anlayış oluşturmak, sık sık aynı zamanda aynı yere bakmak eğilimindedir çıkıyor. Geleneksel olarak, araştırmacılar videoları elle kodlayarak niteliksel olarak ortak görsel dikkat üzerinde çalıştılar. Bu yapının sayısal bir ölçüsünü ortak bulunan ortamlarda elde etmek için mobil göz izleyicilerini nasıl kullanabileceğimizi göstereceğim.

Bu videoda Biz Tobii Pro Gözlük İki kullanarak olacak. Bu gözlükler, gerçek dünya ortamlarında göz hareketini yakalayabilen giyilebilir göz takip cihazlarıdır. Göz hareketlerini izlemek için çerçeveüzerinde özel kameralar ek olarak, cihaz da bir full-HD sahne kamera ve mikrofon ile donatılmıştır, böylece bakış davranışı takan görme alanı bağlamında görselleştirilmiş olabilir.

Bu gözlükler için bakışsaniyede 50 kez yakalanır ve gözlüklerden canlı video akışı kablosuz olarak veya ethernet kablosu üzerinden bilgisayara aktarılabilir. Onlar düzenli gözlük üzerinde çalışmaz gibi gözlük olsa da bir sınırlama var. Göz izleyicisini ayarlama yordamı nispeten basittir.

İlk olarak, katılımcılardan normal bir çift gözlük gibi göz izleme gözlüklerini takmaları istenecektir. Katılımcıların farklı yüz özelliklerine göre, veri kalitesini korumak için farklı yüksekliklerde burun parçaları nın kullanılması gerekebilir. Göz izleyicisini açtıktan sonra, katılımcılar dizginsiz vücut hareketlerine izin vermek için veri toplama birimini kişilerine kesmelidir.

Tobii Pro Glasses kumandası açılmalı ve katılımcılara, yazılımın kalibrasyon işlevi etkinken, Tobii tarafından sağlanan kalibrasyon işaretleyicisinin merkezine bakmaları talimatı verilmelidir. Kalibrasyon tamamlandıktan sonra, kayıt yazılımın içinden başlatılabilir. Kayıt oturumu tamamlandıktan sonra, katılımcıya göz izleme gözlüklerini ve veri toplama birimini kaldırması için talimat vermeden önce Tobii yazılımındaki kaydı sonlandırın.

Ve sonra, üniteyi kapatın. Veriler, SD kartı veri toplama biriminden çıkarArak ve kartı bilgisayara ekleyerek başka bir yazılım olan Tobii Pro Lab aracılığıyla elde edilebilir. Tobii Pro Lab, SD kartta depolanan tüm kayıt oturumlarını aynı anda içe aktarabiliyor.

Dosyalar daha sonra videolar, farklı görselleştirmeler oluşturmak için Tobii Pro Lab içinde işlenebilir veya daha fazla analiz için sekme ayrılmış değerler veya TSV dosyaları olarak çıktı. Burada, yakın zamanda yaptığımız ve iki katılımcının bir robotu programlamayı öğrendikleri bir çalışmadan elde ettiğimiz ham göz izleme verilerini görebilirsiniz. Her iki tarafta, katılımcının bakışlarının bulunduğu konuma sahip her göz izleyicisi tarafından oluşturulan video akışını görebilirsiniz.

Gördüğünüz gibi, aynı yere aynı anda bakıp bakmadıklarını söylemek imkansızdır, çünkü her katılımcının bakış açısı farklıdır. Ayrıca, veri kaydı farklı zamanlarda başlayabilir. Bu, verilerin zamansal ve mekansal olarak senkronize edilmesi gerektiği anlamına gelir.

Size bu videodaki iki sorunu nasıl ele alınacağını göstereceğim. İlk olarak, verileri geçici olarak senkronize etmek için bir prosedür açıklayacağım. İlk katılımcı için belirli sayıda video çerçevesi vardır.

Bazıları gerçek deneysel görevden önce veya sonradır. Deneycinin göz izleyicisini ayarladığı ilk kare gibi. Benzer şekilde, diğer katılımcılar için de aynı tür verilere sahipsiniz.

Burada gösterilmez, ancak videonun her karesi, her katılımcının bakışını temsil eden bir x ve y koordinatı ile de ilişkilidir. Verileri eşitlemek için, deneme görevinden önce ve sonra bilgisayar ekranında kısa bir süre için bir fiducial işaretçi gösteririz. Bir bilgisayar görme algoritması kullanarak, bu işaretçinin her katılımcıya ne zaman sunulduğunu algılayabiliriz, bu da verileri kırpmamızı ve hizalamamızı sağlar.

Yani, bu veri senkronizasyon sorunları ile başa çıkmanın bir yoludur. Sonraki bölümlerde, ikinci sayıya bakacağız: Verileri uzamsal olarak nasıl senkronize edeceğiz. Daha önce de belirtildiği gibi, veriler her katılımcının bakışlarının konumuyla ilişkili bir video akışı şeklinde her göz izleyicisinden geliyor, burada mavi ve yeşil.

X ve y-koordinatları her iki katılımcı için de aynı olsa da, ekrana iki farklı açıdan baktıkları için aynı yere baktıkları anlamına gelmez. Bu sorunu çözmenin bir yolu, bir referans görevi göreceksiniz deneysel kurulum bir görüntü oluşturmak için, ve nerede her katılımcının durumda konumunu yeniden eşlemek için gidiyoruz. Bu, katılımcıların aynı anda aynı yere bakıyorsa, göz izleme videosunun her karesini tespit etmemizi sağlar.

Ama bu koordinatları soldaki görüntüye nasıl yeniden eşebiliriz? Verileri daha önce senkronize etmemizi sağlayan aynı işbirliğine dayalı görme algoritmasını kullanacağız. Video kayıtlarının her karesi üzerine uygulayarak, artık katılımcıların bakış açısından fiducial işaretlerinin yerini tespit edebiliriz.

Bu, soldaki referans görüntüsündeki aynı işaretleri bağlamamızı sağlar. Bu paylaşılan nokta kümesinin koordinatlarını bilerek, homografi olarak bilinen matematiksel bir işlemi kullanarak her bir kişinin bakışlarının yerini çıkarabiliriz. Bu yordamı her kareye uygulayarak, homografinin çalıştığından emin olmak için bir video oluşturabiliriz.

Sağ tarafta, her katılımcının mavi ve yeşil bakışlarının bulunduğu video kaydını görebilirsiniz. Aynı fiducial işaretçiler, soldaki görüntü ile katılımcının sağ taraftaki bakış açısı arasında beyaz bir çizgiyle bağlanır. Remapped bakışları solda gösterilir ve bazı ortak görsel dikkat olduğunda kırmızı açın.

Bu videonun üretilmesi, verilerin temiz olduğundan ve homografinin doğru şekilde gerçekleştirildiğinden emin olmak için önemli bir adımdır. Ayrıca, verileri akıl sağlığı nı denetlemek için üretilebilen iki görseldaha vardır. İlk görselleştirme bir ısı haritasıdır.

Her katılımcı için, her bakış noktasını deneysel kurulumun görüntüsüne çizebiliriz. Bu, homografinin doğru şekilde işe yaramasını sağlar ve bu vaka noktalarını farklı ilgi alanlarına kategorize etmemizi sağlar. Burada, örneğin, çoğu zaman bilgisayar ekranına bakarak harcanan ve çok az zaman hile sayfaları bakarak harcanan görebilirsiniz.

İkinci görselleştirme çapraz yineleme grafiği olarak adlandırılır. Çapraz nüks grafikleri, katılımcı çifti için göz izleme verilerini görselleştirmemizi sağlar. İlk katılımcının zamanı x ekseninde, ikinci katılımcının zamanı y ekseninde görüntülenir.

Siyah kareler, her iki katılımcının da aynı yere baktığı, beyaz karenin eksik verileri temsil ettiği ve katılımcıların farklı konumlara baktığında gri kareyi temsil ettiği anlamına gelir. Diyagonal boyunca siyah kareler aynı anda aynı yere baktıkları anlamına gelir. Diyagonal kapalı siyah kareler katılımcıların aynı yere ama farklı zamanlarda bakıyor demektir.

Solda, ortak görsel dikkat yüksek düzeyde bir dyad görebilirsiniz. Ortada, ortak görsel dikkat düşük düzeyde bir dyad. Sağ tarafta, çok fazla veri eksik olan bir grup.

Bu akıl sağlığı denetimlerini gerçekleştirerek, verilerinizi doğru şekilde senkronize ettiğinizden ve verilerinizi deneysel kurulumun ortak bir görüntüsüne dönüştürttünüzü emin olabilirsiniz. Bu adımlar önemlidir ve herhangi bir çözümleme gerçekleşmeden önce gerçekleştirilmesi gerekir. Son olarak, ortak görsel dikkat bir ölçü hesaplama önce alınması gereken iki parametre vardır.

İlk parametre, katılımcıların aynı konuma bakabilecekleri zaman penceresidir. Richardson ve Dale'in önceki çalışmaları, katılımcıların eşlerinin ne yaptığına dikkat etmek için yaptıkları işten kopaklarını iki saniye kadar sürebileceğini ortaya çıkarmıştı. Böylece, iki katılımcının aynı yere artı ve eksi iki saniyelik pencere içinde bakmış olması durumunda ortak görsel dikkat olduğunu belirledik.

İkinci parametre, iki bakış noktası arasındaki minimum mesafedir. Bu mesafe içeriğe bağlıdır ve yönetilen göreve ve araştırma sorularına bağlı olarak araştırmacılar tarafından tanımlanması gerekir. Bazı görevleriçin mesafe kısa olabilir.

Örneğin burada 100 piksel kullandık. Diğer görevler için bu mesafe daha büyük olabilir. Sonra, bu metodoloji kullanılarak bulunan bazı sonuçlar sunmak için gidiyorum.

Gruptaki ortak görsel ilgi miktarı için bir tahmin aldıktan sonra, bu ölçüile diğer ilgi çekici değişkenlerle ilişkilendirebilirsiniz. Örneğin, çalışmalarında bu ölçünün, bir grup işbirliği kalitesini yakalayan öğrenme bilimlerine dönüşen derecelendirme şemasıyla ilişkilendirdik. Her grup için burada sunulan boyutların dokuzları bir puan atadı.

Örneğin, insanların karşılıklı anlayışı ne kadar iyi sürdürdükleri ya da ne kadar kolay bir uzlaşmaya vardıkları. Bu puanların başka bir kota ile kabul edilebilir inter güvenilirlik almak zorunda. Son olarak, bu puanları her grup için işbirliği kalitesini yaklaşık olarak gösteren genel bir metrik te bir araya getirebiliriz.

Çalışmalarımızda ve diğer çalışmalarda ortaya çıkan bir sonuç, daha önce sunulan derecelendirme şeması ile ölçülen ortak görsel ilginin işbirliği kalitesiyle önemli ölçüde ilişkili olduğudur. Bu kodlama şeması kullanılarak yüksek derecelendirilen gruplar, düşük puan alan gruplara göre daha fazla ortak görsel ilgi ye sahip olma eğilimindedir. Bu, üretken etkileşimlerin çoğu zaman daha fazla ortak görsel ilgi ile ilişkili olduğunu gösterir.

Bir sonraki slaytta size bu bulgu üzerine inşa başka bir sonuç göstermek için gidiyorum. Yani, ince göz izleme verilerine sahip olmanın bir avantajı da ortak görsel ilginin diğer ölçülerini çıkarabilmemizdir. Örneğin, ortak görsel dikkat teklifini kimin başlattığını ve yanıtlayıp yanıt verdilerini hesaplayabiliriz.

Özellikle, bu grafiğin x ekseninde sıfır puanı bu davranışların eşit dağılımı anlamına gelir ve bir puan bir kişinin her zaman yanıt verdiği veya görsel dikkat birleştirme anlarını başlattığı anlamına gelir. Bu çalışmada, ön ve sonrası testler ile ölçülen y ekseninde gösterilen öğrenme kazanımları ile ters bir korelasyon saptAdık. Aynı kişinin sürekli olarak ortak görsel dikkat anlarını başlattığı veya yanıt verdiği grupların öğrenme olasılığı daha düşüktü ve bu sorumluluğun eşit olarak paylaşıldığı grupların, ön testte puanları kontrol ederken testlerin ardından daha yüksek puan alma olasılıkları daha yüksekti.

Bu videoda araştırmacıların mobil göz izleme verilerini hem zamansal hem de mekansal olarak senkronize etmelerine yardımcı olan metodolojiyi sundum. Bulgular, çift göz izleme verilerinin ortak görsel dikkat inin ölçüm ölçütleri ile işbirliği göstergeleri sağlayabileceğini göstermektedir. Ayrıca, ortak görsel ilgi nin bir bölümünü kimin başlattığına veya yanıt verdiğine bakarak, örneğin, basit ortak ilgi ölçütlerinin ötesine geçebileceğimizi gösteren sonuçlar sundum.

Bu tedbirin öğrenme kazanımları gibi diğer sonuç önlemleriyle ilgili olduğunu bulduk. Göz izleme verileri olmadan bu tür bir tedbirin hesaplanması mümkün değildir. Özetle, bu videoda sunulan metodolojinin araştırmacıların işbirlikçi süreçler hakkında yeni bilgiler edinmelerine yardımcı olabileceğini bulduk.

Bu videoyu izlediğiniz için çok teşekkür ederiz ve daha fazla bilgi için kağıt başvurmak için çekinmeyin.