Metodologia przechwytywania wspólnej uwagi wzrokowej za pomocą mobilnych urządzeń śledzących ruch gałek ocznych

Cześć, nazywam się Bertrand Schneider i jestem adiunktem w Harvard Graduate School of Education. W tym filmie pokażę wam, w jaki sposób możemy wykorzystać mobilne urządzenia do śledzenia ruchu gałek ocznych do uchwycenia głównego konstruktu nauk społecznych, jaką jest wspólna uwaga wzrokowa. Wspólna uwaga wzrokowa została szeroko przebadana przez psychologów i stwierdzono, że jest ściśle skorelowana z jakością interakcji między członkami grupy.

Okazuje się, że kiedy ludzie budują wspólną płaszczyznę i tworzą wspólne zrozumienie zadania, często patrzą na to samo miejsce w tym samym czasie. Tradycyjnie, naukowcy badali jakościowo wspólną uwagę wzrokową poprzez ręczne kodowanie filmów. Pokażę wam, w jaki sposób możemy wykorzystać mobilne urządzenia do śledzenia ruchu gałek ocznych, aby uzyskać ilościową miarę tego konstruktu w miejscach znajdujących się w tym samym miejscu.

W tym filmie będziemy używać okularów Tobii Pro Glasses Two. Te okulary to urządzenia śledzące ruch gałek ocznych do noszenia, które mogą rejestrować ruch gałek ocznych w rzeczywistych warunkach. Oprócz specjalistycznych kamer na ramie do śledzenia ruchów gałek ocznych, urządzenie jest również wyposażone w kamerę sceniczną Full HD i mikrofon, dzięki czemu zachowanie wzroku można wizualizować w kontekście pola widzenia użytkownika.

W przypadku tych okularów spojrzenie jest rejestrowane 50 razy na sekundę, a obraz wideo na żywo z okularów może być przesyłany strumieniowo do komputera bezprzewodowo lub za pośrednictwem Ethernet. Okulary mają jednak jedno ograniczenie, ponieważ nie będą działać na zwykłych okularach. Procedura konfiguracji eye-trackera jest stosunkowo prosta.

Po pierwsze, uczestnicy zostaną poproszeni o założenie okularów śledzących ruch gałek ocznych tak, jak normalnej pary okularów. Na podstawie różnych rysów twarzy uczestników może być konieczne użycie kawałków nosa o różnej wysokości, aby zachować jakość danych. Po włączeniu eye-trackera uczestnicy powinni przypiąć moduł zbierający dane do swoich osób, aby umożliwić nieokiełznane ruchy ciała.

Kontroler okularów Tobii Pro powinien być otwarty, a uczestnicy powinni zostać poinstruowani, aby spojrzeli na środek znacznika kalibracyjnego dostarczonego przez Tobii, podczas gdy funkcja kalibracji oprogramowania jest włączona. Po zakończeniu kalibracji można rozpocząć nagrywanie z poziomu oprogramowania. Po zakończeniu sesji nagraniowej zakończ nagrywanie w oprogramowaniu Tobii, zanim poinstruujesz uczestnika, aby zdjął okulary śledzące ruch gałek ocznych i jednostkę zbierającą dane.

A następnie wyłącz urządzenie. Dane można wyodrębnić za pomocą innego oprogramowania, Tobii Pro Lab, wyjmując kartę SD z jednostki zbierającej dane i wkładając kartę do komputera. Tobii Pro Lab jest w stanie zaimportować wszystkie sesje nagraniowe zapisane na karcie SD w tym samym czasie.

Pliki mogą być następnie przetwarzane w Tobii Pro Lab w celu generowania filmów, różnych wizualizacji lub wyprowadzania jako wartości rozdzielane tabulatorami lub pliki TSV do dalszej analizy. Tutaj możesz zobaczyć surowe dane dotyczące śledzenia ruchu gałek ocznych z badania, które niedawno przeprowadziliśmy, w którym dwóch uczestników uczyło się programować robota. Z każdej strony można zobaczyć strumień wideo generowany przez każdy eye-tracker z lokalizacją wzroku uczestnika.

Jak widać, nie da się stwierdzić, czy patrzą na to samo miejsce w tym samym czasie, ponieważ punkt widzenia każdego uczestnika jest inny. Ponadto rejestracja danych może rozpocząć się o różnych porach. Oznacza to, że dane muszą być zsynchronizowane czasowo i przestrzennie.

W tym filmie pokażę, jak rozwiązać te dwa problemy. Najpierw opiszę procedurę tymczasowej synchronizacji danych. Dla pierwszego uczestnika masz określoną liczbę klatek wideo.

Niektóre z nich są przed lub po rzeczywistym zadaniu eksperymentalnym. Tak jak w pierwszej klatce, w której eksperymentator kalibruje eye-tracker. Podobnie w przypadku innych uczestników masz ten sam rodzaj danych.

Nie jest to tutaj pokazane, ale każda klatka filmu jest również powiązana ze współrzędnymi x i y, które reprezentują spojrzenie każdego uczestnika. Aby zsynchronizować dane, na krótko pokazujemy znacznik odniesienia na ekranie komputera przed i po zadaniu eksperymentalnym. Korzystając z algorytmu widzenia komputerowego, możemy wykryć, kiedy ten znacznik jest prezentowany każdemu uczestnikowi, co pozwala nam przyciąć i wyrównać dane.

Jest to więc jeden ze sposobów radzenia sobie z problemami z synchronizacją danych. W kolejnych częściach zajmiemy się drugą kwestią:Jak zsynchronizować dane przestrzennie. Jak wspomniano wcześniej, dane pochodzą z każdego urządzenia śledzącego ruch gałek ocznych w postaci kanału wideo powiązanego z lokalizacją wzroku każdego uczestnika, tutaj w kolorze niebieskim i zielonym.

Chociaż współrzędne x i y mogą być takie same dla obu uczestników, nie oznacza to, że patrzą na to samo miejsce, ponieważ patrzą na ekran z dwóch różnych perspektyw. Jednym ze sposobów rozwiązania tego problemu jest zbudowanie obrazu konfiguracji eksperymentalnej, który posłuży jako odniesienie i w którym zamierzamy ponownie odwzorować lokalizację przypadku każdego uczestnika. Dzięki temu możemy wykryć dla każdej klatki filmu śledzącego ruch gałek ocznych, czy uczestnicy patrzą w to samo miejsce w tym samym czasie.

Ale jak odwzorować te współrzędne na obrazie po lewej stronie? Zamierzamy użyć tego samego algorytmu kooperatywnego widzenia, który pozwolił nam wcześniej zsynchronizować dane. Nakładając go na każdą klatkę nagrań wideo, możemy teraz wykryć lokalizację znaczników odniesienia z perspektywy uczestników.

Dzięki temu możemy połączyć te same znaczniki na obrazie referencyjnym po lewej stronie. Znając współrzędne tego wspólnego zestawu punktów, możemy wywnioskować położenie wzroku każdej osoby za pomocą operacji matematycznej znanej jako homografia. Stosując tę procedurę na każdej klatce, możemy wygenerować wideo, aby upewnić się, że homografia zadziałała.

Po prawej stronie znajduje się nagranie wideo każdego uczestnika z lokalizacją jego spojrzenia w kolorze niebieskim i zielonym. Te same znaczniki odniesienia są połączone białą linią między obrazem po lewej stronie a punktem widzenia uczestnika po prawej stronie. Ponownie zmapowane spojrzenia są pokazane po lewej stronie i zmieniają kolor na czerwony, gdy pojawia się wspólna uwaga wzrokowa.

Wygenerowanie tego filmu jest ważnym krokiem w kierunku upewnienia się, że dane są czyste, a homografia została wykonana poprawnie. Ponadto istnieją dwie inne wizualizacje, które można utworzyć, aby sprawdzić poprawność danych. Pierwsza wizualizacja to mapa cieplna.

Dla każdego uczestnika możemy nanieść każdy punkt spojrzenia na obraz eksperymentalnego zestawu. Gwarantuje to, że homografia zadziałała poprawnie i pozwala nam kategoryzować te przypadki w różnych obszarach zainteresowań. Tutaj na przykład widzimy, że większość czasu spędziliśmy na patrzeniu na ekran komputera, a bardzo mało czasu na patrzenie na ściągawki.

Druga wizualizacja jest nazywana wykresem cyklu krzyżowego. Wykresy nawrotów krzyżowych pozwalają nam na wizualizację danych eye-trackingowych dla pary uczestników. Czas dla pierwszego uczestnika jest wyświetlany na osi x, czas dla drugiego uczestnika jest wyświetlany na osi y.

Czarne kwadraty oznaczają, że obaj uczestnicy patrzą na to samo miejsce, biały kwadrat reprezentuje brakujące dane, a szary kwadrat oznacza, gdy uczestnicy patrzą na różne lokalizacje. Czarne kwadraty po przekątnej oznaczają, że patrzą w to samo miejsce w tym samym czasie. Czarne kwadraty po przekątnej oznaczają, że uczestnicy patrzą w to samo miejsce, ale w różnym czasie.

Po lewej stronie widać diadę z wysokim poziomem wspólnej uwagi wzrokowej. W środku diada z niskim poziomem wspólnej uwagi wzrokowej. Po prawej stronie grupa z dużą ilością brakujących danych.

Wykonując te testy poprawności, możesz upewnić się, że poprawnie zsynchronizowałeś i ponownie zamapowałeś dane do wspólnego obrazu konfiguracji eksperymentalnej. Kroki te mają kluczowe znaczenie i należy je wykonać przed przeprowadzeniem jakiejkolwiek analizy. Wreszcie, istnieją dwa parametry, które należy wybrać przed obliczeniem miary wspólnej uwagi wzrokowej.

Pierwszym parametrem jest okno czasowe, w którym uczestnicy mogą spojrzeć na tę samą lokalizację. Wcześniejsze prace Richardsona i Dale'a wykazały, że uczestnicy mogą potrzebować do dwóch sekund, aby oderwać się od tego, co robią, aby zwrócić uwagę na to, co robi ich partner. W ten sposób ustaliliśmy, że istnieje wspólna uwaga wzrokowa, jeśli dwóch uczestników spojrzało na to samo miejsce w ciągu dwóch sekund plus i minus.

Drugi parametr to minimalna odległość między dwoma punktami spojrzenia, aby kwalifikowały się one jako wspólna uwaga wzrokowa. Dystans ten jest zależny od kontekstu i musi być zdefiniowany przez badaczy w zależności od wykonywanego zadania i ich pytań badawczych. W przypadku niektórych zadań odległość może być niewielka.

Tutaj na przykład użyliśmy 100 pikseli. W przypadku innych zadań odległość ta może być większa. Następnie przedstawię kilka wyników uzyskanych przy użyciu tej metodologii.

Po uzyskaniu oszacowania ilości wspólnej uwagi wzrokowej w grupie można skorelować tę miarę z innymi interesującymi zmiennymi. Na przykład w pracy, w której skorelowaliśmy tę miarę ze schematem oceniania opracowanym w naukach ścisłych, który ujmuje jakość współpracy w grupie. Każdej grupie przypisaliśmy punktację na dziewiątkach prezentowanych tu wymiarów.

Na przykład, jak dobrze ludzie utrzymują wzajemne zrozumienie lub jak łatwo osiągają konsensus. Wyniki te muszą uzyskać akceptowalną wiarygodność między innymi limitami. Na koniec możemy również zagregować te wyniki w jedną ogólną metrykę, która przybliża jakość współpracy dla każdej grupy.

Wynikiem, który został znaleziony w naszej pracy, a także w innych badaniach, jest to, że wspólna uwaga wzrokowa jest istotnie skorelowana z jakością współpracy, mierzoną za pomocą przedstawionego wcześniej schematu ocen. Grupy, które są wysoko oceniane przy użyciu tego schematu kodowania, mają zwykle większą wspólną uwagę wzrokową niż grupy, które otrzymały niskie wyniki. Pokazuje to, że produktywne interakcje często wiążą się z większą wspólną uwagą wzrokową.

Na następnym slajdzie pokażę wam kolejny wynik, który opiera się na tym odkryciu. Tak więc jedną z zalet posiadania dokładnych danych ze śledzenia ruchu gałek ocznych jest to, że możemy wyodrębnić inne miary wspólnej uwagi wzrokowej. Na przykład możemy obliczyć, kto zainicjował i zareagował na ofertę wspólnej uwagi wzrokowej.

W szczególności na osi x tego wykresu wynik zero oznacza równy rozkład tych zachowań, a wynik jeden oznacza, że jedna osoba zawsze reagowała lub inicjowała momenty wspólnej uwagi wzrokowej. W tym badaniu znaleźliśmy odwrotną korelację z korzyściami w uczeniu się pokazanymi na osi y, mierzonymi za pomocą testów wstępnych i końcowych. Grupy, w których ta sama osoba konsekwentnie inicjowała lub reagowała na momenty wspólnej uwagi wzrokowej, były mniej skłonne do uczenia się, a grupy, w których ta odpowiedzialność była równo podzielona, były bardziej skłonne do uzyskania wyższych wyników w testach końcowych podczas kontrolowania wyników w teście wstępnym.

W tym filmie przedstawiłem metodologię, która pomaga naukowcom synchronizować dane z mobilnego śledzenia ruchu gałek ocznych zarówno w czasie, jak i przestrzennie. Wyniki sugerują, że dane z podwójnego śledzenia ruchu gałek ocznych mogą dostarczyć wskaźników współpracy poprzez obliczanie miar wspólnej uwagi wzrokowej. Dodatkowo przedstawiłem wyniki pokazujące, że możemy wyjść poza proste pomiary wspólnej uwagi, na przykład patrząc na to, kto zainicjował lub zareagował na epizod wspólnej uwagi wzrokowej.

Odkryliśmy, że ta miara była powiązana z innymi miarami wyników, takimi jak korzyści z uczenia się. Obliczenie tego rodzaju miary nie byłoby możliwe bez danych ze śledzenia wzroku. Podsumowując, stwierdziliśmy, że metodologia przedstawiona w tym filmie może pomóc naukowcom w uzyskaniu nowych informacji na temat procesów współpracy.

Bardzo dziękuję za obejrzenie tego filmu i zachęcamy do zapoznania się z artykułem, aby uzyskać więcej informacji.