Łączenie eksperymentów behawioralnych opartych na grach komputerowych z wysokogęstościowym EEG i podczerwienią do śledzenia spojrzenia

W niniejszym filmie zaprezentowano procedurę jednoczesnego śledzenia wzroku i rejestracji sygnału EEG o wysokiej gęstości u osób badanych podczas wykonywania angażujących i ekologicznie trafnych zadań poznawczych wkomponowanych w grę komputerową. W pierwszej kolejności u badanego mocuje się elektrody, a następnie przeprowadza kalibrację kamery do śledzenia wzroku.

Badany gra w grę, podczas gdy rejestrowane są dane EEG oraz śledzenia wzroku (Gaze). Uzyskiwane są potencjały wywołane oraz spektralne zaburzenia związane z zdarzeniami, które są wywoływane przez zdarzenia w grze. Główną zaletą tej techniki w porównaniu z istniejącymi metodami, na przykład pakietami do prezentacji bodźców takimi jak ePrime czy presentation, jest to, że osadzenie eksperymentów w grze komputerowej zmniejsza lęk przed oceną poprzez odejście od jawnego kontekstu testowego oraz pomaga badanym zachować motywację i zaangażowanie w zadania podczas długiej sesji eksperymentalnej.

Obejmuje szeroki zakres zadań poznawczych. Cechy te są szczególnie istotne w przypadku populacji pediatrycznych i klinicznych, u których uwaga i motywacja mogą stanowić przeszkody podczas złożonych lub długotrwałych sesji eksperymentalnych. Nazywam się Keith Yoder i jestem asystentem badawczym w Laboratorium Beaumont.

Pomagać mi będzie dzisiaj David Post, technik laboratoryjny i student studiów magisterskich na UAUA w Katedrze Rozwoju Człowieka. Będziemy korzystać z 128-kanałowego systemu pomiarowego bios, półaktywnego z dwoma pomiarami, oraz podczerwonego trackera wzroku iLink 1000 firmy SR Research. Zanim rozpocznie się połączony eksperyment z grą komputerową i EEG, elektrody należy zbalansować, aby upewnić się, że mają niewielkie przesunięcia w zakresie plus lub minus 20 µV na godzinę przed przybyciem badanego. W przypadku eksperymentu EEG zbalansuj elektrody, namaczając je przez 5 do 10 minut w kąpieli solnej składającej się z jednej łyżeczki soli na litr wody destylowanej.

Nie pozostawiaj elektrod w żadnym płynie dłużej niż przez 10 minut jednorazowo. Po wyjęciu elektrod z kąpieli solnej, użyj butelki z rozpylaczem wypełnionej wodą destylowaną, aby opłukać je tuż przed przybyciem badanego. Włącz konwertery kamer do śledzenia wzroku oraz komputery do jednoczesnego śledzenia wzroku i EEG; upewnij się, że w kamerze do śledzenia wzroku zastosowano obiektyw o ogniskowej 16 mm.

Układ wykorzystuje cztery komputery: jeden dedykowany do śledzenia wzroku, jeden dedykowany do akwizycji EEG, jeden dedykowany do prezentacji bodźców oraz jeden do akwizycji wideo i analizy danych. Dwa konwertery służą do manipulowania wyjściami VGA z komputera do śledzenia wzroku oraz komputera do prezentacji bodźców i przesyłania połączonego sygnału wideo do komputera do akwizycji wideo.

W ten sposób komputer do akwizycji wideo może rejestrować ekran gry widziany przez badanego, z nałożonym kursorem reprezentującym aktualną fiksację wzroku oraz znacznikiem czasu. Takie nagranie z nałożoną warstwą jest zapisywane w pliku na dysku komputera do akwizycji wideo. Przejdźmy teraz do konfiguracji EEG.

Rozpocznij przygotowania do eksperymentu EEG od pomiaru obwodu głowy badanego na wysokości brwi i wgłębienia potylicznego, a następnie dobierz czepek z elektrodami o odpowiednim rozmiarze. Załóż czepek na głowę badanego, upewniając się, że metka znajduje się na zewnątrz czepka i spoczywa na karku osoby badanej.

Przemieszcz czepek tak, aby elektroda A1 znajdowała się w centrum względem nasionu, inionu oraz lewej małżowiny usznej, prawego ucha i aby linia środkowa czepka pokrywała się z linią środkową głowy badanego. Nasion to wgłębienie między nosem a łukiem brwiowym. Inion to kostny wypukły punkt na linii środkowej z tyłu głowy, a małżowina uszna to chrząstkowy wyrostek znajdujący się po stronie przedniej otworu kanału słuchowego.

Po umieszczeniu nasadki, nałóż pierścień klejący na plastikową obudowę elektrod. Ex pięć i ex sześć. Wyrównaj otwór pierścienia z pelletem elektrody.

Zdejmij papierowy podkład z pierścienia adhezyjnego i pokryj kontakt elektrody żelem przewodzącym. Umieść EX six na prawym wyrostku sutkowatym badanego oraz EX five na lewym wyrostku sutkowatym badanego. Użyj tępej strzykawki, aby nanieść żel przewodzący do każdego uchwytu elektrody w czepku.

Poruszaj końcówką strzykawki, aby rozsunąć włosy obiektu. Następnie jednocześnie naciśnij tłok i odsuń strzykawkę od głowy, podobnie jak podczas dekorowania tortu. Wypełniaj, aż żel zrówna się z górną krawędzią plastikowej obudowy.

Należy uważać, aby nie przelać żelu. Lepiej użyć zbyt małej ilości żelu, ponieważ jego nadmiar może wycieknąć między miejscami rozmieszczenia elektrod, powodując ich zwarcie. W przypadku wystąpienia zwarcia elektrod nie ma możliwości naprawy.

Aby zdjąć czepek, należy poprosić badanego o umycie i wysuszenie włosów, a następnie rozpocząć procedurę od nowa; trzymając wtyczki przewodów elektrod zwisające nad ramieniem, a końcówki czujników w jednej dłoni, należy delikatnie umieścić każdą elektrodę w odpowiadającym jej uchwycie w czepku elektrodowym. Chwytaj wyłącznie plastikowe obudowy elektrod i zachowaj szczególną ostrożność, aby nie przyciąć przewodów. Krytycznie ważne jest, aby nie dotykać końcówek elektrod.

Kontakt ze skórą, odzieżą lub jakimkolwiek materiałem innym niż żel przewodzący pogorszy jakość elektrod. Nanieś żel przewodzący na elektrody X one do X four i użyj pierścieni klejących, aby przymocować je do twarzy badanego. Umieść elektrody X one i X two w odległości około jednego centymetra w poziomie od odpowiednio lewego i prawego kąta zewnętrznego oka badanego.

Umieść elektrody X3 oraz DX4 około jeden centymetr poniżej środka lewego i prawego oka badanego, na kościach jarzmowych. Delikatnie zbierz przewody elektrod za plecami badanego i luźno owiń przewód C-M-S-D-R-L wokół pozostałych. Aby stworzyć wiązkę przewodów, umieść opaski rzepowe na górze i na dole wiązki, aby utrzymać przewody na miejscu, a następnie za pomocą taśmy medycznej przymocuj wiązkę do pleców koszulki badanego.

Należy upewnić się, że przewody mają odpowiedni luz, aby szyja badanego mogła swobodnie zginać się do przodu. Teraz należy przygotować elektrody GSR, nakładając roztwór chlorku potasu na każdą z nich. Za pomocą taśmy medycznej przymocuj elektrody GSR do drugiego i trzeciego palca niedominującej ręki badanego lub tej ręki, która nie będzie używana podczas eksperymentu.

Aby zarejestrować odpowiedzi behawioralne po przygotowaniu wszystkich elektrod, należy poprosić badanego o zajęcie miejsca w stacjonarnym krześle z prostym oparciem. Przed monitorem do prezentacji bodźców należy podłączyć wszystkie elektrody do modułu konwertera i sprawdzić na komputerze do akwizycji EEG, czy przesunięcia potencjałów elektrod mieszczą się w zakresie plus lub minus 40 µV. Jeśli elektroda wykazuje bardzo duże przesunięcie lub generuje szumy, należy ją delikatnie usunąć z czepek.

Wprowadź więcej żelu do obudowy i wymień elektrodę. Jeśli problem nadal występuje w obrębie pojedynczej elektrody lub jeśli pojedyncza elektroda zostanie zanieczyszczona artefaktami impulsowymi, kanał ten należy interpolować z sąsiednich elektrod. Po zakończeniu rejestracji skonfiguruj śledzenie wzroku, przytwierdzając najpierw naklejkę celu nad brwią w pozycji przyśrodkowej względem oka.

Uruchom aplikację do kalibracji pop-up na komputerze do prezentacji bodźców. Rozpocznij nową sesję i zmień opcję w menu rozwijanym typu na CMD. Po wprowadzeniu odpowiedniej komendy naciśnij przycisk send, aby włączyć logowanie zdarzeń z aplikacji do kalibracji pop-up w konfiguracji kamery.

Ustaw kamerę tak, aby naklejka celu oraz oko badanego znajdowały się w centrum w celu automatycznego ustalenia progu. Naciśnij klawisz A na klawiaturze komputera odpowiedzialnego za prezentację bodźca. Dostosuj ostrość, obracając obiektyw kamery, aż śledzone oko będzie wyraźne.

Rozpocznij kalibrację systemu śledzenia wzroku do badanego, naciskając klawisz C na klawiaturze komputera odpowiedzialnego za prezentację bodźców. Na ekranie w losowej kolejności pojawi się kropka w dziewięciu różnych lokalizacjach. Badany powinien patrzeć na kropkę w momencie jej pojawienia się, zamiast antycypować lokalizację kolejnej kropki.

Aby zweryfikować kalibrację, naciśnij klawisz V. Kropki ponownie pojawią się w losowej kolejności. Jeśli kalibracja przebiegła pomyślnie, wzrok badanego zostanie zmapowany na każdą z kropek walidacyjnych.

Jeśli kalibracja nie powiedzie się, należy upewnić się, że progi odbicia źrenicy i rogówki są odpowiednio ustawione. Progi dla źrenicy i rogówki można dostosować w oknie konfiguracji kamery na komputerze hosta w lewym górnym rogu ekranu; kliknięcie strzałek w górę lub w dół przy parametrach źrenicy i rogówki odpowiednio zwiększa lub zmniejsza te progi. Należy upewnić się, że częstotliwość próbkowania jest ustawiona na 500 hertz, klikając przycisk 500 Hertz.

Zminimalizuj wyskakującą aplikację do kalibracji na komputerze do prezentacji bodźców i rozpocznij rejestrację danych o fiksacjach wzroku, klikając prawym przyciskiem myszy ikonę iLink na pasku zadań i wybierając Start recording. Rozpocznij nagrywanie wideo na komputerze do akwizycji wideo, korzystając z oprogramowania Black Magic Media Express. Następnie rozpocznij rejestrację EEG na komputerze do akwizycji EEG, klikając przycisk pauzy.

Przechodząc do prezentacji bodźców, komputer uruchomił grę Polus, która jest specjalnie zaprojektowaną produkcją mającą na celu zapewnienie trafności ekologicznej bez utraty kontroli eksperymentalnej. W jednej z gier badani muszą uratować statek transportowy, który jest atakowany. Zadanie typu go/no-go jest realizowane poprzez wprowadzenie dziury robaczej, z której pojawia się albo przyjaciel pomagający graczowi, albo przeciwnik wyrządzający mu szkody. Gracze wykonują również zadanie spójności ruchu kropek, sterując statkiem kosmicznym przez dryfujące pola gwiazd w trakcie drugiej gry.

Badani muszą korzystać z radaru w celu zbierania asteroid w zmodyfikowanym zadaniu Posnera, w którym cztery sektory, w których mogą pojawić się asteroidy, migoczą z różnymi częstotliwościami podstawowymi. Zmiany w zawartości spektralnej EEG pozwalają następnie ocenić uwagę na podstawie amplitud częstotliwości przypisanych do każdego sektora. Inna gra polega na pomocy w zawarciu traktatu galaktycznego poprzez identyfikację emocji przedstawionych na twarzach.

Każda z pięciu twarzy musi zostać umieszczona w pustych polach na planszy gry, aby stworzyć rząd lub kolumnę trzech twarzy wyrażających tę samą emocję. Czwarta gra realizuje test Sally-Anne dotyczący teorii umysłu graczy. Obserwuj kapitan Sally, gdy umieszcza swój ładunek na jednej z czterech planet.

Rolę Anne odgrywa kosmiczny pirat, który przenosi ładunek na inną planetę. Na koniec admirał obserwuje zarówno kapitana, jak i pirata, a następnie przekazuje kapitanowi informacje o działaniach pirata. Gracze muszą wówczas wyznaczyć kursy przechwycenia dla kapitana i pirata, wnioskując, gdzie każdy z nich będzie szukał ładunku, a tym samym wdrażając teorię umysłu pierwszego i drugiego rzędu w kontrastach między kilkoma warunkami.

Niedawne wyniki w dziedzinie interakcji człowiek-komputer wskazują na skuteczność kontekstu gry w budowaniu i utrzymywaniu motywacji w zadaniach, które w przeciwnym razie mogłyby nie wydawać się angażujące w ten sposób. W ciągu jednej sesji eksperymentalnej można przeprowadzić wiele zadań poznawczych w wielu powtórzeniach bez powodowania zmęczenia badanego. Jest to szczególnie istotne, ponieważ w celu uzyskania wystarczającej liczby prób do uśredniania EEG badani powinni zgromadzić około stu prób dla każdego warunku bodźca. W przypadku bodźców słuchowych należy zastąpić głośniki pasywne w komputerze do prezentacji bodźców głośnikami aktywnymi.

Następnie podłącz do prądu i włącz wzmacniacz. Ustaw głośność na poziom 60. Jest to konieczne, aby osiągnąć maksymalny poziom ciśnienia akustycznego SPL wynoszący 80 decybeli po zakończeniu rozgrywek przez badanego.

Wyjdź z gry i zakończ rejestrację danych, naciskając przycisk stop w interfejsie graficznym na każdym z komputerów służących do akwizycji wideo, śledzenia wzroku i akwizycji EEG. Wyłącz moduł konwertera EEG i odłącz wszystkie przewody z urządzenia.

Zdejmij pierścienie mocujące i umieść je w ciepłej wodzie destylowanej. Użyj butelki z atomizerem wypełnionej wodą destylowaną, aby usunąć pozostałości żelu z elektrod, a następnie użyj ciepłej wody z kranu i mydła, aby usunąć żel z czepek elektrod. Teraz zaprezentujemy reprezentatywne wyniki EEG.

Oto wykres perturbacji spektralnych powiązanych z zdarzeniem, uzyskany z czołowej elektrody linii środkowej fz. W tej grze „present enemy” odpowiada pojawieniu się statku przeciwnika lub warunkowi go, a „present friendly” odpowiada pojawieniu się statku sprzymierzeńca lub warunkowi no-go podczas próby no-go. Typowo dzieci w prawidłowym rozwoju wykazywały istotnie większą moc EEG w paśmie gamma niż dzieci z zaburzeniami spektrum autyzmu.

Podczas wykonywania tej procedury należy unikać dotykania styków elektrod, zaginania przewodów oraz stosowania nadmiernej ilości żelu.