De combinatie van Computer Game-Based Behavioural experimenten met High-Density EEG en infrarood Gaze Tracking

Deze video demonstreert een procedure om gelijktijdige gaze-tracking en high-density EEG-registraties te verkrijgen van proefpersonen tijdens het uitvoeren van boeiende en ecologisch valide cognitieve taken die zijn ingebed in een computerspel. Eerst worden elektroden op de proefpersoon aangebracht. Vervolgens wordt de gaze-trackingcamera gekalibreerd.

De proefpersoon speelt het spel terwijl EEG- en blikgegevens worden geregistreerd. Er worden gebeurtenisgerelateerde potentialen en gebeurtenisgerelateerde spectrale perturbaties verkregen die worden uitgelokt door gebeurtenissen in het spel. Het belangrijkste voordeel van deze techniek ten opzichte van bestaande methoden, zoals stimuluspresentatiepakketten zoals ePrime of Presentation, is dat het inbedden van experimenten in een computerspel prestatie-angst vermindert door af te stappen van een expliciete testcontext, en dat het proefpersonen helpt om gemotiveerd en betrokken te blijven bij de taken gedurende een lange experimentsessie.

Omvatten een breed scala aan cognitieve taken. Deze kwaliteiten zijn bijzonder belangrijk voor pediatrische en klinische populaties, waarbij aandacht en motivatie obstakels kunnen vormen tijdens complexe of langdurige experimentele sessies. Mijn naam is Keith Yoder en ik ben een research assistant in het Beaumont Laboratory.

Vandaag word ik bijgestaan door David Post, een laboratoriumtechnicus en promovendus van de UAUA bij de afdeling Human Development. We maken gebruik van een 128-kanaals bios, semi-actief tweemeting-systeem en een iLink 1000 infrarood eye-tracker van SR Research. Voordat het gecombineerde computergame- en EEG-experiment kan beginnen, moeten de elektroden worden gebalanceerd om ervoor te zorgen dat ze kleine offsets hebben in het bereik van plus of minus 20 µV, een uur voordat de proefpersoon arriveert. Balanceer voor het EEG-experiment de elektroden door ze vijf tot 10 minuten te weken in een zoutbad bestaande uit één theelepel zout per liter gedestilleerd water.

Laat de elektroden niet langer dan 10 minuten per keer in een vloeistof liggen. Nadat de elektroden uit het zoutbad zijn gehaald, dient een plantenspuit met gedestilleerd water te worden gebruikt om ze vlak voordat de proefpersoon arriveert te spoelen. Schakel de converterboxen van de gaze-trackingcamera en de computers in voor gelijktijdige gaze-tracking en EEG, en zorg ervoor dat de 16 millimeter lens in de gaze-trackingcamera wordt gebruikt.

De opstelling maakt gebruik van vier computers: één computer die specifiek is gewijd aan gaze tracking, één computer voor EEG-acquisitie, één computer voor de presentatie van stimuli en één computer voor video-acquisitie en data-analyse. Twee converterboxen manipuleren de VGA-uitgangen van de gaze tracking-computer en de stimuluspresentatie-computer en sturen een gesplitst videosignaal naar de video-acquisitiecomputer.

Op deze manier kan de computer voor videoacquisitie het gamescherm dat door de proefpersoon wordt gezien opnemen, waarbij een cursor die de huidige blikfixatie representeert en een tijdstempel over het beeld worden gelegd. Deze overlay-video wordt opgeslagen als een schijfbestand op de computer voor videoacquisitie. Laten we nu kijken naar de EEG-opstelling.

Begin de voorbereiding voor het EEG-experiment door de omtrek van het hoofd van de proefpersoon te meten, ter hoogte van het voorhoofd en het inion, en selecteer een elektrodenkap van de juiste maat. Plaats de kap op het hoofd van de proefpersoon en zorg ervoor dat het label buiten de kap rust op de nek van de proefpersoon.

Positioneer de cap opnieuw totdat de A1-elektrode gecentreerd is ten opzichte van het nasion, het inion en de linker pinna, de rechter pinna's en de middellijn van de cap langs de middellijn van het hoofd van de proefpersoon ligt. Het nasion is de inkeping tussen de neus en de wenkbrauw. Het inion is de benige uitstulping op de middellijn aan de achterzijde van het hoofd, en de pinna is de kraakbeenflap die zich uitstrekt aan de voorzijde van de opening van de gehoorgang.

Zodra de dop op zijn plaats zit, brengt u een plakring aan op de plastic behuizing van elektroden ex five en ex six. Lijn de opening van de ring uit met de elektrodepellet.

Verwijder de papieren achterzijde van de plakring en bedek het electrodecontact met geleidende gel. Plaats EX zes op de rechter mastoïde van de proefpersoon en EX vijf op de linker mastoïde van de proefpersoon. Gebruik een stompe spuit om geleidende gel in elke electrodehouder van de kap aan te brengen.

Beweeg de tip van de spuit heen en weer om het haar van het subject te scheiden. Druk vervolgens tegelijkertijd de zuiger naar beneden terwijl u de spuit van het hoofd wegtrekt, zoals u zou doen bij het decoreren van een cake. Vul tot de gel gelijk ligt met de bovenkant van de plastic behuizing.

Zorg ervoor dat u de gel niet te veel vult. Het is beter om te weinig gel te hebben, aangezien een overschot aan gel tussen de elektrodeposities kan uitvloeien, wat leidt tot elektrodebruggen. Als er elektrodebruggen ontstaan, is er geen andere oplossing.

Verwijder de kap, laat de proefpersoon het haar wassen en drogen, en begin opnieuw met de stekkers van de elektrodekabels over de schouder hangend en de sensoreinden in één hand; plaats elke elektrode voorzichtig in de bijbehorende houder in de elektrodekap. Pak alleen de plastic behuizing van de elektroden vast en zorg ervoor dat de draden niet worden ingeklemd. Het is essentieel om de tips van de elektroden niet aan te raken.

Contact met de huid, kleding of enig ander materiaal dan geleidingsgel zal de kwaliteit van de elektroden verslechteren. Breng geleidingsgel aan op X één tot en met X vier en gebruik plakringen om deze op het gezicht van de proefpersoon te bevestigen. Plaats X één en X twee telkens ongeveer één centimeter horizontaal vanaf de linker- en rechter buitenste ooghoek van de proefpersoon.

Plaats X3 en DX4 ongeveer één centimeter onder het midden van het linker- en rechteroog van de proefpersoon op de jukbeenderen. Verzamel de elektrodekabels voorzichtig achter de proefpersoon en wikkel de C-M-S-D-R-L kabel losjes om de andere kabels. Om een kabelbundel te maken, plaatst u klittenbandsluitingen aan de boven- en onderkant van de bundel om de kabels op hun plaats te houden en gebruikt u medische tape om de kabelbundel aan de achterkant van het shirt van de proefpersoon te bevestigen.

Zorg ervoor dat er voldoende speling in deze draden zit zodat de nek van de proefpersoon comfortabel naar voren kan buigen. Bereid nu de GSR-elektroden voor door een kaliumchloride-oplossing op elke elektrode aan te brengen. Gebruik medische tape om de GSR-elektroden te bevestigen aan de tweede en derde vinger van de niet-dominante hand van de proefpersoon, of aan de hand die niet tijdens het experiment wordt gebruikt.

Om gedragsresponsen te signaleren nadat alle elektroden zijn geplaatst, dient de proefpersoon in een niet-kantelbare, stationaire stoel te gaan zitten. Sluit vóór de monitor voor de stimuluspresentatie alle elektroden aan op de converterbox en controleer op de computer voor EEG-acquisitie of de offset van de elektroden binnen plus of min 40 microvolts ligt. Als een elektrode een zeer grote offset heeft of ruis vertoont, dient de elektrode voorzichtig uit de cap te worden verwijderd.

Breng meer gel aan in de behuizing en plaats de elektrode terug. Als een probleem bij een enkele elektrode aanhoudt, of als een enkele elektrode besmet raakt met pulsartefacten, moet dat kanaal worden geïnterpoleerd op basis van de omringende elektroden. Nadat de opname is voltooid, wordt de bliktracking ingesteld door eerst een doelsticker boven het wenkbrauw van de proefpersoon aan te brengen, mediaal ten opzichte van het oog.

Start de pop-up kalibratieapplicatie op de computer voor stimuluspresentatie. Begin een nieuwe sessie en wijzig het dropdownmenu voor het type naar CMD. Voer het juiste commando in en druk op de verzendknop om de event-logging vanuit de camera-instelling voor het starten van de pop-up kalibratieapplicatie in te schakelen.

Positioneer de camera zodanig dat de doelsticker en de iris van het subject gecentreerd zijn voor de automatische drempelwaarde. Druk op de A-toets op het toetsenbord van de computer voor de stimuluspresentatie. Pas de focus aan door aan de cameralens te draaien totdat de te volgen iris scherp is.

Begin met het kalibreren van het oogvolgsysteem op de proefpersoon door op de toets C te drukken op het toetsenbord van de computer voor de stimuluspresentatie. Er verschijnt een stip op negen verschillende locaties op het scherm in willekeurige volgorde. De proefpersoon moet naar de stip kijken zodra deze verschijnt, in plaats van de locatie van de volgende stip te anticiperen.

Om de kalibratie te valideren, drukt u op de V-toets. De stippen verschijnen opnieuw in een willekeurige volgorde. Als de kalibratie correct was, zal de blik van de proefpersoon overeenkomen met elke validatiestip.

Als de kalibratie mislukt, controleer dan of de drempelwaarden voor de pupil- en cornea-reflectie correct zijn. De pupil- en corneadrempels kunnen worden aangepast via het scherm voor de camera-instellingen op de hostcomputer van het eiland, linksboven op het scherm; door op de pijltjes omhoog en omlaag voor de pupil en cornea te klikken, worden de drempelwaarden respectievelijk verhoogd en verlaagd. Zorg ervoor dat de bemonsteringssnelheid is ingesteld op 500 hertz door op de knop 500 Hertz te klikken.

Minimaliseer de pop-up applicatie voor kalibratie op de computer voor stimuluspresentatie en begin met het vastleggen van blikgegevens door met de rechtermuisknop op het iLink-icoon in de taakbalk te klikken en Start recording te selecteren. Start de videoregistratie op de computer voor videoverwerving met de Black Magic Media Express-software. Start vervolgens de EEG-registratie op de computer voor EEG-verwerving door op de pauzeknop te klikken.

Wat betreft de presentatie van de stimulus: de computer startte het spel as polus, een speciaal ontwikkeld spel dat is ontworpen om ecologische validiteit te waarborgen zonder de experimentele controle op te offeren. In één spel moeten de proefpersonen een vrachtschip redden dat wordt aangevallen. Een go no-go-taak is geïmplementeerd door wormgaten te introduceren, waaruit ofwel een vriend tevoorschijn komt die de speler helpt, ofwel een vijand die de speler schade toebrengt. De spelers voeren daarnaast een dot motion coherence-taak uit door tijdens een ander spel een ruimteschip door drijvende sterrenvelden te sturen.

Proefpersonen moeten een radarscope gebruiken om asteroïden te verzamelen in een aangepaste Posner-taak, waarbij de vier sectoren waarin asteroïden kunnen verschijnen met verschillende grondfrequenties knipperen. Veranderingen in de spectrale inhoud van het EEG kunnen vervolgens de aandacht beoordelen op basis van de amplitudes van de frequenties die elke sector markeren. Een ander spel vraagt proefpersonen om te helpen bij het opstellen van een galactisch verdrag door de emoties te identificeren die in gezichten worden afgebeeld.

Elk van de vijf gezichten moet op lege plekken op een spelbord worden geplaatst om een rij of kolom van drie gezichten te creëren die dezelfde emotie uitdrukken. Een vierde spel implementeert de Sally-Anne-test voor de Theory of Mind van de spelers. Bekijk kapitein Sally terwijl zij haar lading op een van de vier planeten plaatst.

De rol van Anne wordt gespeeld door een ruimtepiraat die de vracht naar een andere planeet verplaatst. Tot slot observeert een admiraal zowel de kapitein als de piraat en geeft hij informatie over de acties van de piraat door aan de kapitein. Spelers moeten vervolgens onderscheppingskoersen uitzetten voor de kapitein en voor de piraat door af te leiden waar ieder van hen de vracht zal zoeken, waarmee zij eerstegraads en tweedegraads theory of mind implementeren in contrasten tussen verschillende condities.

Recente resultaten in mens-computerinteractie wijzen op de kracht van de gamecontext om motivatie te creëren en te behouden bij taken die anders wellicht niet op deze manier boeiend zouden lijken. Meerdere cognitieve taken in vele herhaalde trials kunnen worden uitgevoerd tijdens een enkele experimentele sessie zonder dat de proefpersoon vermoeid raakt. Dit is vooral belangrijk omdat proefpersonen ongeveer honderd trials per stimulusconditie moeten verzamelen om voldoende trials te verkrijgen voor EEG-middeling. Vervang voor auditieve stimuli de passieve luidsprekers op de computer voor stimuluspresentatie door actieve luidsprekers.

Sluit vervolgens de versterker aan en zet deze aan. Stel het volume in op niveau 60. Dit is noodzakelijk om een maximaal geluidsniveau van 80 decibel SPL te bereiken wanneer de proefpersoon klaar is met het spelen van de spellen.

Sluit het spel af en stop de gegevensregistratie door op de stopknop in de grafische interface te drukken. Doe dit op zowel de computers voor video-acquisitie en gaze tracking als op de computer voor EEG-acquisitie. Schakel de EEG-converterbox uit en koppel alle leads los van de box.

Verwijder de plakringen en plaats deze in warm gedestilleerd water. Gebruik een spuitfles gevuld met gedestilleerd water om eventuele gelresten van de elektroden te verwijderen en gebruik warm kraanwater en zeep om gel van de elektrodekap te verwijderen. Nu tonen we enkele representatieve EEG-resultaten.

Hier is een event-gerelateerde spectrale perturbatieplot verkregen van een frontale midline elektrode fz. In dit spel komt 'vijand aanwezig' overeen met het verschijnen van een vijandig schip of een go-conditie, en 'vriend aanwezig' komt overeen met het verschijnen van een vriendelijk schip of een no-go-conditie tijdens de no-go-conditie. Over het algemeen vertoonden ontwikkelingskinderen een significant groter EEG-vermogen in de gammaband dan kinderen met een autismespectrumstoornis.

Bij het uitvoeren van deze procedure is het belangrijk om te vermijden dat de elektrodecontacten worden aangeraakt, de draadgeleiders worden geklemd of dat er te veel gel wordt gebruikt.