Die Kombination Computer Game-Based Behavioural Experimente mit High-Density EEG-und Infrarot-Tracking-Gaze

Dieses Video zeigt ein Verfahren zur gleichzeitigen Erfassung der Blickverfolgung und hochdichten EEG-Aufnahmen von Probanden während der Durchführung anspruchsvoller und ökologisch valider kognitiver Aufgaben, die in ein Computerspiel integriert sind. Zunächst werden Elektroden am Probanden befestigt. Anschließend wird die Blickverfolgungskamera kalibriert.

Der Proband spielt das Spiel, während EEG- und Blickdaten aufgezeichnet werden. Es werden ereigniskorrelierte Potenziale und ereigniskorrelierte spektrale Störungen gewonnen, die durch Spiereignisse ausgelöst werden. Der Hauptvorteil dieser Technik gegenüber bestehenden Methoden, beispielsweise Stimuluspräsentationspaketen wie ePrime oder Presentation, liegt darin, dass die Integration von Experimenten in ein Computerspiel die Leistungsangst verringert, da der explizite Testkontext vermieden wird, und dazu beiträgt, dass die Probanden während einer langen Versuchssitzung motiviert bleiben und weiterhin an den Aufgaben interessiert sind.

Umfasst eine breite Palette kognitiver Aufgaben. Diese Eigenschaften sind besonders wichtig für pädiatrische und klinische Populationen, bei denen Aufmerksamkeit und Motivation Hindernisse für komplexe oder langwierige experimentelle Untersuchungen darstellen können. Mein Name ist Keith Yoder und ich bin wissenschaftlicher Mitarbeiter im Labor von Beaumont.

Heute wird mich David Post, Laborassistent und Doktorand am Department für Humane Entwicklung, unterstützen. Wir werden ein 128-Kanal-Bios, halbaktives Zwei-Messsystem sowie einen iLink 1000 Infrarot-Blickverfolger von SR Research verwenden. Bevor das kombinierte Computerspiel- und EEG-Experiment beginnen kann, sollten die Elektroden ausgeglichen werden, um sicherzustellen, dass sie kleine Offset-Werte im Bereich von plus oder minus 20 Mikrovolt aufweisen, und das eine Stunde vor Eintreffen des Probanden. Zum Ausgleich der Elektroden für das EEG-Experiment diese fünf bis zehn Minuten in einem Salzbad einweichen, das aus einem Teelöffel Salz pro Liter destilliertem Wasser besteht.

Die Elektroden dürfen nicht länger als 10 Minuten am Stück in einer Flüssigkeit verbleiben. Nach dem Entfernen der Elektroden aus dem Salzbad spülen Sie diese kurz vor Eintreffen des Probanden mit einem Sprühflaschen mit destilliertem Wasser ab. Schalten Sie die Konverterboxen und Computer für die gleichzeitige Blickverfolgung und EEG ein und verwenden Sie unbedingt das 16 Millimeter lange Objektiv in der Blickverfolgungskamera.

Die Aufbauten nutzen vier Computer: einen dedizierten Blickverfolgungs-Computer, einen dedizierten EEG-Aufnahme-Computer, einen dedizierten Stimuluspräsentations-Computer und einen Computer für die Videoaufnahme und Datenanalyse. Zwei Konverterboxen verarbeiten VGA-Ausgangssignale des Blickverfolgungs-Computers und des Stimuluspräsentations-Computers und senden ein zusammengesetztes Videosignal an den Videoaufnahme-Computer.

Auf diese Weise kann der Videoaufnahmecomputer den vom Probanden gesehenen Spielschirm aufzeichnen, der mit einem Cursor, der die aktuelle Blickfixation darstellt, sowie mit einem Zeitstempel überlagert ist. Dieses überlagerte Video wird als Datendatei auf dem Videoaufnahmecomputer gespeichert. Nun betrachten wir den EEG-Aufbau.

Beginnen Sie mit der Vorbereitung des EEG-Experiments, indem Sie den Kopfumfang des Probanden entlang der Augenbrauen und des Inion messen und eine entsprechend große Elektrodenhaube auswählen. Setzen Sie die Haube auf den Kopf des Probanden, wobei sicherzustellen ist, dass das Etikett außerhalb der Haube liegt und auf dem Nacken des Probanden ruht.

Positionieren Sie die Kappe so um, dass die A-eine-Elektrode bezüglich des Nasions, Inions und des linken Ohrläppchens, des rechten Ohrläppchens und der Kappe-Mittellinie in der Mitte des Kopfes des Probanden zentriert ist. Das Nasion ist die Vertiefung zwischen Nase und Augenbraue. Das Inion ist der knöcherne Vorsprung in der Mittellinie am Hinterkopf, und das Ohrläppchen ist die vorspringende Knorpelfalte an der vorderen Seite der Öffnung des Gehörgangs.

Wenn die Kappe an der richtigen Stelle sitzt, bringen Sie einen Klebering am Kunststoffgehäuse der Elektroden an, und zwar bei Ex fünf und Ex sechs. Richten Sie die Öffnung des Rings mit dem Elektrodenpellet aus.

Entfernen Sie die Papierrückseite vom Klebering und bedecken Sie den Elektrodenkontakt mit leitfähigem Gel. Platziere EX sechs am rechten Mastoid des Probanden und EX fünf am linken Mastoid des Probanden. Verwenden Sie eine stumpfe Spritze, um in jeden Elektrodenhalter in der Kappe leitfähiges Gel zu geben.

Bewegen Sie die Spritzenkanüle hin und her, um das Haar des Probanden zu teilen. Drücken Sie dann gleichzeitig den Kolben herunter und ziehen Sie die Spritze vom Kopf weg, als ob Sie einen Kuchen verzieren würden. Füllen Sie so lange, bis das Gel bündig mit der Oberseite des Kunststoffgehäuses abschließt.

Stellen Sie sicher, dass Sie die Form nicht überfüllen. Es ist besser, zu wenig Gel zu haben, als zu viel, da überschüssiges Gel zwischen den Elektrodenstellen austreten und einen Elektrodenkurzschluss verursachen kann. Wenn die Elektroden überbrückt werden, lässt sich daran nichts ändern.

Um die Kappe zu entfernen, muss die Versuchsperson ihre Haare waschen und trocknen und dann erneut beginnen, wobei die Stecker der Elektrodenkabel über der Schulter hängen und die Sensorenden in einer Hand gehalten werden. Jede Elektrode wird dann vorsichtig in die entsprechende Halterung innerhalb der Elektrodenkappe eingesetzt. Greifen Sie dabei ausschließlich das Kunststoffgehäuse der Elektroden an und achten Sie darauf, die Drähte nicht zu knicken. Es ist entscheidend, die Elektrodenspitzen nicht zu berühren.

Die Berührung mit Haut, Kleidung oder irgendeinem anderen Material außer leitfähigem Gel beeinträchtigt die Qualität der Elektroden. Geben Sie leitfähiges Gel auf X eins bis X vier und verwenden Sie Kleberinge, um sie am Gesicht des Probanden zu befestigen. Platzieren Sie X eins und X zwei jeweils etwa einen Zentimeter horizontal von den äußeren Augenwinkeln des Probanden links und rechts entfernt.

Platzieren Sie X drei und DX vier etwa einen Zentimeter unterhalb der Mitte des linken und rechten Auges des Probanden auf den Jochbeinen. Sammeln Sie die Elektrodenkabel vorsichtig hinter dem Probanden ein und wickeln Sie das C-M-S-D-R-L-Kabel locker um die anderen. Um einen Pferdeschwanz zu erzeugen, befestigen Sie Klettverschlüsse an der Ober- und Unterseite des Pferdeschwanzes, um die Kabel an ihrem Platz zu halten, und verwenden Sie medizinisches Klebeband, um den Pferdeschwanz an der Rückseite des Probandenhemdes zu befestigen.

Stellen Sie sicher, dass die Leitungen ausreichend Spiel haben, damit der Hals der Versuchsperson sich bequem nach vorne beugen kann. Bereiten Sie nun die GSR-Elektroden vor, indem Sie eine Kaliumchloridlösung auf jede Elektrode auftragen. Befestigen Sie die GSR-Elektroden mit medizinischem Klebeband an den zweiten und dritten Fingern der nicht-dominanten Hand der Versuchsperson oder an der Hand, die während des Experiments nicht verwendet wird.

Um Verhaltensreaktionen mit allen eingerichteten Elektroden zu erfassen, lässt man den Probanden auf einem nicht verstellbaren, feststehenden Stuhl sitzen. Vor dem Monitor zur Stimuluspräsentation werden alle Elektroden an die Konverterbox angeschlossen, und am EEG-Aufnahmecomputer wird überprüft, ob die Elektrodenoffsets innerhalb von plus oder minus 40 Mikrovolt liegen. Falls eine Elektrode einen sehr hohen Offset aufweist oder Rauschen verursacht, wird sie vorsichtig aus der Kappe entfernt.

Fügen Sie mehr Gel in das Gehäuse ein und ersetzen Sie die Elektrode. Wenn ein Problem bei einer einzelnen Elektrode weiterhin besteht oder wenn eine einzelne Elektrode mit Pulsartefakten kontaminiert ist, sollte dieser Kanal aus den umgebenden Elektroden interpoliert werden. Nach Beendigung der Aufnahme richten Sie die Blickverfolgung ein, indem Sie zunächst einen Zielaufkleber oberhalb der septischen Augenbraue medial zum Auge befestigen.

Starten Sie die Popup-Kalibrierungsanwendung auf dem Stimulus-Präsentationscomputer. Beginnen Sie eine neue Sitzung und ändern Sie im Dropdown-Menü den Typ auf CMD. Geben Sie den entsprechenden Befehl ein und drücken Sie die Schaltfläche „Senden“, um das Ereignisprotokoll über die Kameraeinrichtung des Popup-Kalibrierungsanwendungsstarts zu aktivieren.

Positionieren Sie die Kamera so, dass der Zielaufkleber und das I des Probanden mittig zur automatischen Schwellenwertbestimmung liegen. Drücken Sie die A-Taste auf der Tastatur des Stimulationspräsentationscomputers. Stellen Sie die Schärfe ein, indem Sie das Kameraobjektiv drehen, bis das zu verfolgende I scharf ist.

Beginnen Sie mit der Kalibrierung des Blickverfolgungssystems für die Versuchsperson, indem Sie auf dem Stimulationspräsentationscomputer die Taste C auf der Tastatur drücken. Ein Punkt erscheint in neun verschiedenen Positionen auf dem Bildschirm in zufälliger Reihenfolge. Die Versuchsperson sollte den Punkt ansehen, sobald er erscheint, anstatt die Position des nächsten Punkts vorauszusehen.

Zur Überprüfung der Kalibrierung drücken Sie die Taste V. Die Punkte erscheinen erneut in zufälliger Reihenfolge. Wenn die Kalibrierung erfolgreich war, wird der Blick des Probanden auf jedem Validierungspunkt liegen.

Wenn die Kalibrierung fehlschlägt, stellen Sie sicher, dass die Schwellenwerte für Pupille und Hornhautreflex angemessen sind. Die Schwellenwerte für Pupille und Hornhaut können über den Kamera-Setup-Bildschirm auf dem Island-Host-Computer in der oberen linken Bildschirmecke angepasst werden. Durch Klicken auf die Pfeile nach oben und unten für Pupille und Hornhaut werden die entsprechenden Schwellenwerte erhöht bzw. verringert. Stellen Sie sicher, dass die Abtastrate durch Klicken auf die 500-Hertz-Taste auf 500 Hertz eingestellt ist.

Minimieren Sie die Popup-Kalibrierungsanwendung auf dem Stimulus-Präsentationscomputer und beginnen Sie die Aufzeichnung der Blickdaten, indem Sie mit der rechten Maustaste auf das iLink-Symbol in der Taskleiste klicken und „Start recording“ auswählen. Starten Sie die Videoaufzeichnung auf dem Videoerfassungscomputer mit der Black-Magic-Media-Express-Software. Starten Sie anschließend die EEG-Aufzeichnung auf dem EEG-Erfassungscomputer, indem Sie auf die Pausetaste klicken.

Bei der Reizpräsentation startet der Computer nun das Spiel „Polus“, ein speziell entwickeltes Spiel, das ökologische Validität gewährleistet, ohne dabei die experimentelle Kontrolle zu beeinträchtigen. In einem Spiel müssen die Probanden ein Frachtschiff retten, das angegriffen wird. Eine Go/No-Go-Aufgabe wird durch die Einführung eines Wurmlochs realisiert, aus dem entweder ein Freund erscheint, der dem Spieler hilft, oder ein Feind, der dem Spieler schadet. Außerdem führen die Probanden eine Punkt-Bewegungskohärenz-Aufgabe durch, indem sie in einem anderen Spiel ein Raumschiff durch treibende Sternenfelder steuern.

Die Probanden müssen mithilfe einer Radarschirm-Anzeige Asteroiden in einer modifizierten Posner-Aufgabe sammeln, wobei die vier Sektoren, in denen Asteroiden erscheinen können, mit unterschiedlichen Grundfrequenzen flackern. Änderungen im Spektralinhalt des EEG können dann die Aufmerksamkeit anhand der Amplituden der Frequenzen bewerten, die jeweils einen Sektor markieren. Ein weiteres Spiel fordert die Probanden auf, bei der Ausarbeitung eines galaktischen Vertrags zu helfen, indem sie die in Gesichtern dargestellten Emotionen identifizieren.

Jedes der fünf Gesichter muss auf leere Felder eines Spielbretts platziert werden, um eine Reihe oder Spalte mit drei Gesichtern auszubilden, die dieselbe Emotion ausdrücken. Ein viertes Spiel implementiert den Sally-Anne-Test des Theory of mind für Spieler. Beobachten Sie Captain Sally, während sie ihre Ladung auf einem von vier Planeten ablegt.

Die Rolle von Anne wird von einem Weltraumpiraten gespielt, der die Fracht auf einen anderen Planeten bringt. Schließlich beobachtet ein Admiral sowohl den Kapitän als auch den Piraten und leitet Informationen über die Aktionen des Piraten an den Kapitän weiter. Die Spieler müssen dann Abfangkurse für den Kapitän und den Piraten berechnen, wobei sie erschließen, wo jeder die Fracht suchen wird, und dadurch erste- und zweiter-Ordnung-Theorie-des-Geistes in Kontrasten zwischen mehreren Bedingungen umsetzen.

Aktuelle Ergebnisse im Bereich der Mensch-Computer-Interaktion deuten darauf hin, dass der spielerische Kontext dazu beitragen kann, die Motivation bei Aufgaben zu erzeugen und aufrechtzuerhalten, die ansonsten als wenig ansprechend empfunden würden. Mehrere kognitive Aufgaben können über viele wiederholte Durchgänge hinweg innerhalb einer einzigen experimentellen Sitzung durchgeführt werden, ohne dass die Versuchsperson ermüdet. Dies ist besonders wichtig, da die Probanden für eine ausreichende Anzahl an EEG-Mittelwerten etwa hundert Durchgänge pro Stimulusbedingung absolvieren sollten. Bei auditiven Reizen ersetzen Sie die passiven Lautsprecher am Stimulus-Präsentations-Computer durch aktive Lautsprecher.

Schließen Sie dann den Verstärker an und schalten ihn ein. Stellen Sie die Lautstärke auf Stufe 60 ein. Dies ist erforderlich, um einen maximalen Schallpegel von 80 Dezibel SPL zu erreichen, wenn der Proband die Spiele beendet hat.

Beenden Sie das Spiel und stoppen Sie die Datenaufzeichnung, indem Sie im grafischen Interface die Stopp-Taste drücken. Schalten Sie auf jedem der Computer für die Videoaufnahme, die Blickverfolgung und die EEG-Aufnahme das EEG-Konvertergerät aus und trennen Sie alle Leitungen vom Gerät.

Entfernen Sie die Kleberinge und legen Sie sie in warmes destilliertes Wasser. Verwenden Sie eine Sprühflasche mit destilliertem Wasser, um eventuell an den Elektroden verbliebene Gele zu entfernen, und verwenden Sie warmes Leitungswasser mit Seife, um das Gel von der Elektrodenhaube zu entfernen. Nun zeigen wir einige repräsentative EEG-Ergebnisse.

Hier ist ein ereignisbezogenes Spektralstörungsdiagramm, das von einer frontomedialen Elektrode Fz erhalten wurde. In diesem Spiel entspricht das Auftreten eines feindlichen Schiffes oder einer Go-Bedingung dem Zustand „feindlich vorhanden“ und das Auftreten eines freundlichen Schiffes oder einer No-Go-Bedingung dem Zustand „freundlich vorhanden“ während der No-Go-Bedingung. Typischerweise wiesen entwicklungsbedingt Kinder eine signifikant höhere EEG-Leistung im Gammaband auf als Kinder mit einer Autismus-Spektrum-Störung.

Bei Durchführung dieses Verfahrens ist es wichtig, die Elektrodenkontakte nicht zu berühren, die Drahtanschlüsse nicht zu knicken und kein zu großes Gelvolumen zu verwenden.