Jeu-Based Computer combinant les expériences comportementales à haute densité Suivi Gaze EEG et infrarouge

Ce vidéo montre une procédure permettant d'obtenir simultanément un suivi du regard et des enregistrements EEG à haute densité chez des sujets réalisant des tâches cognitives captivantes et écologiquement valides intégrées dans un jeu informatique. Tout d'abord, des électrodes sont fixées sur le sujet. Ensuite, la caméra de suivi du regard est calibrée.

Le sujet joue au jeu pendant que les données d'EEG et de regard sont enregistrées. Des potentiels liés aux événements et des perturbations spectrales liées aux événements sont obtenus, déclenchés par les événements du jeu. Le principal avantage de cette technique par rapport aux méthodes existantes, par exemple les logiciels de présentation de stimuli comme ePrime ou Presentation, est que l'intégration d'expériences dans un jeu vidéo atténue l'anxiété de performance en s'éloignant d'un contexte de test explicite et aide les sujets à rester motivés et engagés dans les tâches tout au long d'une longue session expérimentale.

Comprenant un large éventail de tâches cognitives. Ces qualités sont particulièrement importantes pour les populations pédiatriques et cliniques, chez lesquelles l'attention et la motivation peuvent constituer des obstacles à des séances expérimentales complexes ou longues. Je m'appelle Keith Yoder et je suis assistant de recherche au laboratoire Beaumont.

Aujourd'hui, je serai assisté par David Post, technicien de laboratoire et étudiant diplômé UAUA au Département du développement humain. Nous utiliserons un système de mesure semi-actif BiOS à 128 canaux et un dispositif de suivi du regard infrarouge iLink 1000 de SR Research. Avant de commencer l'expérience combinée de jeu vidéo et d'EEG, les électrodes doivent être équilibrées afin de garantir des décalages faibles, compris dans une plage de plus ou moins 20 microvolts, une heure avant l'arrivée du sujet. Pour l'expérience d'EEG, équilibrez les électrodes en les faisant tremper de cinq à dix minutes dans une solution saline composée d'une cuillère à café de sel par litre d'eau distillée.

Ne laissez pas les électrodes dans un liquide plus de 10 minutes à la fois. Après avoir retiré les électrodes du bain salin, utilisez un flacon pulvérisateur rempli d'eau distillée pour les rincer juste avant l'arrivée du sujet. Allumez les boîtiers convertisseurs et les ordinateurs de suivi du regard pour assurer simultanément le suivi du regard et l'EEG ; veillez à utiliser l'objectif de 16 millimètres de longueur dans la caméra de suivi du regard.

L'installation utilise quatre ordinateurs : un ordinateur dédié au suivi du regard, un ordinateur dédié à l'acquisition des EEG, un ordinateur dédié à la présentation des stimuli et un ordinateur pour l'acquisition vidéo et l'analyse des données. Deux boîtiers convertisseurs permettent de manipuler les sorties VGA provenant de l'ordinateur de suivi du regard et de l'ordinateur de présentation des stimuli, puis d'envoyer un signal vidéo combiné à l'ordinateur d'acquisition vidéo.

De cette manière, l'ordinateur d'acquisition vidéo peut enregistrer l'écran de jeu vu par le sujet, superposé à un curseur représentant le point de fixation actuel du regard et à un horodatage. Cette vidéo superposée est enregistrée dans un fichier sur le disque de l'ordinateur d'acquisition vidéo. Voyons maintenant le montage EEG.

Commencez par préparer l'expérience d'EEG en mesurant la circonférence de la tête du sujet au niveau du front et de l'inion, puis sélectionnez une calotte d'électrodes de taille appropriée. Placez la calotte sur la tête du sujet en veillant à ce que l'étiquette se trouve à l'extérieur de la calotte, posée sur la nuque du sujet.

Repositionnez le capteur jusqu'à ce que l'électrode A soit centrée par rapport à la nasion, à l'inion et au pavillon gauche, au pavillon droit, et que la ligne médiane du capteur suive la ligne médiane de la tête du sujet. La nasion est la dépression située entre le nez et le front. L'inion est la saillie osseuse située sur la ligne médiane à l'arrière de la tête, et le pavillon est le repli de cartilage qui s'étend du côté antérieur de l'ouverture du conduit auditif.

Lorsque le capuchon est en place, appliquez un anneau adhésif sur le boîtier en plastique des électrodes. Ex cinq et ex six. Alignez l'ouverture de l'anneau avec la pastille de l'électrode.

Retirez le support en papier de l'anneau adhésif et recouvrez le contact de l'électrode de gel conducteur. Placez EX six sur le mastoïde droit du sujet et EX cinq sur le mastoïde gauche du sujet. Utilisez une seringue émoussée pour déposer du gel conducteur dans chaque logement d'électrode du casque.

Agitez doucement la pointe de la seringue pour écarter les cheveux du sujet. Ensuite, appuyez simultanément sur le piston tout en tirant la seringue vers l’extérieur, comme si vous décoriez un gâteau. Remplissez jusqu’à ce que le gel soit au niveau du sommet du boîtier en plastique.

Veillez à ne pas trop remplir. Il vaut mieux avoir trop peu de gel que trop de gel, car un excès peut s'écouler entre les sites des électrodes et provoquer un pont entre électrodes. Si un pont entre électrodes se forme, il n'y a rien à faire.

Mais pour retirer le bonnet, demandez au sujet de se laver et de bien sécher les cheveux, puis recommencez en disposant les fiches des fils d'électrodes sur l'épaule et en tenant les extrémités capteurs dans une main ; placez délicatement chaque électrode dans son logement correspondant à l'intérieur du bonnet d'électrodes. Saisissez uniquement le boîtier en plastique des électrodes et veillez soigneusement à ne pas pincer les fils. Il est essentiel de ne pas toucher les pointes des électrodes.

Le contact avec la peau, les vêtements ou tout autre matériau autre que le gel conducteur dégrade la qualité des électrodes. Appliquez du gel conducteur sur X un à X quatre et utilisez des anneaux adhésifs pour les fixer sur le visage du sujet. Placez X un et X deux respectivement à environ un centimètre à l'horizontale des canthi externes gauche et droit du sujet.

Placer X trois et DX quatre à environ un centimètre sous le milieu des yeux gauche et droit du sujet, sur les os zygomatiques. Rassembler délicatement les fils des électrodes derrière le sujet et enrouler lâchement le fil C-M-S-D-R-L autour des autres. Pour former une queue-de-cheval, placer des attaches Velcro en haut et en bas de la queue-de-cheval afin de maintenir les fils en place, puis utiliser du ruban médical pour fixer la queue-de-cheval à l'arrière de la chemise du sujet.

Veillez à laisser suffisamment de mou dans ces câbles pour permettre une flexion confortable du cou du sujet. Préparez maintenant les électrodes de RGC en appliquant une solution de chlorure de potassium sur chaque électrode. Utilisez du ruban médical pour fixer les électrodes de RGC sur les deuxième et troisième doigts de la main non dominante du sujet, ou sur la main qui ne sera pas utilisée durant l'expérience.

Pour enregistrer les réponses comportementales avec tous les électrodes en place, faites asseoir le sujet sur une chaise fixe non inclinable. Devant l'écran de présentation des stimuli, branchez toutes les électrodes sur la boîte de conversion et vérifiez sur l'ordinateur d'acquisition EEG que les décalages des électrodes se situent entre plus et moins 40 microvolts. Si une électrode présente un décalage très élevé ou un bruit important, retirez-la délicatement du capot.

Insérez davantage de gel dans le logement et remplacez l'électrode. Si un problème persiste sur un seul électrode, ou si un seul électrode est contaminé par un artefact d'impulsion, ce canal doit être interpolé à partir des électrodes environnantes. Une fois l'enregistrement terminé, configurez le suivi du regard en fixant d'abord une pastille cible au-dessus du sourcil septique, en position médiale par rapport à l'œil.

Lancez l'application de calibration contextuelle sur l'ordinateur de présentation des stimuli. Démarrez une nouvelle session et modifiez le menu déroulant de type en sélectionnant CMD. Après avoir saisi la commande appropriée, appuyez sur le bouton d'envoi pour activer la journalisation des événements depuis la configuration de la caméra lancée par l'application de calibration contextuelle.

Positionnez la caméra de manière à centrer l'autocollant cible et la lettre I du sujet pour le seuil automatique. Appuyez sur la touche A du clavier sur l'ordinateur de présentation des stimuli. Ajustez la mise au point en tournant l'objectif de la caméra jusqu'à ce que la lettre I à suivre soit nette.

Commencez par étalonner le système de suivi du regard pour le sujet en appuyant sur la touche C du clavier de l'ordinateur de présentation des stimuli. Un point apparaîtra à neuf emplacements différents sur l'écran, dans un ordre aléatoire. Le sujet doit regarder le point lorsqu'il apparaît, sans anticiper l'emplacement du prochain point.

Pour valider l'étalonnage, appuyez sur la touche V. Les points réapparaîtront dans un ordre aléatoire. Si l'étalonnage était correct, le regard du sujet se positionnera sur chacun des points de validation.

Si l'étalonnage échoue, vérifiez que les seuils de la pupille et du reflet cornéen sont appropriés. Les seuils de la pupille et de la cornée peuvent être ajustés depuis l'écran de configuration de la caméra sur l'ordinateur hôte « island », situé en haut à gauche de l'écran ; cliquez sur les flèches haut et bas de la pupille et de la cornée pour augmenter ou diminuer respectivement les seuils. Assurez-vous que la fréquence d'échantillonnage est réglée à 500 hertz en cliquant sur le bouton 500 hertz.

Réduisez l’application contextuelle d’étalonnage sur l’ordinateur de présentation des stimuli et commencez l’enregistrement des données de regard en cliquant avec le bouton droit sur l’icône iLink dans la barre des tâches et en sélectionnant Démarrer l’enregistrement. Démarrez l’enregistrement vidéo sur l’ordinateur d’acquisition vidéo à l’aide du logiciel Black Magic Media Express. Ensuite, démarrez l’enregistrement EEG sur l’ordinateur d’acquisition EEG en cliquant sur le bouton de pause.

Maintenant, lors de la présentation du stimulus, l'ordinateur lance le jeu Polus, un jeu conçu sur mesure afin d'assurer une validité écologique sans sacrifier le contrôle expérimental. Dans un des jeux, les sujets doivent secourir un navire cargo qui est attaqué. Une tâche de type « go/no-go » est mise en œuvre en introduisant un trou de ver, d'où émerge soit un allié qui aide le joueur, soit un ennemi qui lui nuit. Les joueurs effectuent également une tâche de cohérence de mouvement de points en pilotant un vaisseau spatial à travers des champs d'étoiles dérivants pendant un autre jeu.

Les sujets doivent utiliser un écran radar pour collecter des astéroïdes dans une tâche de Posner modifiée, les quatre secteurs dans lesquels les astéroïdes peuvent apparaître clignotant à des fréquences fondamentales différentes. Les changements dans le contenu spectral de l'EEG peuvent ensuite évaluer l'attention en fonction des amplitudes des fréquences associées à chaque secteur. Un autre jeu demande aux sujets d'aider à conclure un traité galactique en identifiant les émotions représentées sur des visages.

Chaque face parmi les cinq doit être placée sur des emplacements vides d'un plateau de jeu afin de former une rangée ou une colonne de trois faces exprimant la même émotion. Un quatrième jeu met en œuvre le test de Sally-Anne, évaluant la théorie de l'esprit chez les joueurs. Regardez le capitaine Sally pendant qu'il place sa cargaison sur l'une des quatre planètes.

Le rôle d'Anne est tenu par un pirate de l'espace qui déplace la cargaison vers une autre planète. Enfin, un amiral observe à la fois le capitaine et le pirate, puis transmet des informations sur les actions du pirate au capitaine. Les joueurs doivent ensuite tracer des trajectoires d'interception pour le capitaine et pour le pirate en déduisant l'endroit où chacun cherchera la cargaison, mettant ainsi en œuvre une théorie de l'esprit du premier ordre et du second ordre dans les comparaisons entre plusieurs conditions.

Des résultats récents en interaction homme-machine indiquent que le contexte ludique peut établir et maintenir la motivation dans des tâches qui, autrement, pourraient ne pas sembler attrayantes de cette manière. De nombreuses tâches cognitives peuvent être réalisées sur plusieurs essais répétés au cours d'une seule session expérimentale sans fatiguer le sujet. Cela est particulièrement important car, afin d'obtenir suffisamment d'essais pour la moyenne EEG, les sujets doivent accumuler environ une centaine d'essais pour chaque condition de stimulus. Pour les stimuli auditifs, remplacez les enceintes passives de l'ordinateur de présentation des stimuli par des enceintes amplifiées.

Ensuite, branchez et allumez l'amplificateur. Réglez le volume sur le niveau 60. Ceci est nécessaire pour atteindre un niveau sonore maximal de 80 décibels SPL lorsque le sujet a terminé les jeux.

Quittez le jeu et arrêtez l'enregistrement des données en appuyant sur le bouton d'arrêt dans l'interface graphique. Sur chacun des ordinateurs d'acquisition vidéo pour le suivi du regard et d'acquisition d'EEG, éteignez la boîte convertisseur EEG et débranchez tous les câbles de la boîte.

Retirez les anneaux adhésifs et placez-les dans de l’eau distillée tiède. Utilisez un vaporisateur rempli d’eau distillée pour éliminer tout gel résiduel sur les électrodes, et de l’eau chaude du robinet avec du savon pour enlever le gel du capuchon des électrodes. Nous allons maintenant présenter quelques résultats représentatifs d’EEG.

Voici un tracé de perturbation spectrale lié à un événement obtenu à partir d'une électrode frontale médiane Fz. Dans ce jeu, « présent ennemi » correspond à l'apparition d'un vaisseau ennemi ou à une condition « go », tandis que « présent allié » correspond à l'apparition d'un vaisseau amical ou à une condition « no-go » durant la condition « no-go ». Généralement, les enfants en développement normal présentaient une puissance EEG significativement plus élevée dans la bande gamma que les enfants présentant un trouble du spectre de l'autisme.

Lorsque vous effectuez cette procédure, il est important d'éviter de toucher les contacts de l'électrode, de pincer les fils conducteurs ou d'utiliser trop de gel.