결합 컴퓨터 게임 기반 고밀도 뇌파와 적외선 가즈 추적 Behavioural 실험

본 영상에서는 컴퓨터 게임에 포함된 몰입도 높고 생태학적 타당성이 확보된 인지 과제를 수행하는 피험자로부터 시선 추적과 고밀도 EEG 기록을 동시에 얻는 절차를 보여줍니다. 먼저, 피험자에게 전극을 부착합니다. 그 다음 시선 추적 카메라를 보정합니다.

피험자가 게임을 플레이하는 동안 EEG 및 시선 데이터가 기록됩니다. 게임 이벤트에 의해 유발되는 사건 관련 전위(event related potentials)와 사건 관련 스펙트럼 섭동(event related spectral perturbations)이 측정됩니다. ePrime이나 presentation과 같은 자극 제시 패키지 등 기존 방법과 비교했을 때 이 기술의 주요 장점은, 컴퓨터 게임 내에 실험을 내장함으로써 명시적인 테스트 환경에서 벗어나 수행 불안을 완화하고, 피험자가 긴 실험 세션 동안 과제에 대한 동기를 유지하며 몰입할 수 있도록 돕는다는 점입니다.

광범위한 인지 과제를 포함합니다. 이러한 특성은 주의력과 동기 부여가 복잡하거나 장시간 진행되는 실험 세션의 장애물이 될 수 있는 소아 및 임상 대상자들에게 특히 중요합니다. 저는 Beaumont 연구소의 연구 보조원인 Keith Yoder입니다.

오늘은 인간 발달 학과의 실험실 기술자이자 UAUA 대학원생인 David Post가 저를 도와줄 것입니다. 우리는 128 채널 bios, semi active two 측정 시스템과 SR Research의 iLink 1000 적외선 시선 추적기를 사용할 것입니다. 컴퓨터 게임과 EEG 병행 실험을 시작하기 전, 피험자가 도착하기 한 시간 전에 전극의 오프셋이 ±20 µV 범위 내의 작은 값인지 확인하기 위해 전극의 균형을 맞추어야 합니다. EEG 실험을 위해, 증류수 1L당 소금 한 티스푼을 넣은 소금물에 전극을 5~10분 동안 담가 균형을 맞추십시오.

전극을 액체에 10분 이상 담가두지 마십시오. 염수조에서 전극을 꺼낸 후, 피험자가 도착하기 직전에 증류수가 담긴 스프레이 병을 사용하여 전극을 헹굽니다. 시선 추적과 EEG 동시 측정을 위해 시선 추적 카메라 컨버터 박스와 컴퓨터의 전원을 켜고, 시선 추적 카메라에는 반드시 16mm 망원 렌즈를 사용하십시오.

이 설정에는 총 4대의 컴퓨터가 사용됩니다. 시선 추적 전용 컴퓨터 1대, EEG 획득 전용 컴퓨터 1대, 자극 제시 전용 컴퓨터 1대, 그리고 비디오 획득 및 데이터 분석용 컴퓨터 1대로 구성됩니다. 2개의 컨버터 박스는 시선 추적 컴퓨터와 자극 제시 컴퓨터의 VGA 출력을 제어하여, 병합된 비디오 신호를 비디오 획득 컴퓨터로 전송합니다.

이러한 방식으로, 비디오 획득 컴퓨터는 피험자가 보는 게임 화면 위에 현재의 시선 고정 지점을 나타내는 커서와 타임스탬프를 겹쳐서 기록할 수 있습니다. 이 오버레이 비디오는 비디오 획득 컴퓨터의 디스크 파일로 저장됩니다. 이제 EEG 설정을 살펴보겠습니다.

피험자의 이마와 외후두결절(inion)을 따라 머리 둘레를 측정하여 적절한 크기의 전극 캡을 선택함으로써 EEG 실험 준비를 시작하십시오. 캡의 태그가 캡 바깥으로 나와 피험자의 목에 닿도록 하여 캡을 머리에 씌우십시오.

A1 전극이 nasion, inion, 좌측 pinna, 우측 pinna를 기준으로 중심에 위치하고 캡의 중앙선이 피험자 머리의 중앙선과 일치하도록 캡의 위치를 조정합니다. nasion은 코와 눈썹 사이의 오목한 부위입니다. inion은 머리 뒷부분 중앙선의 뼈 돌출부이며, pinna는 외이도 입구 앞쪽으로 뻗어 있는 연골 판입니다.

캡이 제자리에 위치하면, 전극의 플라스틱 하우징(Ex five 및 ex six)에 접착 링을 부착합니다. 링의 개구부를 전극 펠렛에 맞춥니다.

접착 링에서 종이 뒷면을 제거하고 전극 접촉 부위를 전도성 젤로 덮습니다. 피험자의 오른쪽 유양돌기에 EX 6을, 왼쪽 유양돌기에 EX 5를 배치합니다. 뭉툭한 주사기를 사용하여 캡의 모든 전극 홀더에 전도성 젤을 넣습니다.

주사기 팁을 흔들어 피험자의 머리카락을 옆으로 밀어냅니다. 그런 다음 케이크에 장식을 하듯 플런저를 누르는 동시에 주사기를 머리에서 떼어냅니다. 겔이 플라스틱 하우징 상단과 수평이 될 때까지 채웁니다.

겔을 너무 많이 채우지 않도록 주의하십시오. 겔이 과도하면 전극 사이로 흘러나와 전극 브리징(electrode bridging)을 유발할 수 있으므로, 차라리 약간 부족하게 채우는 것이 더 낫습니다. 전극 브리징이 발생하면 해결 방법이 없습니다.

캡을 제거한 후, 피험자의 머리를 감고 말리게 한 다음, 전극 리드 플러그를 어깨 너머로 늘어뜨리고 센서 끝부분을 한 손에 쥔 상태에서 다시 시작합니다. 각 전극을 전극 캡 내의 해당 홀더에 조심스럽게 배치하십시오. 전극의 플라스틱 하우징 부분만 잡아야 하며, 전선이 꺾이지 않도록 각별히 주의하십시오. 전극 팁을 만지지 않는 것이 매우 중요합니다.

피부, 의복 또는 전도성 겔 이외의 물질과 접촉하면 전극의 품질이 저하됩니다. X one부터 X four까지 전도성 겔을 도포하고 접착 링을 사용하여 피험자의 얼굴에 부착하십시오. X one과 X two를 피험자의 왼쪽 및 오른쪽 외안각에서 각각 수평으로 약 1cm 떨어진 곳에 배치하십시오.

광대뼈 부위의 피험자 좌우 눈 중앙에서 약 1cm 아래에 X3와 DX4를 배치합니다. 전극 리드를 피험자 뒤쪽으로 조심스럽게 모으고, C-M-S-D-R-L 리드를 다른 리드들 주변에 느슨하게 감습니다. 포니테일 형태로 만들기 위해, 포니테일의 상단과 하단에 벨크로 타이를 배치하여 리드를 고정하고 의료용 테이프를 사용하여 포니테일을 피험자 셔츠 뒷면에 부착합니다.

피험자의 목이 편안하게 앞으로 굽혀질 수 있도록 리드선에 충분한 여유를 두십시오. 이제 각 전극에 염화칼륨 용액을 도포하여 GSR 전극을 준비합니다. 의료용 테이프를 사용하여 피험자의 비우세손 또는 실험 중에 사용하지 않을 손의 두 번째와 세 번째 손가락에 GSR 전극을 부착하십시오.

모든 전극 설치를 마친 후 행동 반응 신호를 기록하기 위해, 피험자를 등받이가 조절되지 않는 고정식 의자에 앉힙니다. 자극 제시 모니터 앞에서 모든 전극을 컨버터 박스에 연결하고, EEG 획득 컴퓨터를 확인하여 전극 오프셋이 ±40 µV 이내인지 확인하십시오. 전극의 오프셋이 매우 크거나 노이즈가 심한 경우, 캡에서 해당 전극을 조심스럽게 제거하십시오.

하우징에 젤을 더 삽입하고 전극을 교체하십시오. 단일 전극에서 문제가 지속되거나, 단일 전극이 펄스 아티팩트로 인해 오염된 경우, 해당 채널은 주변 전극들의 데이터를 통해 보간해야 합니다. 기록이 완료된 후, 먼저 눈의 내측인 눈썹 위에 타겟 스티커를 부착하여 시선 추적을 설정하십시오.

자극 제시 컴퓨터에서 팝업 보정 애플리케이션을 실행하십시오. 새로운 세션을 시작하고 유형 드롭다운 메뉴를 CMD로 변경하십시오. 적절한 명령어를 입력한 후, 전송 버튼을 눌러 팝업 보정 애플리케이션 실행 카메라 설정의 이벤트 로깅을 활성화하십시오.

대상 스티커와 피험자의 눈이 자동 임계값 설정(auto threshold)을 위해 중앙에 오도록 카메라 위치를 잡으십시오. 자극 제시용 컴퓨터 키보드에서 A 키를 누르십시오. 추적할 눈이 선명하게 보일 때까지 카메라 렌즈를 돌려 초점을 조절하십시오.

자극 제시용 컴퓨터의 키보드에서 C를 눌러 피험자에 대한 시선 추적 시스템 보정을 시작하십시오. 화면의 9개 서로 다른 위치에 점이 무작위 순서로 나타납니다. 피험자는 다음 점이 나타날 위치를 예측하지 말고, 점이 나타날 때 그 점을 응시해야 합니다.

교정을 검증하려면 V 키를 누르십시오. 점들이 다시 무작위 순서로 나타납니다. 교정이 제대로 이루어졌다면, 피험자의 시선이 각 검증 점에 매핑될 것입니다.

보정이 실패한 경우, 동공 및 각막 반사 임계값이 적절한지 확인하십시오. 동공 및 각막 임계값은 아일랜드 호스트 컴퓨터 화면 좌측 상단의 카메라 설정 화면에서 조정할 수 있으며, 동공 및 각막의 위/아래 화살표를 클릭하여 임계값을 각각 높이거나 낮출 수 있습니다. 500 Hertz 버튼을 클릭하여 샘플링 속도가 500 hertz로 설정되었는지 확인하십시오.

자극 제시용 컴퓨터에서 팝업 보정 애플리케이션을 최소화하고, 작업 표시줄의 iLink 아이콘을 마우스 오른쪽 버튼으로 클릭한 후 Start recording을 선택하여 시선 데이터 기록을 시작하십시오. 비디오 획득용 컴퓨터에서 Black Magic Media Express 소프트웨어를 사용하여 비디오 녹화를 시작하십시오. 그런 다음 EEG 획득용 컴퓨터에서 일시 정지 버튼을 클릭하여 EEG 기록을 시작하십시오.

자극 제시 단계에서, 컴퓨터는 polus 게임을 실행했습니다. polus는 실험적 통제를 희생하지 않으면서 생태적 타당성을 보장하도록 설계된 맞춤형 게임입니다. 한 게임에서 피험자는 공격받고 있는 화물선을 구출해야 합니다. 웜홀을 도입하여 go/no-go 과제를 구현하며, 이 웜홀에서는 플레이어를 돕는 아군이나 플레이어에게 피해를 주는 적군이 나타납니다. 또한, 플레이어는 다른 게임 중에 표류하는 성단 사이로 우주선을 조종함으로써 점 운동 일관성(dot motion coherence) 과제를 수행합니다.

피험자는 수정된 Posner 과제에서 레이더 스코프를 사용하여 소행성을 수집해야 하며, 소행성이 나타날 수 있는 4개의 구역은 서로 다른 기본 주파수로 깜빡입니다. 이후 EEG의 스펙트럼 콘텐츠 변화를 통해 각 구역을 표시하는 주파수의 진폭을 기반으로 주의집중 상태를 평가할 수 있습니다. 또 다른 게임에서는 피험자가 얼굴에 묘사된 감정을 식별하여 은하 조약 체결을 돕도록 요청합니다.

다섯 개의 얼굴 각각을 게임판의 빈 공간에 배치하여 동일한 감정을 표현하는 세 개의 얼굴로 행 또는 열을 만들어야 합니다. 네 번째 게임은 플레이어의 마음 이론에 대한 Sally-Anne 테스트를 구현합니다. 캡틴 Sally가 네 개의 행성 중 하나에 화물을 배치하는 모습을 시청하십시오.

앤의 역할은 화물을 다른 행성으로 옮기는 우주 해적에 의해 수행됩니다. 마지막으로, 제독이 선장과 해적 모두를 관찰하고 해적의 행동에 관한 정보를 선장에게 전달합니다. 플레이어는 각자가 어디에서 화물을 찾을지 추론하여 선장과 해적의 가로채기 경로를 계획해야 하며, 이를 통해 여러 조건 간의 대비 속에서 1차 및 2차 마음 이론을 구현합니다.

인간-컴퓨터 상호작용의 최근 연구 결과들은, 평소라면 흥미롭게 느껴지지 않을 수 있는 과제에서 게임이라는 맥락이 동기를 부여하고 유지하는 데 강력한 힘이 된다는 점을 시사합니다. 이를 통해 피험자를 피로하게 하지 않고도 단일 실험 세션 동안 여러 번의 반복 시행을 통해 다수의 인지 과제를 수행할 수 있습니다. EEG 평균화를 위해 충분한 시행 횟수를 확보하려면 각 자극 조건당 약 100회의 시행을 누적해야 하므로 이는 특히 중요합니다. 청각 자극의 경우, 자극 제시용 컴퓨터의 패시브 스피커를 전원이 내장된 액티브 스피커로 교체하십시오.

그 다음 앰프의 전원을 연결하고 켭니다. 볼륨을 60단계로 설정하십시오. 이는 피험자가 게임 플레이를 마쳤을 때 최대 음압 레벨(SPL) 80 decibel을 달성하기 위해 필요합니다.

그래픽 인터페이스 내의 정지 버튼을 눌러 게임을 종료하고 데이터 기록을 중단하십시오. 이는 비디오 획득, 시선 추적 및 EEG 획득 컴퓨터 각각에서 수행합니다. EEG 컨버터 박스의 전원을 끄고 박스에서 모든 리드선을 분리하십시오.

접착 링을 제거하여 따뜻한 증류수에 넣습니다. 증류수가 담긴 스프레이 병을 사용하여 전극에 남아 있는 젤을 제거하고, 따뜻한 수돗물과 비누를 사용하여 전극 캡의 젤을 제거합니다. 이제 대표적인 EEG 결과 몇 가지를 보여드리겠습니다.

다음은 전두엽 정중선 전극 fz에서 얻은 사건 관련 스펙트럼 섭동 플롯입니다. 이 게임에서 present enemy는 적군 함선의 출현 또는 go 조건에 해당하며, present friendly는 no-go 조건 동안 아군 함선의 출현 또는 no-go 조건에 해당합니다. 일반적으로 발달 단계의 아동들은 자폐 스펙트럼 장애가 있는 아동들보다 유의하게 더 높은 감마 대역 EEG 파워를 나타냈습니다.

이 절차를 수행할 때는 전극 접촉부를 만지거나, 와이어 리드를 꼬거나, 젤을 너무 많이 사용하는 것을 피하는 것이 중요합니다.