뇌 - 기계 인터페이스의 폐쇄 루프 성능을 연구하기 위해 실험 플랫폼

우리는 초파리 뇌의 시각 중간 뉴런인 H1 세포의 활성을 이용하여 모바일 로봇의 모터를 제어합니다. 로봇은 지속적으로 회전하는 턴테이블 위에 놓이며, 외부 움직임에 대해 환경과 상대적으로 로봇을 안정시키기 위해 해당 세포의 활성이 사용됩니다. 로봇에서 기록된 패턴 움직임의 이미지는 샘플링되어 초파리 앞에 배치된 두 대의 컴퓨터 CRT 모니터로 전송됩니다.

초당 스파이크 수로 측정된 H1 세포의 신호는 패턴 이동 속도를 나타냅니다. 이후 기록된 초당 스파이크 수를 로봇 모터의 제어 신호로 변환하기 위해 다양한 제어 법칙이 적용됩니다. 안녕하세요, 저는 임페리얼 칼리지 런던 바이오공학과 Holger Crops 연구실의 Navita Josh입니다.

저는 Holger Cups 연구실의 Chris Peterson입니다. 안녕하세요, 저는 Holger Cup입니다. 오늘은 초파리 시각 체계의 개별 세포와 로봇 사이에 뇌-기계 인터페이스를 구축하는 절차를 보여드리겠습니다.

본 절차는 입을 다문 상태에서 뉴런 신호를 이용해 로봇 시스템을 제어하는 다양한 제어 전략의 성능을 테스트하는 데 사용됩니다. 이제 시작해 보겠습니다. 먼저 파리를 준비하기 위해 얼음 위에서 냉각시킨 다음, 끝이 뭉툭한 칵테일 스틱을 사용하여 날개를 누르고 파리의 뒷부분을 현미경 슬라이드 위의 양면 테이프에 고정하십시오. 다음으로, 밀랍(B wax)을 사용하여 날개를 슬라이드에 부착하고 비행 근육의 작동을 차단하십시오.

이 단계에서는 절차 중에 파리가 체온이 올라가지 않도록 빠르고 정확하게 처리해야 합니다. 이제 현미경 하에서 포셉으로 각 다리를 잡고, 작은 가위를 사용하여 몸통에 가장 가까운 관절 부위를 절단하십시오. 구강 구조(proboscis)에 대해서도 동일하게 반복하십시오.

파리가 건조해지는 것을 방지하기 위해 구멍을 왁스로 밀봉해야 합니다. 다음으로 날개 하나를 잘라낸 후 파리를 옆으로 눕힙니다. katra는 남겨둔 채 나머지 날개 조각들을 제거하고, Hal 눈물을 덮은 뒤 구멍을 왁스로 밀봉합니다.

다른 쪽 날개에 대해서도 이 절차를 반복합니다. 표적 뉴런을 정해진 방식으로 자극하려면, 초파리의 머리를 컴퓨터 모니터와 정확하게 정렬해야 합니다. 이를 위해 초파리의 몸통이 들어갈 수 있는 넓은 공간과 초파리의 목 부분이 놓일 수 있도록 홈이 파여 있는 돌출부가 한쪽 끝에 있는 맞춤형 홀더가 필요합니다.

초파리의 목 부분이 홈에 들어가도록 홀더 위에 놓은 다음, 배 부분을 접착제로 고정하면서 아래로 누릅니다. 이제 현미경을 통해 초파리 머리의 앞부분을 볼 수 있도록 초파리 홀더를 스탠드에 거치합니다. 적색광으로 초파리를 관찰하면 각 눈에서 가성동공(pseudo pupil)이라고 불리는 광학 현상을 확인할 수 있습니다.

가성 동공(pseudo pupil)이 특정 모양을 나타내면, 초파리 머리의 방향이 정확하게 정의됩니다. 마이크로 매니퓰레이터를 사용하여 초파리의 머리 방향을 올바르게 맞춘 후, 왁스를 사용하여 홀더에 고정하십시오. 다음으로, 흉부를 아래로 평평하게 누르고 왁스로 홀더에 고정하십시오.

이를 통해 후두 캡슐을 열어 전극을 파리 뇌에 삽입할 수 있습니다. 마이크로 메스나 미세 주사 바늘을 사용하여 우측 두부 캡슐의 큐티클에 창을 조심스럽게 냅니다. 큐티클 바로 아래의 신경 조직을 자르지 않도록 주의하십시오. 큐티클 조각을 제거한 후, 링거 용액을 몇 방울 첨가합니다.

포셉을 사용하여 LOA 플레이트를 덮고 있을 수 있는 부유 모발, 지방 침전물 또는 근육 조직을 제거하십시오. LOA 플레이트는 후면을 덮고 있는 은색 기관의 특징적인 분지 패턴으로 식별할 수 있습니다. 기준 전극을 배치하기 위해 준비된 파리의 왼쪽 후방 머리 캡슐 큐티클에 작은 구멍을 뚫으십시오.

기록 전극을 배치하는 방법을 알아보겠습니다. 기록 전극은 H1 뉴런과 매우 가까운 곳에 위치시켜야 합니다. H1 뉴런은 주로 수용장(receptive field)에 제시되는 수평 방향의 뒤에서 앞으로의 움직임에 반응합니다.

기록 전극을 배치하려면 기관을 시각적 지표로 활용하십시오. 처음에는 전극을 기관의 최상단 사이에 배치합니다. 기록된 전기 전위를 음향 신호로 변환하기 위해 오디오 증폭기를 사용하는 것이 도움이 됩니다.

각각의 개별 스파이크는 특징적인 클릭 소리로 변환됩니다. 전극이 개별 뉴런에 가까워질수록 클릭 소리가 더 명확해집니다. 운동 선호도를 통해 H1 뉴런을 식별하려면, 수평 방향의 운동으로 자극을 줍니다.

기록 전극이 배치되었으므로, 이제 시각 자극 및 기록 단계로 넘어가겠습니다. 먼저 초파리를 두 대의 CRT 컴퓨터 모니터 앞에 놓습니다. 초파리의 시각 체계는 인간보다 10배 더 빠르기 때문에, 모니터는 초당 200프레임 속도로 화면을 표시해야 합니다.

모니터의 중심은 초파리의 방향을 기준으로 ±45도에 위치합니다. 초파리의 눈 적도에서 보았을 때, 각 모니터는 수평면에서 ±25도, 수직면에서 ±19도의 각도를 점유합니다. 컴퓨터 모니터로 들어오는 입력은 실험을 위해 개조된 소형 이륜 SRO 로봇에 장착된 두 대의 비디오 카메라에 의해 제공됩니다.

벽면이 수직 방향의 흑백 스트라이프 패턴으로 둘러싸인 원통형 영역 내의 턴테이블 위에 로봇을 배치합니다. 턴테이블을 수평면 상에서 회전시킴으로써, 로봇의 움직임은 단 하나의 자유도로만 제한됩니다. 초기 상태에서 턴테이블과 로봇은 모두 정지 상태입니다.

턴테이블이 회전하기 시작하면 그 회전력으로 인해 로봇이 같은 방향으로 함께 이동하며, 비디오 카메라는 로봇과 아레나의 줄무늬 패턴 사이의 상대적 움직임을 기록합니다. 로봇에 장착된 배터리 구동 비디오 카메라는 ±45도 방향으로 설치되어 있습니다. 이 카메라들은 플라이 로그(fly log) 앞의 컴퓨터 모니터 프레임 속도에 맞춰 초당 200장의 이미지를 캡처합니다.

이미지는 40x80 픽셀 해상도의 그레이스케일로 초당 200프레임의 속도로 컴퓨터 모니터에 제시되었습니다. 초파리가 줄무늬 패턴의 움직임을 관찰하는 동안, 밴드패스 필터링된 30-200 kHz 사이의 전기 신호를 최소 10 kHz의 샘플링 속도를 가진 디지털 데이터 수집 보드를 사용하여 기록했습니다. 배경 활동으로부터 스파이크를 분리하기 위해 밴드패스 필터링된 전기 신호에 임계값을 적용했습니다.

뇌-기계 인터페이스의 루프를 완성하기 위해, H one 세포의 매끄러운 스파이킹 활동 추정치를 얻고자 인과적 하프 가우시안 필터를 스파이크와 컨볼루션합니다. 제어 알고리즘을 사용하여 H one 세포의 스파이킹 비율을 로봇 속도로 변환하며, 이는 Bluetooth 인터페이스를 통해 피드백되어 로봇 바퀴를 구동하는 두 개의 DC 모터를 제어합니다. 턴테이블의 속도 프로파일로는 순수 사인파가 선택되었습니다.

사인파에는 DC 오프셋이 적용되어 턴테이블이 H one 뉴런의 선호 방향을 따라 자극하는 방향으로만 회전하도록 설정되어 있습니다. 전체 제어 시스템은 올바르게 설정되었을 때 H one 뉴런의 자극이 로봇으로 하여금 턴테이블의 움직임을 보정하도록 구성되어 있습니다. 로봇의 역회전이 턴테이블의 회전과 일치하여 컴퓨터 모니터상의 패턴 움직임이 거의 없거나 전혀 없게 될 때 시각적 안정화가 달성됩니다.

시스템의 전반적인 성능은 루프를 닫는 데 사용되는 제어 알고리즘에 따라 달라집니다. 우리가 처음으로 테스트하는 알고리즘은 비례 제어기로, 업데이트된 로봇 속도는 로봇의 각속도 omega R과 턴테이블의 각속도 Omega P 사이의 차이에 비례합니다. 제어기의 성능을 테스트하기 위해 정적 이득 KP의 다양한 값과 턴테이블 신호 omega P의 입력 주파수를 선택합니다.

KP가 1이고 입력 주파수가 0.6 Hz일 때의 omega P 및 omega R에 대한 샘플 트레이스가 여기에 표시되어 있습니다. omega P의 경우, 녹색으로 표시된 로봇이 청색으로 표시된 턴테이블을 지연 시간과 더 작은 피크 진폭으로 따라갑니다. H1 세포를 자극하는 패턴 움직임의 수평 성분은 오른쪽에 적색으로 표시되어 있습니다. 턴테이블 신호 omega P에 대한 입력 주파수는 0.03 Hz에서 3 Hz 사이에서 선택되며, 이에 해당하는 로봇 신호 omega R이 기록됩니다.

두 신호 모두 고속 푸리에 변환을 통해 주파수 영역으로 변환되며, 입력 주파수에서의 진폭 및 위상 값이 계산됩니다. KP가 1인 비례 제어기의 BO d 크기 도표는 테스트된 입력 주파수 범위에 따른 시스템의 응답을 보여줍니다. 일반적으로 주파수가 증가함에 따라 제어기의 성능은 감소합니다.

1 Hz에서 이득(gain)이 약간 증가한 것은 주로 수평 방향의 전후 운동을 담당하는 단일 H1 셀만을 사용함에 따라 로봇 신호에 진동이 발생했기 때문입니다. 보드 선도(Bode phase plot)를 보면 입력 주파수가 0.6 Hz보다 낮을 때 제어기 위상 지연이 π보다 작음을 알 수 있습니다. 이는 제어기가 0.6 Hz 미만의 주파수에서는 안정적이며, 입력 주파수가 1 Hz 이상인 경우에는 불안정함을 보여줍니다.

정적 KP를 사용하는 비례 제어기의 성능을 KP 값이 50 밀리초마다 업데이트되는 적응형 제어기와 비교하였습니다. 이는 시간 간격 T-500 밀리초에서 T까지 계산된 최대 스파이크 비율 F max를 기준으로 하였습니다. 적분 시간 창이 크기 때문에, 테스트한 파라미터 범위 내에서는 비례 제어기가 적응형 제어기보다 더 나은 성능을 보였습니다. 적응형 제어기는 비례 제어기와 유사한 위상 특성을 가졌으며, 턴테이블 주변의 그레이딩 패턴을 제거하고 실험실 환경을 초파리 H1 세포의 자연주의적 시각 입력에 대한 근사치로 사용하였습니다.

평균적으로, 자연주의적 시각 입력에 대한 Bodhi 크기 도표는 등급화된 시각 입력을 사용했을 때보다 약간 더 높은 이득을 보였으며, 이는 아마도 자연주의적 시각 이미지의 더 넓은 공간 주파수 범위가 활용되었기 때문일 것입니다. 등급화된 시각 입력과 자연주의적 시각 입력에 대한 Bodhi 위상 도표의 특성은 유사했습니다. 우리는 방금 세포와 시각 시스템, 그리고 로봇 사이에 뇌-기계 인터페이스를 구축하는 방법을 보여드렸습니다.

이 절차에는 몇 가지 중요한 단계가 있습니다. 첫째, 뇌에 손상을 주는 것을 방지하기 위해 머리 캡슐을 열 때 깊게 절개하지 마십시오. 둘째, 단 하나의 세포로부터만 기록할 수 있도록 전극의 위치를 신중하게 잡아야 하며, 여기서는 H 세포 하나로부터 기록합니다.

셋째, 뇌를 항상 촉촉하게 유지하여 건조해지는 것을 방지하십시오. 이것으로 모두 끝났습니다. 시청해 주셔서 감사하며, 실험에 좋은 결과가 있기를 바랍니다.