Platforma eksperymentalna do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

Wykorzystujemy aktywność interneuronu wzrokowego w mózgu muchy, komórki H1, do sterowania silnikami mobilnego robota. Robot jest umieszczony na stale obracającym się stole obrotowym, a aktywność komórki służy do stabilizacji robota względem otoczenia w odpowiedzi na ruchy zewnętrzne. Obrazy ruchu wzorców rejestrowane przez robota są próbkowane i przesyłane do dwóch komputerowych monitorów CRT, które znajdują się przed muchą.

Sygnały z komórki H1, mierzone w impulsach na sekundę, wskazują prędkość ruchu wzorca. Następnie stosuje się różne reguły sterowania, aby przekształcić zarejestrowaną liczbę impulsów na sekundę w sygnał sterujący silnikami robota. Cześć, jestem Navita Josh z laboratorium Holger Crops na wydziale Bioengineering w Imperial College London.

Jestem Chris Peterson, również z laboratorium Holgera Cupa. Cześć, ja jestem Holger Cup. Dzisiaj zaprezentujemy procedurę tworzenia interfejsu mózg-maszyna pomiędzy poszczególnymi komórkami w systemie wzrokowym muchy a robotem.

Niniejszą procedurę stosujemy w celu przetestowania wydajności różnych strategii sterowania z wykorzystaniem sygnałów neuronalnych do kontrolowania systemów robotycznych przy zamkniętych przylotkach. Przejdźmy zatem do realizacji. Aby rozpocząć przygotowanie muchy, należy schłodzić ją w lodzie, a następnie za pomocą stępionych wykałaczek przycisnąć skrzydła i przymocować tył muchy do kawałka dwustronnej taśmy klejącej na szkiełku przedmiotowym. Następnie należy użyć wosku pszczelego, aby przytwierdzić skrzydła do szkiełka oraz zablokować działanie mięśni lotnych.

Ten etap wymaga szybkiego i precyzyjnego działania, aby mucha nie nagrzała się podczas procedury. Następnie, pod mikroskopem, chwyć każdą nogę pęsetą i za pomocą małych nożyczek odetnij je w stawach najbliższych ciału. Powtórz tę czynność w przypadku proboscis.

Aby zapobiec wysuszeniu muchy, otwory należy zalepić woskiem. Następnie należy odciąć jedno ze skrzydeł, a potem obrócić muchę na bok. Należy usunąć pozostałe fragmenty skrzydła, pozostawiając katra, zakrywając rozdarcia Hal i zalepiając otwór woskiem.

Powtórz tę procedurę dla drugiego skrzydła. Aby w określony sposób stymulować neuron docelowy, głowa muchy musi być odpowiednio wyrównana z monitorami komputerowymi. W tym celu będziesz potrzebować specjalistycznego uchwytu, który posiada szeroką przestrzeń na ciało muchy oraz wypustkę na jednym końcu z wycięciem, w którym zostanie umieszczona szyja muchy.

Umieść muchę na uchwycie, tak aby jej szyja znajdowała się w nacięciu, dociskając ją podczas przyklejania odwłoka. Następnie umieść uchwyt do much w statywie w taki sposób, aby przez mikroskop była widoczna przednia część głowy muchy. Podczas oglądania muchy w świetle czerwonym w każdym oku można zaobserwować zjawisko optyczne nazywane pseudą źrenicą.

Jeśli pseudozrena przyjmuje określony kształt, orientacja głowy muchy jest precyzyjnie zdefiniowana. Użyj mikromanipulatora, aby prawidłowo ustawić głowę muchy, a następnie przymocuj ją do uchwytu za pomocą wosku. Następnie dociśnij klatkę piersiową na płasko i przyklej ją woskiem do uchwytu.

Pozwala to na otwarcie tylnej części torebki głowowej, aby można było wprowadzić elektrody do mózgu muchy. Używając mikroskalpela lub cienkiej igły do wstrzykiwań, należy ostrożnie wyciąć okienko w kutykuli prawej części torebki głowowej. Należy uważać, aby nie przeciąć tkanki nerwowej znajdującej się bezpośrednio pod kutykulą. Po usunięciu fragmentu kutykuli należy dodać kilka kropli roztworu Ringera.

Użyj pęsety, aby usunąć wszelkie pływające włoski, złogi tłuszczu lub tkankę mięśniową, które mogą zakrywać płytkę LOA. Płytkę LOA można rozpoznać po charakterystycznym rozgałęzionym wzorze srebrzystych tchawicek pokrywających jej powierzchnię tylną. W kutykuli lewej tylnej części torebki głowowej wykonaj mały otwór w celu umieszczenia elektrody referencyjnej po przygotowaniu muchy.

Zobaczmy, jak odpowiednio ustawić elektrodę rejestrującą. Elektrodę rejestrującą należy umieścić w bezpośrednim sąsiedztwie neuronu H1. Neuron H1 reaguje głównie na poziomy ruch z tyłu do przodu w obrębie swojego pola recepcyjnego.

Aby umieścić elektrodę rejestrującą, należy wykorzystać tchawicę jako punkt orientacyjny. Początkowo należy umieścić elektrodę w górnej części tchawicy. Pomocne może być zastosowanie wzmacniacza audio w celu przekształcenia rejestrowanych potencjałów elektrycznych w sygnały akustyczne.

Każdy pojedynczy potencjał czynnościowy (spike) jest zamieniany na charakterystyczny dźwięk kliknięcia. Im bliżej pojedynczego neuronu znajduje się elektroda, tym wyraźniejszy staje się dźwięk kliknięcia. Aby zidentyfikować neuron typu H1 na podstawie jego preferencji kierunkowej, należy stymulować go ruchem w kierunku poziomym.

Po umieszczeniu elektrody rejestrującej przejdźmy do stymulacji wizualnej i rejestracji. Na początek umieść muchę przed dwoma monitorami komputerowymi CRT. Ponieważ system wizualny muchy jest 10 razy szybszy od ludzkiego, monitory muszą wyświetlać obraz z częstotliwością 200 klatek na sekundę.

Środki monitorów znajdują się pod kątem plus lub minus 45 stopni względem orientacji much. Z perspektywy równika oka muchy każdy monitor obejmuje kąt plus lub minus 25 stopni w płaszczyźnie poziomej oraz plus lub minus 19 stopni w płaszczyźnie pionowej. Sygnał wejściowy do monitorów komputerowych dostarczają dwie kamery wideo zamontowane na niewielkim dwukołowym robocie SRO, który został zmodyfikowany na potrzeby eksperymentu.

Umieść robota na obrotowej platformie wewnątrz obszaru cylindrycznego, którego ściany wyłożone są wzorem pionowych czarnych i białych pasów. Poprzez obracanie platformy w płaszczyźnie poziomej ruchy robota są ograniczone tylko do jednego stopnia swobody. Początkowo zarówno platforma, jak i robot znajdują się w spoczynku.

Gdy stół obrotowy zaczyna się poruszać, jego rotacja przemieszcza robota w tym samym kierunku, a kamery wideo rejestrują ruch względny między robotem a pasmowym wzorem areny. Zasilane bateryjnie kamery wideo na robocie są zamontowane pod kątem plus lub minus 45 stopni. Przechwytują one 200 obrazów na sekundę, aby dopasować się do częstotliwości odświeżania monitorów komputerowych znajdujących się przed rejestratorem lotów.

Obrazy były wyświetlane na monitorach komputerowych z częstotliwością 200 klatek na sekundę i rozdzielczością sześciu obszarów 40 na cztery obszary 80 w skali szarości. Podczas gdy mucha obserwowała ruchy wzoru pasowego, rejestrowano sygnały elektryczne przepuszczone przez filtr pasmowy, na przykład między 302 kHz, przy użyciu karty akwizycji cyfrowej z częstotliwością próbkowania co najmniej 10 kHz. Do przefiltrowanych sygnałów elektrycznych zastosowano próg w celu oddzielenia impulsów (spikes) od aktywności tła.

Przyczynowy filtr połowiczny Gaussa jest konwolowany z impulsami w celu uzyskania wygładzonego szacunku aktywności impulsowej komórki H1, aby zamknąć pętlę interfejsu mózg-maszyna. Algorytm sterujący służy do konwersji częstotliwości impulsowania komórki H1 na prędkość robota, która jest przesyłana z powrotem za pomocą interfejsu Bluetooth w celu sterowania dwoma silnikami DC napędzającymi koła robota. Jako profile prędkości dla obrotowego stołu wybrano czyste fale sinusoidalne.

Fale sinusoidalne posiadają przesunięcie stałoprądowe (DC offset) w taki sposób, aby tarcza obrotowa obracała się wyłącznie w kierunku stymulującym neuron H1 zgodnie z jego preferowanym kierunkiem. Cały system sterowania jest skonfigurowany tak, aby stymulacja neuronu H1 powodowała kompensację ruchu tarczy obrotowej przez robota, pod warunkiem prawidłowej konfiguracji. Stabilizacja wizualna zostaje osiągnięta, gdy przeciwrotacja robota odpowiada rotacji tarczy obrotowej, co skutkuje niewielkim lub całkowitym brakiem ruchu wzorca na monitorach komputerowych.

Ogólna wydajność systemu zależy od wykorzystanego algorytmu sterowania do zamknięcia pętli. Pierwszym przetestowanym algorytmem jest regulator proporcjonalny, w którym zaktualizowana prędkość robota jest proporcjonalna do różnicy prędkości kątowych między robotem omega R a obrotowym stołem Omega P. Aby przetestować wydajność regulatora, wybrano różne wartości statycznego wzmocnienia KP oraz różne częstotliwości wejściowe sygnału stołu omega P.

Przykładowe przebiegi dla omega P i omega R przedstawiono tutaj dla KP równego jeden i częstotliwości wejściowej 0,6 hertz dla omega P; robot zaznaczony kolorem zielonym podąża za obrotowym stołem zaznaczonym kolorem niebieskim z opóźnieniem i mniejszą amplitudą szczytową. Pozioma składowa ruchu wzoru stymulującego komórkę H1 jest pokazana po prawej stronie na czerwono. Częstotliwości wejściowe dla sygnału stołu obrotowego omega P są wybierane z zakresu od 0,03 do 3 hertz, a następnie rejestrowany jest odpowiadający im sygnał robota omega R.

Oba sygnały zostają przekształcone w dziedzinę częstotliwości za pomocą szybkiej transformaty Fouriera, a wartości amplitudy i fazy są obliczane dla częstotliwości wejściowej. Wykres modułu BO d dla regulatora proporcjonalnego przy KP równym jeden przedstawia odpowiedź układu dla badanych częstotliwości wejściowych. Wydajność regulatora ogólnie spada wraz ze wzrostem częstotliwości.

Lekko zwięksione wzmocnienie przy jednej hercu wynika z oscylacji sygnału robota spowodowanych wykorzystaniem tylko jednej komórki H1, której dynamiczny zakres wyjściowy obejmuje głównie poziomy ruch w przód i w tył. Wykres fazowy Bodego wykazuje opóźnienie fazowe kontrolera mniejsze niż PI dla częstotliwości wejściowych poniżej 0,6 herca. Świadczy to o tym, że kontroler jest stabilny dla częstotliwości poniżej 0,6 herca i niestabilny dla częstotliwości wejściowych większych lub równych jednemu hercowi.

Wydajność regulatora proporcjonalnego ze statyczną wartością KP porównano z regulatorem adaptacyjnym, w którym wartość KP jest aktualizowana co 50 milisekund. Porównanie oparto na maksymalnej częstotliwości impulsów F max obliczonej w przedziale czasowym od T minus 500 milisekund do T. W wyniku zastosowania dużego okna całkowania, regulator proporcjonalny wykazał lepszą wydajność niż regulator adaptacyjny w badanym zakresie parametrów; regulator adaptacyjny posiadał podobną charakterystykę fazową co regulator proporcjonalny, usunięto wzór stopniowania wokół obrotowego stołu, a środowisko laboratoryjne wykorzystano jako przybliżenie naturalnego bodźca wzrokowego dla komórki H1 muchy.

Średnio wykres wielkości Bodhi dla naturalistycznego bodźca wzrokowego wykazał nieco wyższe wzmocnienia niż w przypadku bodźca wzrokowego z gradacją, prawdopodobnie dlatego, że wykorzystano szerszy zakres częstotliwości przestrzennych występujących w naturalistycznych obrazach wizualnych. Charakterystyka wykresu fazy Bodhi dla bodźców wzrokowych z gradacją oraz naturalistycznych była podobna. Właśnie pokazaliśmy Państwu, jak stworzyć interfejs mózg-maszyna pomiędzy komórką a systemem wzrokowym i robotem.

W tej procedurze występują kilka krytycznych etapów. Po pierwsze, podczas otwierania kapsuły głownej należy unikać głębokich nacięć, aby nie uszkodzić mózgu. Po drugie, elektrodę należy umieścić ostrożnie tak, aby rejestrować sygnał tylko z jednej komórki; rejestrujemy z jednej komórki H.

Po trzecie, należy przez cały czas utrzymywać mózg w stanie wilgotnym i zapobiegać jego wysychaniu. To wszystko. Dziękujemy za oglądanie i życzymy powodzenia w eksperymentach.