Rejestrowanie dynamicznych gestów palcami za pomocą elektromiografii powierzchniowej o wysokiej rozdzielczości i komputerowego systemu wizyjnego

Nasze badania koncentrują się na poprawie dynamicznego rozpoznawania gestów dłoni za pomocą zsynchronizowanego EMG i danych wizualnych. Naszym celem jest określenie, jak dokładnie aktywność mięśni odwzorowuje gesty palców w różnych pozycjach dłoni i jak może to poprawić zastosowanie w rehabilitacji protetycznej i interakcji człowiek-komputer. Nasz protokół wypełnia lukę w rozpoznawaniu gestów dłoni, umożliwiając mapowanie aktywności mięśni na gesty palców w różnych dynamicznych pozycjach dłoni.

Nasze podejście polega na gromadzeniu i synchronizowaniu danych DMG i wizualnych podczas dynamicznych ruchów, kładąc podwaliny pod opracowanie solidnych modeli rozpoznawania gestów. W przeciwieństwie do tradycyjnych metod z ustawieniami statycznymi, nasz protokół wykorzystuje bezprzewodowy EMGRA i system śledzenia dłoni podczas dynamicznych ruchów, zapewniając elastyczność i bardziej realistyczne gromadzenie danych do badań nad rozpoznawaniem gestów. Aby rozpocząć, otwórz repozytorium GitHub i postępuj zgodnie ze szczegółowymi instrukcjami w sekcji instalacji.

Znajdź podstawowy plik języka Python (data_collection. py) w folderze i przygotuj go do uruchomienia eksperymentu. Użyj spektrogramu skryptu.

py do oceny elektromiografii, w skrócie jakości sygnału EMG, oraz skryptu analizy danych do filtrowania i segmentacji sygnału. Upewnij się, że jednostka akwizycji danych EMG, w skrócie DAU, jest w pełni naładowana przed każdą sesją. Następnie włącz DAU.

Podłącz DAU do komputera przez Bluetooth za pomocą dedykowanej aplikacji. Ustaw szybkość komunikacji Bluetooth na 500 próbek na sekundę. Zainstaluj i otwórz oprogramowanie kamery śledzącej rękę na komputerze. Podłącz kamerę śledzącą rękę do komputera za pomocą.

Użyj jednego ekranu, aby zawsze wyświetlać oprogramowanie kamery śledzącej rękę. Na początek poinstruuj uczestnika, aby zgiął prawą rękę w mocną pięść. Gdy uczestnik się zgina, delikatnie naciskaj wzdłuż jego przedramienia, aby dotknąć mięśnia i zidentyfikować miejsce z najbardziej widoczną aktywacją.

Zdejmij białą warstwę ochronną z matrycy elektrod EMG i ostrożnie przymocuj elektrody do zidentyfikowanego obszaru przedramienia. Umieść taśmę samoprzylepną blisko dłoni i delikatnie postukaj w nią, aby przymocować matrycę elektrod do skóry. Po przymocowaniu matrycy elektrod do skóry zdejmij przezroczystą warstwę nośną.

Następnie włóż kartę złącza matrycy elektrod do gniazda złącza DAU. Przymocuj DAU do taśmy samoprzylepnej obok elektrod. Uruchom niestandardowy skrypt spektrogramu języka Python, aby zweryfikować jakość sygnału w czasie rzeczywistym.

Obserwuj wyświetlone okno pokazujące surowe dane po lewej stronie i dane w dziedzinie częstotliwości po prawej stronie dla wszystkich elektrod. Sprawdź, czy wszystkie elektrody są wykrywane i działają prawidłowo oraz czy sygnał jest wolny od nadmiernych szumów i szumów 50 Hz. W razie potrzeby odłącz niepotrzebne urządzenia od zasilania i odsuń się od urządzeń elektronicznych, aby zredukować szumy, dając czas na ustabilizowanie się sygnału.

Następnie poinstruuj uczestnika, aby położył łokieć na fotelu i poruszał palcami, a następnie poproś o relaks. Upewnij się, że wyświetlany jest wyraźny sygnał EMG, po którym następuje statyczny szum linii podstawowej. Zamknij skrypt po zakończeniu weryfikacji sygnału.

Aby przejrzeć pozycję, kliknij oszacowanie ułożenia palca, a następnie akwizycję danych, aby otworzyć folder obrazów. Przejrzyj obrazy gestów z uczestnikiem. Wyjaśnij uczestnikowi w jasny sposób pozycje forehandowe.

Poinstruuj ich, jak trzymać rękę przed każdą sesją, dbając o prawidłową postawę i pozycję. W przypadku pierwszej pozycji ręki poproś uczestnika, aby stanął prosto, w odległości około jednego metra od stołu. Następnie poinstruuj uczestnika, aby trzymał prawą rękę w dół, prosto i zrelaksowany, z dłonią skierowaną w stronę kamery śledzącej dłoń.

Zamocuj kamerę śledzącą rękę na stole za pomocą kijka do selfie i skieruj ją w stronę ręki uczestnika. Upewnij się, że uczestnik wykonuje zdecydowane gesty na początku sygnału dźwiękowego, a następnie rozluźnioną dłoń w okresie odpoczynku. W przypadku drugiej pozycji ręki poinstruuj uczestnika, aby usiadł wygodnie w fotelu, w odległości od 40 do 70 centymetrów od monitorów.

Następnie poproś uczestnika, aby wyciągnął prawą rękę do przodu pod kątem 90 stopni, z rozluźnioną dłonią i skierowaną w stronę kamery śledzącej rękę. W razie potrzeby użyj urządzenia podtrzymującego, aby stabilnie trzymać rękę. Umieść kamerę śledzącą wskazówki na stole skierowaną do góry.

Upewnij się, że uczestnik wykonuje zdecydowane gesty na początku sygnału dźwiękowego, a następnie rozluźnioną dłoń w okresie odpoczynku. W trzeciej pozycji ręki poproś uczestnika, aby złożył rękę do góry, opierając łokieć na fotelu. Upewnij się, że dłoń jest rozluźniona i skierowana w stronę kamery śledzącej dłoń.

Zamocuj kamerę śledzącą rękę na stole skierowaną w stronę dłoni uczestnika. Upewnij się, że pozycja uczestnika jest optymalna zarówno do oglądania ekranów, jak i znajdowania się w polu widzenia kamery. Upewnij się, że uczestnik wykonuje zdecydowane gesty na początku sygnału dźwiękowego, a następnie rozluźnioną dłoń w okresie odpoczynku.

W przypadku czwartej pozycji ręki poproś uczestnika, aby wykonywał gesty palcami podczas swobodnego poruszania ręką, wybierając dynamiczną pozycję ręki pierwszą, dynamiczną pozycję ręki drugą lub dynamiczną pozycję ręki trzecią. Włącz komputer, otwórz język Python i załaduj skrypt data_collection.py. Dostosuj pozycję i kąt kamery śledzącej rękę, aby wyrównać ją z pozycją dłoni uczestnika.

Uruchom skrypt data_collection. py. Pojawi się okno, w którym można wprowadzić dane uczestnika.

Wypełnij wymagane informacje i naciśnij OK, aby automatycznie rozpocząć eksperyment. Dla każdej sesji zapisuj dane EMG i śledzenia dłoni, które są automatycznie zapisywane. Po zakończeniu eksperymentu upewnij się, że dane są automatycznie zapisywane w folderze oznaczonym numerem seryjnym uczestnika.

Sprawdź, czy każda sesja jest przechowywana w podfolderze o nazwie Numer S, zawierającym cztery podfoldery dla każdej pozycji ręki oznaczonej jako numer P. Jeśli uczestnik ukończy wiele sesji, upewnij się, że wszystkie dane są zapisane w odpowiednim folderze sesji. Upewnij się, że każdy folder pozycji ręki zawiera dane EMG zapisane w pliku EDF, dane śledzenia dłoni zapisane w pliku CSV oraz plik dziennika zawierający metadane dotyczące sesji.

Kanały EMG wykazywały zwiększoną aktywność elektryczną podczas faz odwodzenia w porównaniu z fazami spoczynku, co jest widoczne w sygnałach o wyższej amplitudzie we wszystkich kanałach, z artefaktami mechanicznymi zaznaczonymi ostrymi kolcami. Dane kinematyczne dłoni wykazały zsynchronizowane zmiany kąta nachylenia palców odpowiadające poinstruowanym gestom odwodzenia, ze stabilnymi trajektoriami sygnału podczas niezakłóconego śledzenia i widocznymi odchyleniami w niewspółosiowych sekcjach.