Zrobotyzowane testowanie pozycji kamer w celu określenia idealnej konfiguracji do stereoskopowej wizualizacji 3D operacji na otwartym sercu
12 sierpnia 2021
Ludzka percepcja głębi w stereoskopowych filmach 3D zależy od odległości kamery, punktu zbieżności, odległości i znajomości obiektu. W artykule przedstawiono zrobotyzowaną metodę szybkiego i wiarygodnego zbierania danych testowych podczas operacji na otwartym sercu na żywo w celu określenia idealnej konfiguracji kamery.
Umożliwia nagrywanie wysokiej jakości filmów 3D na potrzeby szkoleń i edukacji. Może być stosowany w większości sal operacyjnych z otwartą chirurgią. Dzięki zrobotyzowanemu podejściu możemy szybko i dokładnie zbierać dane do oceny pozycji kamer.
Ta metoda służy do szybkiego testowania konfiguracji kamery pod kątem aplikacji wizyjnych 3D. Może być również używany do badania, w jaki sposób różne osoby postrzegają głębię. Aby rozpocząć montaż kamery do robota, najpierw zamontuj obiektyw do kamery, a następnie kamerę do płyty adaptera za pomocą trzech M2.
Następnie zamontuj okrągłą płytę montażową do płyty adaptera aparatu za pomocą czterech M4 po przeciwnej stronie kamery. Po zamontowaniu wszystkich kamer na robocie obserwuj odbicie lustrzane powstałych zespołów. Zamontuj płytkę adaptera na nadgarstku robota za pomocą czterech M2.5.
W przypadku robota montowanego na stole przymocuj lewą kamerę do prawego ramienia robota. Podłącz USB do kamer i komputera Ubuntu. Na wyświetlaczu dotykowym robota naciśnij przycisk Menu i wybierz Stereo 2, aby uruchomić aplikację robota.
Na ekranie głównym naciśnij Go, aby rozpocząć przez 1, 100 milimetrów w aplikacji robota i poczekaj, aż robot przesunie się do pozycji początkowej. Zdejmij osłonę ochronną obiektywu z aparatu. Umieść wydrukowaną siatkę kalibracyjną w odległości 1 100 milimetrów od czujników aparatu.
Aby poprawnie zidentyfikować odpowiednie kwadraty, umieść małą nakrętkę śrubową lub znak gdzieś w wejściu siatki. Uruchom aplikację do nagrywania na komputerze Ubuntu, aby uruchomić interfejs. A następnie wyreguluj przysłonę i ustaw ostrość na obiektywie za pomocą pierścieni przysłony i ostrości.
W aplikacji do nagrywania zaznacz opcję Celownik, aby wyświetlić obraz celownika. W aplikacji do nagrywania upewnij się, że krzyż nitkowy jest wyrównany z siatką kalibracji w tym samym miejscu na obu obrazach z kamery. Po naciśnięciu ikony koła zębatego w aplikacji robota, ustaw kamery względem pacjenta.
Zmień kierunek X, naciskając plus lub minus w przypadku odległości ręki od robota, a kierunek Z, naciskając plus lub minus w polu Wysokość, aby uchwycić pole operacyjne na obrazach. Zmień kierunek Y, ręcznie przesuwając robota lub pacjenta. Po wstrzymaniu operacji i poinformowaniu personelu sali operacyjnej o rozpoczęciu eksperymentu, naciśnij przycisk Nagraj w aplikacji do nagrywania, a następnie naciśnij przycisk Uruchom eksperyment w aplikacji robota.
Po chwili, gdy eksperyment zostanie zakończony, na wyświetlaczu dotykowym pojawi się Gotowe. Następnie naciśnij Zatrzymaj nagrywanie w aplikacji do nagrywania, aby zatrzymać nagrywanie. Poinformuj personel sali operacyjnej, że eksperyment został zakończony i wznów operację.
W celu oceny wyświetl wideo w formacie 3D od góry do dołu za pomocą aktywnego projektora 3D. Wyświetlany jest prawidłowy film oceniający z prawym obrazem umieszczonym u góry i u dołu w stereoskopowym 3D u góry. Udana sekwencja powinna być ostra, skoncentrowana i bez niezsynchronizowanych klatek obrazu.
Niezsynchronizowane strumienie wideo powodują rozmycie. Punkt zbieżności powinien być wyśrodkowany poziomo, niezależnie od separacji kamery. Przy bardzo dużej separacji między prawym i lewym obrazem, mózg nie może połączyć obrazów w jeden obraz 3D.
Kilka przyczyn może powodować niepowodzenie w centralnym ustawieniu serca, takich jak odległość od punktu zbieżności do serca. Aby uzyskać poprawną konfigurację układu współrzędnych narzędzia kamery, upewnij się, że krzyż nitkowy w aplikacji rejestrującej jest skierowany na ten sam obiekt, obiekt kalibracji znajduje się w pozycji środkowej, a format kolorów jest prawidłowy. Filmy 3D ze zmieniającymi się odległościami linii bazowej pozwalają nam zbadać, w jaki sposób informacje o głębokości wpływają na zrozumienie anatomii przez personel medyczny.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
W niniejszym badaniu przedstawiono zrobotyzowaną metodę gromadzenia danych testowych podczas operacji kardiochirurgicznych w otwartym sercu, koncentrując się na optymalnej konfiguracji kamer dla stereowizji 3D. Celem metody jest usprawnienie oceny percepcji głębi w warunkach chirurgicznych.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauka
- Inżynieria biomedyczna
- Techniki chirurgiczne
Wstęp
- Postrzeganie głębi w filmach 3D jest zależne od wielu czynników.
- Konfiguracja kamery odgrywa kluczową rolę w zapewnieniu przejrzystości obrazu.
- Zrozumienie mechanizmów postrzegania głębi może usprawnić szkolenia chirurgiczne.
- Podejścia robotyczne mogą zoptymalizować proces gromadzenia danych na salach operacyjnych.
Cel badania
- Ocena optymalnego rozmieszczenia kamer w zastosowaniach wizji 3D.
- zbadanie, w jaki sposób różni badani postrzegają głębię w kontekście chirurgicznym.
- poprawa jakości szkoleń i edukacji dzięki wysokiej jakości rejestracji wideo 3D.
Zastosowane metody
- Zrobotyzowany montaż kamery w celu szybkiego gromadzenia danych.
- Ocena separacji kamer i punktu zbieżności.
- Testowanie w różnych warunkach sali operacyjnej.
- Gromadzenie danych podczas operacji serca w otwartym dostępie na żywo.
Główne wyniki
- Można skutecznie rejestrować wysokiej jakości filmy 3D.
- Konfiguracje kamery istotnie wpływają na postrzeganie głębi.
- Szybkie metody testowania dostarczają wiarygodnych danych do analizy.
- Znajomość obiektów wpływa na wyniki postrzegania głębi.
Wnioski
- Zrobotyzowana metoda jest skuteczna w testowaniu konfiguracji kamery.
- Zrozumienie percepcji głębi może usprawnić szkolenia chirurgiczne.
- Przyszłe zastosowania mogą objąć różnorodne procedury chirurgiczne.
Najczęściej zadawane pytania
Znaczenie dla przemysłu
Metoda ta umożliwia szybką i powtarzalną ocenę konfiguracji kamer w trójwymiarowej wizualizacji chirurgicznej, wspierając lepsze postrzeganie głębi w szkoleniach medycznych. Dzięki minimalizacji zakłóceń na sali operacyjnej i standaryzacji gromadzenia danych, zwiększa ona niezawodność wideo stereoskopowego w edukacji chirurgicznej oraz przy ocenie urządzeń. Podejście to rozwiązuje kluczowy problem związany z przekształceniem zalet obrazowania 3D w spójne i skalowalne narzędzia szkoleniowe.
Strategiczne zastosowania w badaniach i rozwoju bioprzemysłu farmaceutycznego
Wstępne odkrywanie i walidacja celu
- Wartość naukowa: Umożliwia obiektywną ocenę wierności wizualnej w trójwymiarowych modelach chirurgicznych, wspierając testowanie hipotez dotyczących rozumienia anatomii przestrzennej.
- Wartość operacyjna: Zapewnia zrobotyzowany, standaryzowany system gromadzenia danych w celu zmniejszenia zmienności w ocenie modeli wizualnych pomiędzy poszczególnymi badaniami.
Przesiewanie i opracowywanie testów
- Wartość naukowa: Pozwala na generowanie ilościowych zestawów danych wideo dla określonych odległości bazowych i punktów zbieżności w celu analizy porównawczej jakości renderowania 3D.
- Wartość operacyjna: Umożliwia przesiewową weryfikację konfiguracji kamer przy użyciu powtarzalnych kroków pozycyjnych i kontrolowanych punktów zbieżności.
Badania translacyjne i przedkliniczne
- Wartość naukowa: Ułatwia ocenę realizmu nagrań wideo 3D w modelach operacji na otwartym sercu, pomagając w translacyjnej ocenie skuteczności narzędzi szkoleniowych.
- Wartość operacyjna: Umożliwia zespołom interdyscyplinarnym przeprowadzanie analiz porównawczych systemów wizualnych przy użyciu ustandaryzowanych wyjść wideo z kontrolowanych konfiguracji kamer.
Integracja potoku i przepływu pracy
Metoda ta wpisuje się w wczesne etapy procesów badawczych, w których wierność modelu wizualnego wpływa na interpretację biologiczną, w szczególności w szkoleniach opartych na procedurach oraz w badaniach nad oddziaływaniem urządzeń z tkanką.
- Biologia odkrywcza: Wspiera testowanie hipotez dotyczących postrzegania głębi i rozumienia przestrzeni w modelach szkolenia chirurgicznego.
- Przesiewanie: Umożliwia szybką i powtarzalną ocenę parametrów kamery w celu zidentyfikowania optymalnych konfiguracji dla przechwytywania wideo 3D.
- Analityka: Generuje zsynchronizowane czasowo próbki wideo w przyrostowych odległościach bazowych dla ilościowego porównania jakości stereoskopowej.
- Badania translacyjne: Łączy testowanie konfiguracji kamery z realizmem wideo chirurgicznego wykorzystywanego w szkoleniach przedklinicznych i ocenie urządzeń.
- Ponowne wykorzystanie w przedsiębiorstwie: Tworzy wielorazową platformę robotyczną do standaryzowanej walidacji systemów wizyjnych w wielu modelach chirurgicznych i scenariuszach szkoleniowych.
Wpływ operacyjny i przedsiębiorstwa
- Wartość naukowa: Poprawia pewność prognostyczną narzędzi szkoleniowych 3D poprzez umożliwienie obiektywnej i powtarzalnej oceny wierności obrazu.
- Wartość operacyjna: Standaryzuje pozycjonowanie kamery i przechwytywanie danych, co skraca czas konfiguracji i zmniejsza zmienność między operatorami w środowiskach sal operacyjnych.
- Wartość strategiczna: Wspiera szybsze podejmowanie decyzji o kontynuacji lub przerwaniu inwestycji w wizualizację 3D poprzez wczesne ograniczenie ryzyka związanego z jakością obrazu na etapie rozwoju.
- Wpływ na portfolio: Umożliwia priorytetyzację technologii szkoleniowych z uwzględnieniem ryzyka w oparciu o zwalidowaną jakość wideo 3D oraz wyniki percepcji głębi.
Uwagi dotyczące wdrożenia
- Wymagana jest wiedza specjalistyczna w zakresie systemów robotycznych, kalibracji kamer i synchronizacji wideo 3D.
- Wymagane są dwuramienne ramię robotyczne, kamery stereoskopowe, siatka kalibracyjna oraz oprogramowanie do zsynchronizowanego nagrywania.
- Wymagana jest koordynacja z personelem sali operacyjnej w celu zaplanowania przerw podczas operacji w celu zarejestrowania próbek wideo.
- Należy uwzględnić różnice w anatomii pola operacyjnego oraz oświetleniu w zależności od rodzaju procedury.
- Metoda jest ograniczona do warunków chirurgii otwartej, w których możliwe jest zamontowanie robota i zapewnienie bezpośredniej widoczności.
