Tworzenie obiektów i kategorii obiektów do badania percepcji oraz uczenia się percepcyjnego

Celem niniejszej procedury jest utworzenie obiektów oraz kategorii obiektów służących do badania sposobu, w jaki postrzegamy i uczymy się postrzegać obiekty za pomocą wzroku i/lub dotyku. W pierwszej kolejności wykorzystuje się wirtualną morfogenezę (VM) do symulowania procesów wczesnego rozwoju embrionalnego w celu stworzenia nowych, naturalistycznych wirtualnych obiektów 3D, zwanych cyfrowymi embrionami. Następnie, z wykorzystaniem wirtualnej filogenezy (VP), tworzone są kategorie obiektów o precyzyjnie określonych właściwościach statystycznych, opartych na wprowadzonym cyfrowym embrionie.

W razie potrzeby można zastosować analizę głównych składowych w celu stworzenia dodatkowych wariacji kształtu obiektów wirtualnych wygenerowanych za pomocą wirtualnej morfogenezy i wirtualnej filogenezy. Prawdopodobieństwo przynależności danego obiektu do określonej kategorii można precyzyjnie obliczyć, wykorzystując bayesowskie wnioskowanie oparte na cechach. Jeśli jest to wymagane, można wygenerować haptyczne kopie otrzymanych obiektów wirtualnych za pomocą drukarki 3D.

Każda z tych metod zostanie szczegółowo omówiona w dalszej części w porównaniu z istniejącymi metodami. Te nowe podejścia umożliwiają tworzenie naturalistycznych, a jednocześnie precyzyjnie mierzalnych wariacji kształtu, które powstają bez konieczności narzucania ograniczeń przez badacza. Stanowią one nowatorskie narzędzia w dziedzinach percepcji wzrokowej i haptycznej, uczenia się percepcyjnego oraz wizji komputerowej i mają potencjalne zastosowania w rehabilitacji wielu rodzajów zaburzeń widzenia poprzez multimodalny trening wzrokowo-haptyczny.

Co ciekawe, metodę tę można zastosować również do badania samych procesów morfogenezy i ewolucji. Pomysł na tę metodę pojawił się, gdy szukaliśmy sposobów na generowanie naturalistycznych, a jednocześnie precyzyjnie definiowalnych bodźców wizualnych do badań nad komputerowym widzeniem. Początkowo osoby korzystające z tej metody mogły mieć trudności z jej aspektami wymagającymi zaawansowanej matematyki i programowania, dlatego ta demonstracja wizualna zilustruje, jak prawidłowo wdrożyć i stosować tę metodę. W warsztacie cyfrowego embrionu należy określić zestaw ustawień lub genotyp, aby wygenerować pojedynczy embrion lub wiele embrionów.

Powtórz ten proces wielokrotnie, aby wygenerować bardziej złożone kształty poprzez wirtualną morfogenezę. Zwiększ liczbę cykli wzrostu, aby określić liczbę podziałów komórek embrionu. Warsztat cyfrowego embrionu automatycznie zapisuje każdy embrion jako plik OBJ, dzięki czemu można go później wykorzystać w komercyjnych zestawach narzędzi do modelowania 3D.

Wygeneruj bodźce wizualne, ustawiając różnorodne standardowe parametry graficzne, takie jak orientacja, rozmiar, oświetlenie, tekstura powierzchni i tło, aby stworzyć kategorie obiektów. Twórz obiekty pochodne z obiektu nadrzędnego w sposób hierarchiczny. Można również płynnie zmieniać kształt za pomocą morfingu, zachowując一一 jednowartościową odpowiedniość wierzchołków pomiędzy obiektami.

Ciekawym jest fakt, że jako dane wejściowe dla wirtualnej filogenezy można wykorzystać obiekty wirtualne inne niż cyfrowe embriony. Należy wybrać obiekty z danej kategorii, aby uzyskać określony rozkład cech. Na przykład, w celu utworzenia dwóch kategorii różniących się rozmiarem, należy selektywnie wyeliminować obiekty o średniej wielkości, aby wygenerować bimodalny rozkład rozmiarów obiektów.

Następnie obiektywnie zmierz podobieństwo między daną parą kategorii, stosując dostępne metody filogenetyczne, takie jak korelacja kopofonetyczna. Obliczenia te można przeprowadzić przy użyciu powszechnie dostępnych zestawów narzędzi analitycznych, takich jak MATLAB lub R. W przypadku dowolnej pary obiektów, w której każdy wierzchołek jednego obiektu odpowiada dokładnie jednemu wierzchołkowi drugiego, proces morfowania jest prosty. Wybierz punkty interpolacyjne i zastosuj liniowy morfing między dwoma obiektami, aby płynnie interpolować wartości pomiędzy odpowiadającymi sobie wierzchołkami.

W pierwszej kolejności należy wyznaczyć główne składowe jako specyficzne deskryptory danego zestawu obiektów. Główne składowe można obliczyć przy użyciu programu MATLAB lub R; należy wyznaczyć średnie współrzędne każdego wierzchołka dla wszystkich N obiektów wejściowych, aby stworzyć obiekt średni, następnie pomnożyć dowolną składową P przez odpowiadającą jej wartość własną lambda oraz pożądany ciężar wj, a następnie dodać wynik do obiektu średniego w celu wygenerowania nowego obiektu. Należy następnie płynnie zmieniać wartość WJ, aby uzyskać płynne wariacje kształtu wzdłuż danej głównej składowej.

Aby utworzyć wielowymiarową siatkę kształtów, należy zastosować zestaw wag dla każdego z kilku głównych komponentów. Wydrukuj obiekty 3D za pomocą prototypera 3D. W razie potrzeby dostosuj rozmiar obiektu i wygładź jego powierzchnię, aby zoptymalizować wydruk.

Ważnym zadaniem w przetwarzaniu wizualnym jest wnioskowanie o kategorii, do której należy dany obserwowany obiekt. W tym celu przydatne są cyfrowe embriony, wykorzystujące m.in. informacje o znanych cechach obiektu. Analizując ten proces wnioskowania, przyjmijmy, że zadanie kategoryzacji jest binarne.

Oznacza to, że istnieją tylko dwie możliwe kategorie i naszym zadaniem jest odróżnienie kategorii K od kategorii L. Niech C będzie zmienną kategorii, gdzie C równa się K lub C równa się L w zależności od tego, czy obserwowany obraz I należy odpowiednio do kategorii K czy L. Zakładając, że istnieje dokładnie jedna cecha binarna F, oblicz prawdopodobieństwo, że kategorią jest K, na podstawie informacji zawartych w obrazie. Analogicznie oblicz prawdopodobieństwo dla kategorii L, a następnie wybierz kategorię o wyższym prawdopodobieństwie.

Na przykład, zacznijmy od tej informacyjnej cechy fragmentu i wartości progowej 0,69. Zadaniem jest określenie, czy cecha ta występuje na danym obrazie, takim jak najbardziej prawy obraz w drodze G trzy. Najpierw przesuń szablon po wszystkich możliwych lokalizacjach na obrazie, obliczając w każdym miejscu wartość bezwzględną znormalizowanej korelacji wzajemnej pomiędzy szablonem a znajdującym się pod nim podobrazem.

Następnie wybierz miejsce w obrazie o najwyższej wartości. Jeśli wartość ta przekracza próg, uznaj, że cecha występuje, w przeciwnym razie uznaj, że jej brakuje. W ramach wnioskowania opartego na cechach przyjmujemy, że wszystkie informacje, które obserwator wyodrębnia z obrazu, są zawarte w wartości tej cechy.

W związku z tym zadanie sprowadza się do wyznaczenia wartości F w danym obrazie poprzez obliczenie prawdopodobieństw dla tej wartości F i wybranie kategorii o wyższym prawdopodobieństwie. Jest to ramy bayesowskie służące do zestawienia wszystkich istotnych prawdopodobieństw. Należy zauważyć, że mianownik w obu równaniach jest taki sam, dlatego należy skupić uwagę na liczniku.

Przyjmijmy płaskie prawdopodobieństwo a priori, zgodnie z którym obie kategorie są a priori równo prawdopodobne. Zadaniem jest teraz obliczenie wiarygodności, czyli prawdopodobieństwa wystąpienia określonej wartości cechy w obrazie danej kategorii C. Na przykład, wykorzystaj sześć obrazów z kategorii L jako przykłady do obliczenia prawdopodobieństwa, że cecha występuje w obrazie z kategorii L. Najpierw wybierz wszystkie obrazy treningowe należące do kategorii L; dla każdego obrazu określ, czy wartość cechy wynosi jeden (cecha występuje w obrazie), czy zero (cecha nie występuje). Następnie oblicz ułamek obrazów, w których wartość cechy wynosi jeden.

Zatem prawdopodobieństwo wystąpienia danej cechy na obrazie z kategorii L wynosi 0,33; w celu uzyskania dokładnych szacunków należy użyć co najmniej 30 obrazów na kategorię. W typowym eksperymencie konieczne byłoby poznanie wewnętrznej oceny tego prawdopodobieństwa przez badanego. Należy zauważyć, że zastosowanie cyfrowych embrionów znacznie ułatwia ten proces.

Ponieważ mamy pełną kontrolę nad ekspozycją badanego obiektu na cyfrowe embriony, możemy mieć pewność, że wewnętrznie obliczona przez obiekt wartość jest zgodna z naszą szacunkową i nie jest pod wpływem żadnych niekontrolowanych i nieznanych wcześniejszych doświadczeń. W podobny sposób obliczamy prawdopodobieństwa braku i obecności obrazu w kategoriach K i L. Przy znanych wartościach można przeprowadzić wnioskowanie w celu zidentyfikowania etykiety kategorii dla tego nowego obrazu. Najpierw, przy użyciu wcześniej ustalonych formuł dla prawdopodobieństw nienormalizowanych oraz właśnie obliczonych wartości, należy określić, czy cecha F występuje na obrazie, a następnie obliczyć prawdopodobieństwa obecności kategorii K i L na obrazie. Dane te wskazują, że obraz pochodzi z kategorii K. Chociaż z relatywnie niską pewnością, wirtualna morfogeneza oferuje nieograniczoną ilość nowych kształtów 3D.

W niniejszym przypadku cyfrowe embriony są generowane poprzez symulację kluczowych procesów biologicznej embriogenezy. Każde uruchomienie rozpoczyna się od ikosaedru i generuje unikalny embrion. W zależności od ustawień morfogenów, cyfrowe embriony mogą być manipulowane graficznie w celu tworzenia scen wizualnych o dowolnym stopniu złożoności przy użyciu dowolnego standardowego zestawu narzędzi graficznych.

Na przykład ten sam cyfrowy embrion może zostać opopatrzony inną teksturą i oświetlony w dowolny sposób. Ponadto, za pomocą komercyjnie dostępnego środowiska do modelowania i renderowania 3D, można tworzyć sceny wizualne o dowolnym stopniu złożoności, takie jak ta scena, w której cyfrowy embrion jest zakamuflowany na tle o podobnej teksturze. Algorytm wirtualnej fylogenezy emuluje ewolucję biologiczną.

Wirtualny algorytm filogenezy emuluje ewolucję biologiczną. Nowe obiekty i kategorie obiektów wyłaniają się jako dziedziczne warianty, które kumulują się selektywnie, lecz w miarę rozwoju nabierają własnych wariacji kształtu. W tym konkretnym przykładzie jeden wspólny przodek, dwudziestościan, generuje trzy pokolenia potomstwa.

Złożoność kształtu wzrasta od dwudziestościanu do generacji G1, ponieważ dopuszczamy zwiększenie liczby komórek, jednak całkowita złożoność kształtu pozostaje taka sama od generacji G1 wzwyż. To drzewo genealogiczne jest porównywalne pod innymi względami, lecz wykorzystuje obiekty niebędące embrionami, które zostały pobrane od dostawców wirtualnych obiektów. Zauważmy, że obiekty posiadające wspólnego przodka wprost tworzą kategorię.

Ponieważ w żadnym pokoleniu nie dopuszczono do podziałów komórkowych, wszystkie zmiany kształtu wynikają wyłącznie z ruchu i/lub wzrostu poszczególnych komórek danego obiektu. W tym scenariuszu morfowanie tworzy płynne przejścia kształtu poprzez interpolację pomiędzy odpowiadającymi sobie wierzchołkami dwóch wybranych obiektów: skrajnie lewego i skrajnie prawego.

Główne składowe kształtu zarodka tworzą również płynne wariacje formy. Ten zarodek reprezentuje średnią arytmetyczną z 400 zarodków. W tym konkretnym przypadku dwie pierwsze składowe główne odpowiadały odpowiednio za 73% i 19% informacji o kształcie.

Zarodki uzyskano poprzez zmianę ważonych wartości własnych. Zarodki cyfrowe te mogą być renderowane jako wirtualne obiekty 3D, a następnie drukowane jako obiekty haptyczne przy użyciu standardowej, dostępnej komercyjnie drukarki 3D lub prototypowni w celu badania percepcji wzrokowej jako wnioskowania, w szczególności jako wnioskowania bayesowskiego. Zarodki cyfrowe są nieocenionym narzędziem do tworzenia nowych kategorii o kontrolowanych parametrach, takich jak rozkłady a priori i funkcje wiarygodności.

Po obejrzeniu tego filmu powinieneś mieć dobrą wiedzę na temat tego, jak stworzyć zestaw cyfrowych embrionów odpowiednich dla Twojego konkretnego eksperymentu. Można z łatwością tworzyć pojedyncze obiekty lub całe kategorie o różnym stopniu zmienności i złożoności. Powstałe obrazy mogą być wykorzystane w eksperymentach dotyczących rozpoznawania obiektów, kategoryzacji, uczenia się kategorii i wielu innych.