Erstellen von Objekten und Objekt Kategorien für Studium Wahrnehmung und Perceptual Learning

Dieses Verfahren zielt darauf ab, Objekte und Objektkategorien zu erstellen, um zu untersuchen, wie wir Objekte durch Sehen und/oder Tasten wahrnehmen und diese Wahrnehmung erlernen. Zunächst wird die virtuelle Morphogenese oder VM verwendet, um die Prozesse der frühen embryonalen Entwicklung zu simulieren und neuartige, natürliche, virtuelle 3D-Objekte – sogenannte digitale Embryonen – zu erzeugen. Anschließend werden mithilfe der virtuellen Phylogenese oder VP Objektkategorien mit präzise definierten statistischen Eigenschaften basierend auf dem eingegebenen digitalen Embryo erstellt.

Falls gewünscht, kann eine Hauptkomponentenanalyse verwendet werden, um zusätzliche Formvariationen zwischen den durch virtuelle Morphogenese und virtuelle Phylogenese erzeugten virtuellen Objekten zu erzeugen. Die Wahrscheinlichkeit, dass ein gegebenes Objekt einer bestimmten Kategorie angehört, kann mithilfe einer merkmalsbasierten bayesschen Inferenz präzise berechnet werden. Gegebenenfalls können haptische Ausdrucke der resultierenden virtuellen Objekte mittels eines 3D-Druckers erzeugt werden.

Jede dieser Methoden wird später im Vergleich zu bestehenden Methoden detaillierter erläutert. Diese neuen Ansätze erzeugen naturalistische, aber präzise messbare Formvariationen, die entstehen, ohne dass vom Untersucher vorgegebene Beschränkungen erforderlich sind. Sie stellen neuartige Werkzeuge in den Bereichen visuelle und haptische Wahrnehmung, wahrnehmungsbasiertes Lernen und maschinelles Sehen dar und haben potenzielle Anwendungen bei der Rehabilitation vieler Arten visueller Beeinträchtigungen durch visuell-haptisches Kreuzmetalltraining.

Interessanterweise kann diese Methode auch zur Untersuchung der Prozesse der Morphogenese und Evolution selbst angewendet werden, und wir hatten erstmals die Idee zu dieser Methode, als wir nach Wegen suchten, naturalistische, aber präzise definierbare visuelle Reize für Studien zur Computer Vision zu erzeugen. Anfänglich könnten Einzelpersonen bei der Anwendung dieser Methode Schwierigkeiten mit ihren mathematischen und programmierungsintensiven Aspekten haben, daher wird diese visuelle Demonstration zeigen, wie man die Methode korrekt implementiert und anwendet. Im Digital-Embryo-Workshop geben Sie einen Satz von Einstellungen oder ein Genotyp zur Erzeugung eines einzelnen Embryos an, um mehrere Embryos zu erzeugen.

Wiederholen Sie diesen Vorgang mehrfach, um komplexere Formen durch virtuelle Morphogenese zu erzeugen. Erhöhen Sie die Anzahl der Wachstumszyklen, um festzulegen, wie oft sich die Zellen des Embryos teilen werden. Der digitale Embryo-Workshop speichert jeden Embryo automatisch als OBJ-Datei, sodass Sie den Embryo später mit kommerziellen 3D-Modellierungstools verwenden können.

Erzeugen Sie die visuellen Reize, indem Sie verschiedene standardmäßige grafische Parameter wie Orientierung, Größe, Beleuchtung, Oberflächenstruktur und Hintergrund einstellen, um Objektkategorien zu generieren. Erstellen Sie nachfolgende Objekte eines Stammobjekts auf hierarchische Weise. Sie können die Form auch kontinuierlich durch Morphing variieren, wobei die eineindeutige Zuordnung der Eckpunkte zwischen den Objekten erhalten bleibt.

Interessanterweise können auch virtuelle Objekte, die keine digitalen Embryonen sind, als Eingaben für die virtuelle Phylogenese verwendet werden. Wählen Sie gezielt Objekte innerhalb einer bestimmten Kategorie aus, um eine gewünschte Merkmalsverteilung zu erzielen. Wenn Sie beispielsweise zwei Kategorien erzeugen möchten, die sich in der Größe unterscheiden, eliminieren Sie gezielt mittelgroße Objekte, um eine bimodale Verteilung der Objektgrößen zu erzeugen.

Messen Sie nun objektiv die Ähnlichkeit zwischen einem gegebenen Paar von Kategorien unter Verwendung verfügbarer phylogenetischer Methoden, wie beispielsweise der Kophonetischen Korrelation. Diese Berechnungen können mit gängigen Analysetools wie MATLAB oder R für jedes beliebige Paar von Objekten durchgeführt werden, bei denen jeder Vertex eines Objekts genau einem Vertex des anderen Objekts entspricht; die Morphing-Prozedur ist in diesem Fall unkompliziert. Wählen Sie die Interpolationspunkte aus und verwenden Sie lineares Morphing zwischen den beiden Objekten, um glatt zwischen den entsprechenden Vertices zu interpolieren.

Zunächst werden die Hauptkomponenten als spezifische Deskriptoren eines gegebenen Objektsatzes bestimmt. Die Hauptkomponenten können mithilfe von MATLAB oder R berechnet werden. Dazu werden die Koordinaten jedes Vertex über alle N Eingangsobjekte gemittelt, um ein Durchschnittsobjekt zu erzeugen. Anschließend wird jede Komponente P mit dem entsprechenden Eigenwert Lambda und einem gewünschten Gewicht wj multipliziert und zum Durchschnittsobjekt addiert, um ein neues Objekt zu erzeugen. Durch fortlaufende, gleichmäßige Variation von wj entstehen glatte Formänderungen entlang einer gegebenen Hauptkomponente.

Um ein mehrdimensionales Raster von Formen zu erstellen, verwenden Sie einen Satz Gewichte für jede der mehreren Hauptkomponenten. Drucken Sie 3D-Objekte mithilfe eines 3D-Prototypers aus. Passen Sie gegebenenfalls die Größe des Objekts an und glätten Sie die Oberfläche des Objekts, um den Druck zu optimieren.

Eine wichtige Aufgabe der visuellen Verarbeitung besteht darin, die Kategorie abzuleiten, zu der ein gegebenes beobachtetes Objekt gehört. Unter teilweiser Nutzung von Informationen über bekannte Merkmale des Objekts sind digitale Embryonen nützlich. Bei der Untersuchung dieses Schlussfolgerungsprozesses nehmen wir an, dass die Kategorisierungsaufgabe binär ist.

Das bedeutet, es gibt nur zwei mögliche Kategorien, und unsere Aufgabe besteht darin, Kategorie K von Kategorie L zu unterscheiden. Sei C die Kategorievariable, wobei C gleich K oder C gleich L ist, je nachdem, ob das beobachtete Bild I zur Kategorie K oder L gehört. Unter der Annahme, dass es genau ein binäres Merkmal F gibt, berechnen Sie die Wahrscheinlichkeit dafür, dass die Kategorie K ist, unter Berücksichtigung der im Bild enthaltenen Informationen. Ebenso berechnen Sie die Wahrscheinlichkeit dafür, dass die Kategorie L ist, und wählen Sie die Kategorie mit der höheren Wahrscheinlichkeit aus.

Beispielsweise beginnen Sie mit dieser informativen Fragment-Charakteristik und einem Schwellenwert von 0,69. Die Aufgabe besteht darin, zu bestimmen, ob diese Charakteristik in einem gegebenen Bild wie dem rechtesten Bild in Straße G drei vorhanden ist. Verschieben Sie zunächst die Vorlage über alle möglichen Positionen im Bild und berechnen Sie an jeder Position den Absolutwert der normalisierten Kreuzkorrelation zwischen der Vorlage und dem zugrundeliegenden Teilbild.

Danach wählen Sie die Bildposition mit dem höchsten Wert aus. Wenn dieser Wert über der Schwelle liegt, schließen Sie, dass das Merkmal vorhanden ist, andernfalls schließen Sie, dass es fehlt. Im Rahmen der merkmalsbasierten Inferenz nehmen wir an, dass sämtliche Informationen, die der Beobachter aus dem Bild extrahiert, im Wert dieses Merkmals enthalten sind.

Daher besteht die Aufgabe darin, den Wert von F in dem gegebenen Bild zu bestimmen, indem Wahrscheinlichkeiten für diesen Wert F berechnet werden, und anschließend die Kategorie mit der höheren Wahrscheinlichkeit auszuwählen. Dies ist das bayessche Rahmenwerk zur Kombination aller relevanten Wahrscheinlichkeiten. Beachten Sie, dass der Nenner in den beiden Gleichungen derselbe ist, sodass die Aufmerksamkeit auf den Zähler beschränkt werden kann.

Gehen Sie von einer flachen A-priori-Annahme aus, dass beide Kategorien a priori gleich wahrscheinlich sind. Die Aufgabe besteht nun darin, die Likelihood – die Wahrscheinlichkeit eines gegebenen Merkmalswerts in einem Bild einer gegebenen Kategorie C – zu berechnen. Verwenden Sie beispielsweise die sechs Bilder der Kategorie L als Beispiele, um die Wahrscheinlichkeit zu berechnen, dass das Merkmal in einem Bild der Kategorie L vorhanden ist. Zunächst werden alle Trainingsbilder, die zu L gehören, herangezogen; für jedes Bild wird bestimmt, ob der Merkmalswert eins ist – das heißt, das Merkmal ist im Bild vorhanden – oder null – das heißt, das Merkmal ist nicht vorhanden. Anschließend berechnen Sie den Anteil der Bilder, in denen der Merkmalswert eins beträgt.

Daher beträgt die Wahrscheinlichkeit, dass das Merkmal in einem Bild der Kategorie L vorhanden ist, 0,33; für genaue Schätzungen sind mindestens 30 Bilder pro Kategorie erforderlich. In einem typischen Experiment müssten wir die interne Schätzung des Probanden für diese Wahrscheinlichkeit kennen. Beachten Sie, wie die Verwendung digitaler Embryonen dies besonders einfach macht.

Da wir die vollständige Kontrolle über die Exposition der Versuchsperson gegenüber digitalen Embryonen haben, können wir sicher sein, dass der vom Probanden intern berechnete Wert mit unserer Schätzung übereinstimmt und nicht durch unkontrollierte oder unbekannte frühere Erfahrungen beeinflusst wird. Auf ähnliche Weise berechnen Sie die Wahrscheinlichkeiten für das Fehlen und das Vorhandensein des Bildes in den Kategorien K und L. Anhand dieser Werte kann eine Schlussfolgerung gezogen werden, um das Kategorie-Label dieses neuen Bildes zu identifizieren. Bestimmen Sie zunächst, ob das Merkmal F im Bild vorhanden ist, indem Sie die zuvor für unnormalisierte Wahrscheinlichkeiten festgelegten Formeln und die gerade berechneten Werte verwenden. Berechnen Sie anschließend die Wahrscheinlichkeiten für das Vorhandensein der Kategorien K und L im Bild. Diese Daten deuten darauf hin, dass das Bild der Kategorie K angehört. Obwohl mit relativ geringer Sicherheit, bietet die virtuelle Morphogenese eine unbegrenzte Anzahl neuartiger 3D-Formen.

Hier werden digitale Embryonen erzeugt, indem zentrale Prozesse der biologischen Embryogenese simuliert werden. Jeder Durchlauf beginnt mit einem Ikosaeder und erzeugt einen einzigartigen Embryo. Basierend auf den Morphogen-Einstellungen können die digitalen Embryonen grafisch manipuliert werden, um mit jedem gängigen grafischen Werkzeug visuelle Szenen beliebiger Komplexität zu erstellen.

Beispielsweise kann derselbe digitale Embryo unterschiedlich texturiert und nach Wunsch beleuchtet werden. Außerdem lassen sich visuelle Szenen beliebiger Komplexität – wie etwa diese Szene mit einem digitalen Embryo, der sich vor einem ähnlich strukturierten Hintergrund tarnen kann – mithilfe einer handelsüblichen 3D-Modellierungs- und Renderumgebung erstellen. Der virtuelle Phy-Agenesis-Algorithmus ahmt die biologische Evolution nach.

Der virtuelle Phylogenese-Algorithmus ahmt die biologische Evolution nach. Neue Objekte und Objektkategorien entstehen als vererbbare Variationen, die sich selektiv ansammeln, jedoch eigene Formvariationen entwickeln, während sie sich weiterentwickeln. In diesem speziellen Beispiel erzeugt ein einziger gemeinsamer Vorfahr, das Ikosaeder, drei Generationen von Nachkommen.

Die Formkomplexität nimmt von dem Ikosaeder bis zur Generation G1 zu, da wir eine Zunahme der Zellenanzahl zulassen, doch ab der Generation G1 bleibt die Gesamtformkomplexität unverändert. Dieser Stammbaum ist in anderen Aspekten vergleichbar, verwendet jedoch keine Embryo-Objekte, die von Anbietern virtueller Objekte heruntergeladen wurden. Beachten Sie, dass Objekte, die einen gemeinsamen Vorfahren teilen, auf einfache Weise eine Kategorie bilden.

Da in keiner Generation Zellteilungen erlaubt waren, resultieren alle Formvariationen ausschließlich aus der Bewegung und/oder dem Wachstum der einzelnen Zellen des gegebenen Objekts. In diesem Szenario erzeugt das Morphing sanfte Formveränderungen, indem es zwischen den entsprechenden Eckpunkten der beiden vorgegebenen Objekte interpoliert. Ganz links und ganz rechts.

Die Hauptkomponenten des Embryos erzeugen ebenfalls glatte Formvariationen. Dieser Embryo stellt den arithmetischen Mittelwert von 400 Embryonen dar. In diesem speziellen Fall erklärten die ersten beiden Hauptkomponenten 73 % bzw. 19 % der Forminformation.

Embryonen wurden durch Variation der gewichteten Eigenwerte erhalten. Diese digitalen Embryonen können als virtuelle 3D-Objekte dargestellt und anschließend mithilfe eines handelsüblichen 3D-Druckers oder Rapid-Prototyping-Geräts als haptische Objekte ausgedruckt werden, um visuelle Wahrnehmung als Schlussfolgern zu untersuchen, insbesondere als bayessches Schlussfolgern. Digitale Embryonen sind ein unschätzbares Hilfsmittel zur Erzeugung neuartiger Kategorien mit kontrollierten Parametern wie A-priori- und Likelihood-Funktionen.

Nachdem Sie sich dieses Video angesehen haben, sollten Sie ein gutes Verständnis dafür haben, wie man einen Satz digitaler Embryonen erstellt, der für Ihr spezielles Experiment geeignet ist. Einzelne Objekte oder ganze Kategorien mit unterschiedlichem Grad an Variabilität und Komplexität können alle problemlos erstellt werden. Die resultierenden Bilder können für Experimente zur Objekterkennung, Kategorisierung, Kategorielernen und vielen anderen verwendet werden.