Objecten maken en Object Categorieën voor het bestuderen van perceptie en perceptueel leren

Deze procedure is erop gericht om objecten en objectcategorieën te creëren om te bestuderen hoe we objecten waarnemen en leren waarnemen via zicht en/of tast. Eerst wordt virtuele morfogenese of VM gebruikt om de processen van de vroege embryonale ontwikkeling te simuleren en nieuwe naturalistische virtuele 3D-objecten te creëren, genaamd digitale embryo's. Vervolgens worden met behulp van virtuele phylogenese of VP objectcategorieën gecreëerd met nauwkeurig gedefinieerde statistische eigenschappen op basis van het input-digitale embryo.

Indien gewenst kan een principale componentenanalyse worden gebruikt om aanvullende vormvariaties te creëren tussen de virtuele objecten die zijn gegenereerd via virtuele morfogenese en virtuele fylogenese. De waarschijnlijkheid dat een bepaald object tot een specifieke categorie behoort, kan nauwkeurig worden berekend met behulp van kenmerkgebaseerde Bayesiaanse inferentie. Indien nodig kunnen haptische prints van de resulterende virtuele objecten worden gegenereerd met een 3D-printer.

Elk van deze methoden zal later in meer detail worden geïllustreerd in vergelijking met bestaande methoden. Deze nieuwe benaderingen creëren naturalistische, maar nauwkeurig meetbare vormvariaties die ontstaan zonder dat er beperkingen door de onderzoeker hoeven te worden opgelegd. Ze bieden nieuwe instrumenten op het gebied van visuele en haptische perceptie, perceptueel leren en computervisie, en hebben potentiële toepassingen bij de rehabilitatie van diverse soorten visuele beperkingen via visueel-haptische crossmodale training.

Interessant is dat deze methode ook kan worden toegepast om de processen van morfogenese en evolutie zelf te bestuderen. We kregen voor het eerst het idee voor deze methode toen we zochten naar manieren om naturalistische, maar nauwkeurig definieerbare visuele stimuli te genereren voor studies en computationele visie. In eerste instantie zouden personen die deze methode leerden mogelijk moeite hebben met de wiskundige en programmeerintensieve aspecten, dus deze visuele demonstratie zal illustreren hoe deze methode correct kan worden geïmplementeerd en gebruikt. Specificeer in de digitale embryo-workshop een set instellingen of een genotype om één enkel embryo of meerdere embryo's te genereren.

Herhaal dit proces meerdere keren om via virtuele morfogenese complexere vormen te genereren. Verhoog het aantal groeicycli om te bepalen hoe vaak de cellen van het embryo zullen delen. De digitale embryo-workshop slaat elk embryo automatisch op als een OBJ-bestand, zodat u het embryo later kunt gebruiken met commerciële 3D-modelleringspakketten.

Genereer de visuele stimuli door diverse standaard grafische parameters in te stellen, zoals oriëntatie, grootte, belichting, oppervlaktestructuur en achtergrond, om objectcategorieën te creëren. Maak afstammelingen van een stamobject op hiërarchische wijze. U kunt de vorm ook geleidelijk variëren middels morphing, waarbij de één-op-één correspondentie van de vertices tussen de objecten behouden blijft.

Interessant is dat ook andere virtuele objecten dan digitale embryo's als input voor virtuele phy agenesis kunnen worden gebruikt. Selecteer objecten binnen een bepaalde categorie om een specifieke distributie van kenmerken te bereiken. Als u bijvoorbeeld twee categorieën wilt creëren die in grootte verschillen, kan men selectief middelgrote objecten elimineren om een bimodale distributie van objectgroottes te genereren.

Meet nu objectief de gelijkenis tussen een gegeven paar categorieën met behulp van beschikbare fylogenetische methoden, zoals co-fonetische correlatie. Deze berekeningen kunnen worden uitgevoerd met algemeen beschikbare analysetoolkits zoals MATLAB of R. Voor elk gegeven paar objecten waarbij elk vertex van het ene object precies correspondeert met één vertex van het andere object, is morphing eenvoudig. Selecteer de interpolatiepunten en gebruik lineaire morphing tussen de twee objecten om vloeiend te interpoleren tussen de corresponderende vertices.

Bepaal eerst de hoofdcomponenten als specifieke descriptoren van een gegeven set objecten. Hoofdcomponenten kunnen worden berekend met MATLAB of R; bereken het gemiddelde van de coördinaten van elk hoekpunt over alle N input-objecten om een gemiddeld object te genereren, vermenigvuldig elke component P met de bijbehorende eigenwaarde lambda en een gewenste weging wj, en voeg dit toe aan het gemiddelde object om een nieuw object te genereren. Varieer wj vervolgens geleidelijk om vloeiende vormvariaties te creëren langs een gegeven hoofdcomponent.

Om een multidimensionaal raster van vormen te creëren, gebruikt u een set gewichten voor elk van verschillende hoofdonderdelen. Print 3D-objecten uit met een 3D-prototyper. Pas indien nodig de grootte van het object aan en maak het oppervlak van het object glad om de print te optimaliseren.

Een belangrijke taak bij de visuele verwerking is het afleiden van de categorie waartoe een bepaald waargenomen object behoort. Digitale embryo's zijn nuttig, mede door gebruik te maken van informatie over bekende kenmerken van het object. Laten we bij het bestuderen van dit inferentieproces ervan uitgaan dat de categorisatietaak binair is.

Stel dat er slechts twee mogelijke categorieën zijn en dat onze taak bestaat uit het onderscheiden van categorie K van categorie L; laat C de categorievariabele zijn, waarbij C gelijk is aan K of C gelijk is aan L, afhankelijk van of de waargenomen afbeelding I respectievelijk tot categorie K of L behoort. Ervan uitgaande dat er precies één binair kenmerk F is, dient de kans te worden berekend dat de categorie K is, gegeven de informatie in de afbeelding. Doe hetzelfde voor de kans dat de categorie L is, en kies de categorie met de hoogste kans.

Begin bijvoorbeeld met dit informatieve fragmentkenmerk en een drempelwaarde van 0,69. De taak is om te bepalen of dit kenmerk aanwezig is in een gegeven afbeelding, zoals de meest rechtse afbeelding in weg G drie. Schuif eerst de template over alle mogelijke locaties in de afbeelding en bereken op elke locatie de absolute waarde van de genormaliseerde cross-correlatie tussen de template en de onderliggende subafbeelding.

Select vervolgens de beeldlocatie met de hoogste waarde. Als deze waarde boven de drempelwaarde ligt, wordt geconcludeerd dat het kenmerk aanwezig is; anders wordt geconcludeerd dat het afwezig is. Binnen het kader van kenmerkgebaseerde inferentie gaan we ervan uit dat alle informatie die de waarnemer uit het beeld extraheert, besloten ligt in de waarde van dit kenmerk.

Daarom bestaat de taak uit het bepalen van de waarde van F in de gegeven afbeelding, het berekenen van de waarschijnlijkheden voor die waarde F en het selecteren van de categorie met de hoogste waarschijnlijkheid. Dit is het Bayesiaanse raamwerk om alle relevante waarschijnlijkheden samen te voegen. Merk op dat de noemer in de twee vergelijkingen hetzelfde is, richt de aandacht daarom uitsluitend op de teller.

Ga uit van een vlakke prior waarbij beide categorieën a priori even waarschijnlijk zijn. De taak is nu om de likelihood te berekenen: de kans op een bepaalde kenmerkwaarde in een afbeelding van een gegeven categorie C. Gebruik bijvoorbeeld de zes afbeeldingen van categorie L als voorbeelden om de kans te berekenen dat het kenmerk aanwezig is in een afbeelding van categorie L. Neem eerst alle trainingsafbeeldingen die tot L behoren; bepaal voor elke afbeelding of de kenmerkwaarde één is (het kenmerk is aanwezig in de afbeelding) of nul (het kenmerk is afwezig). Bereken vervolgens de fractie afbeeldingen waarin de kenmerkwaarde één is.

Daarom is de waarschijnlijkheid dat het kenmerk aanwezig is in een afbeelding van categorie L 0,33; voor nauwkeurige schattingen moeten minstens 30 afbeeldingen per categorie worden gebruikt. In een typisch experiment zouden we de interne schatting van deze waarschijnlijkheid door het subject moeten weten. Let op hoe het gebruik van digitale embryo's dit bijzonder eenvoudig maakt.

Aangezien we volledige controle hebben over de blootstelling van de proefpersoon aan digitale embryo's, kunnen we er zeker van zijn dat de intern door de proefpersoon berekende waarde consistent is met onze schatting en niet wordt beïnvloed door enige ongecontroleerde en onbekende eerdere ervaring. Bereken op soortgelijke wijze de waarschijnlijkheden van afwezigheid en aanwezigheid van de afbeelding in categorieën K en L. Gegeven deze waarden kan er een gevolgtrekking worden uitgevoerd om het categorielabel van deze nieuwe afbeelding te identificeren. Bepaal eerst of kenmerk F aanwezig is in de afbeelding met behulp van de eerder vastgestelde formules voor ongenormaliseerde waarschijnlijkheden en de zojuist berekende waarden; bereken vervolgens de waarschijnlijkheden van de aanwezigheid van categorieën K en L in de afbeelding. Deze gegevens geven aan dat de afbeelding uit categorie K komt. Hoewel met een relatief lage betrouwbaarheid, biedt virtuele morfogenese een onbeperkte aanvoer van nieuwe 3D-vormen.

Hier worden digitale embryo's gegenereerd door belangrijke processen van biologische embryogenese te simuleren. Elke run begint met een icosaëder en genereert een uniek embryo. Op basis van de instellingen van de morfogenen kunnen de digitale embryo's grafisch worden gemanipuleerd om visuele scènes van willekeurige complexiteit te creëren met behulp van elke standaard grafische toolkit.

Bijvoorbeeld kan hetzelfde digitale embryo anders worden getextureerd en naar wens worden belicht. Bovendien kunnen visuele scènes van willekeurige complexiteit, zoals deze scène met een digitaal embryo dat gecamoufleerd is tegen een vergelijkbaar getextureerde achtergrond, worden gecreëerd met behulp van een commercieel verkrijgbare 3D-modellerings- en renderomgeving. Het virtuele fylo-genesisalgoritme emuleert biologische evolutie.

Het virtuele fylogenese-algoritme emuleert biologische evolutie. Nieuwe objecten en objectcategorieën ontstaan als erfelijke variaties die selectief accumuleren, maar die tijdens hun ontwikkeling eigen vormvariaties ontwikkelen. In dit specifieke voorbeeld produceert één gemeenschappelijke voorouder, het icosaëder, drie generaties nakomelingen.

De vormcomplexiteit neemt toe van het icosaëder naar generatie G één omdat we toestaan dat het aantal cellen toeneemt, maar vanaf generatie G één blijft de algehele vormcomplexiteit gelijk. Deze stamboom is in andere opzichten vergelijkbaar, maar maakt gebruik van niet-embryonale objecten die zijn gedownload van leveranciers van virtuele objecten. Merk op dat de objecten die een gemeenschappelijke voorouder delen, op eenvoudige wijze een categorie vormen.

Aangezien er in geen enkele generatie celdelingen zijn toegestaan, zijn alle vormvariaties uitsluitend het gevolg van de beweging en/of groei van de individuele cellen van het betreffende object. In dit scenario creëert morphing vloeiende variaties in vorm door te interpoleren tussen de overeenkomstige vertices van de twee aangewezen objecten: het meest linkse en het meest rechtse.

Hoofdcomponenten van embryo's creëren ook vloeiende variaties in vorm. Dit embryo representeert het rekenkundig gemiddelde van 400 embryo's. In dit specifieke geval waren de eerste twee hoofdcomponenten respectievelijk verantwoordelijk voor 73% en 19% van de vorminformatie.

Embryo's werden verkregen door de gewogen eigenwaarden te variëren. Deze digitale embryo's kunnen worden weergegeven als virtuele 3D-objecten en vervolgens worden geprint als haptische objecten met een standaard commercieel beschikbare 3D-printer of prototyper om visuele perceptie als inferentie te bestuderen, in het bijzonder als Bayesiaanse inferentie. Digitale embryo's zijn een onschatbaar hulpmiddel voor het creëren van nieuwe categorieën met gecontroleerde parameters, zoals priors en likelihoods.

Na het bekijken van deze video zou u een goed begrip moeten hebben van hoe u een set digitale embryo's kunt creëren die geschikt is voor uw specifieke experiment. Zowel individuele objecten als volledige categorieën met verschillende graden van variabiliteit en complexiteit kunnen eenvoudig worden gemaakt. De resulterende afbeeldingen kunnen worden gebruikt voor experimenten in objectherkenning, categorisatie, categorieleren en vele andere toepassingen.