知覚と知覚学習を研究するためのオブジェクトとオブジェクトのカテゴリを作成する

この手順の目的は、視覚または触覚によって物体をどのように認識し、その認識をどのように学習するかを研究するための物体および物体カテゴリーを作成することです。まず、仮想形態形成（virtual morphogenesis：VM）を用いて、初期胚発生のプロセスをシミュレーションし、デジタル胚と呼ばれる新しい自然的仮想3D物体を作成します。次に、仮想系統発生（virtual phylogenesis：VP）を用いて、入力されたデジタル胚に基づき、統計的特性が精密に定義された物体カテゴリーを作成します。

必要に応じて、主成分分析を用いて、仮想形態形成（virtual morphogenesis）および仮想系統発生（virtual phylogenesis）によって作成された仮想オブジェクト間にさらなる形状のバリエーションを作り出すことができます。特定のオブジェクトが特定のカテゴリーに属する確率は、特徴量ベースのベイズ推論を用いて正確に算出可能です。また、必要であれば、得られた仮想オブジェクトの触覚プリントを3Dプリンターで作成することができます。

これらの各手法については、後ほど既存の手法と比較しながら詳しく説明します。これらの新しいアプローチでは、研究者が制約を課すことなく、自然でありながら正確に測定可能な形状の変化を生み出すことができます。これにより、視覚および触覚知覚、知覚学習、マシンビジョンの分野に新たなツールが提供され、視覚・触覚のクロスモーダル訓練を通じて、多くの種類の視覚障害のリハビリテーションに応用できる可能性があります。

興味深いことに、この手法は形態形成と進化そのもののプロセスを研究することにも適用可能です。私たちはもともと、計算視覚の研究において、自然的でありながら正確に定義可能な視覚刺激を生成する方法を探していた際に、この手法を着想しました。当初、この手法を扱う個人は、数学的およびプログラミング的な負荷の高い側面に苦労する可能性があると考えられたため、この視覚的なデモンストレーションでは、本手法を適切に実装し使用する方法を説明します。デジタル胚ワークショップでは、一連の設定またはジェノタイプを指定することで、単一の胚または複数の胚を生成します。

このプロセスを複数回繰り返し、仮想形態形成によってより複雑な形状を生成します。成長サイクルの回数を増やすことで、胚の細胞が分裂する回数を指定できます。デジタル胚ワークショップでは、各胚がOBJファイルとして自動的に保存されるため、後で市販の3Dモデリングツールキットを使用して胚を利用することが可能です。

向き、サイズ、照明、表面の質感、背景などのさまざまな標準的なグラフィックパラメータを設定して、物体カテゴリを生成し、視覚刺激を作成します。祖先となるオブジェクトから派生したオブジェクトを階層的に作成します。また、オブジェクト間の頂点の1対1の対応関係を維持しながら、モーフィングを用いて形状を滑らかに変化させることも可能です。

興味深いことに、デジタル胚以外の仮想オブジェクトを仮想系統発生の入力として使用することも可能です。特定のカテゴリーの中からオブジェクトを選択し、目的の特性分布を実現させます。例えば、サイズの異なる2つのカテゴリーを作成したい場合は、中サイズのオブジェクトを選択的に排除することで、オブジェクトサイズの二峰性分布を生成します。

次に、共系統相関（cophenetic correlation）などの利用可能な系統解析手法を用いて、特定のカテゴリーペア間の類似度を客観的に測定します。これらの計算は、MATLABやRなどの一般的に利用可能な解析ツールキットを用いて行うことができます。一方のオブジェクトの各頂点がもう一方のオブジェクトのちょうど1つの頂点に対応している任意のオブジェクトペアに対しては、モーフィングを容易に実行できます。補間点を選択し、2つのオブジェクト間で線形モーフィングを用いることで、対応する頂点間をスムーズに補間します。

まず、与えられた一連のオブジェクトの特有の記述子として主成分を決定します。主成分はMATLABまたはRを用いて算出できます。全N個の入力オブジェクトにわたる各頂点の座標を平均して平均オブジェクトを生成し、任意の成分Pに corresponding な固有値lambdaと任意の重みwjを乗じ、それを平均オブジェクトに加算することで新しいオブジェクトを生成します。WJを緩やかに変化させ続けることで、特定の主成分に沿った滑らかな形状変化を作成します。

形状の多次元グリッドを作成するには、いくつかの主成分それぞれに重みのセットを使用します。3Dプロトタイパーを用いて3Dオブジェクトをプリントします。必要に応じて、オブジェクトのサイズを調整し、表面を平滑化してプリントを最適化してください。

視覚処理における重要なタスクは、観察された特定の物体がどのカテゴリーに属するかを推論することです。物体の既知の特徴に関する情報を利用することで、デジタル胚が有用となります。この推論プロセスを検討するにあたり、カテゴリー分類タスクがバイナリであると仮定しましょう。

つまり、可能なカテゴリーは2つのみであり、我々のタスクはカテゴリーKとカテゴリーLを区別することです。カテゴリー変数をCとし、観察された画像IがカテゴリーKまたはLに属する場合に応じて、C＝KまたはC＝Lとなります。バイナリ特徴量Fがちょうど1つ存在すると仮定し、画像内の情報に基づいたカテゴリーがKである確率を算出します。同様に、カテゴリーがLである確率についても算出し、より確率の高い方のカテゴリーを選択します。

例えば、この情報量を持つ断片的な特徴と、0.69という閾値から開始します。ここでのタスクは、road G threeの右端の画像のような、特定の画像内にこの特徴が存在するかどうかを判定することです。まず、テンプレートを画像内のあらゆる可能な位置にスライドさせ、各位置において、テンプレートとそれに対応する部分画像との間の正規化相互相関の絶対値を計算します。

次に、値が最も高い画像上の位置を選択します。この値が閾値を超えている場合は、その特徴が存在すると判断し、そうでない場合は存在しないと判断します。特徴ベースの推論の枠組みでは、観察者が画像から抽出するすべての情報は、この特徴の値に含まれていると想定します。

したがって、課題は、与えられた画像におけるFの値を決定し、その値Fに対する確率を算出し、より確率の高いカテゴリーを選択することになります。これが、すべての関連する確率を統合するためのベイズ的な枠組みです。2つの方程式の分母は同一であるため、分子に注目してください。

どちらのカテゴリーも事前確率が等しいというフラットな事前分布を想定します。ここでのタスクは、特定のカテゴリーCの画像において、ある特徴量がある値をとる尤度（確率）を計算することです。例えば、カテゴリーLの6枚の画像を例として、カテゴリーLの画像にその特徴が存在する確率を計算します。まず、Lに属するすべてのトレーニング画像を用意し、各画像について、特徴が存在する場合は1、存在しない場合は0として特徴量の値を決定します。次に、特徴量の値が1である画像の割合を計算します。

したがって、カテゴリーLの画像にその特徴が存在する確率は0.33となります。正確な推定を行うには、カテゴリーあたり少なくとも30枚の画像を使用してください。一般的な実験では、この確率に対する被験者の内部推定値を知る必要があります。デジタル胚を使用することで、これが特に容易になる点に注目してください。

被験者のデジタル胚への曝露を完全に制御できるため、被験者が内部的に算出した値が我々の推定値と一致しており、制御不能かつ未知の過去の経験に影響されていないことを確信できます。同様に、カテゴリーKおよびLにおいて、画像が存在しない確率と存在する確率を算出します。これらの値を用いて、この新しい画像のカテゴリーラベルを特定するための推論を行うことができます。まず、非正規化確率について先に決定した数式と、今算出した値を用いて、画像内に特徴Fが存在するかどうかを判定し、カテゴリーKおよびLが画像内に存在する確率を算出します。これらのデータは、この画像がカテゴリーKのものであることを示しています。信頼度は比較的低いものの、仮想形態形成は、無限に新しい3D形状を提供することが可能です。

ここでは、生物学的な胚発生の主要なプロセスをシミュレートすることで、デジタル胚を生成します。各ランは正二十面体から開始され、それぞれ固有の胚が生成されます。モルフォゲンの設定に基づき、標準的なグラフィカルツールキットを用いてデジタル胚をグラフィカルに操作し、任意の複雑さを持つ視覚的シーンを作成することが可能です。

例えば、同一のデジタル胚であっても、テクスチャを使い分けたり、任意にライティングを変更したりすることが可能です。さらに、市販の3Dモデリングおよびレンダリング環境を使用することで、同様のテクスチャを持つ背景にデジタル胚をカモフラージュさせたシーンのように、任意の複雑さを持つ視覚的なシーンを作成できます。仮想個体発生アルゴリズムは、生物学的進化を模倣します。

仮想的な系統発生アルゴリズムは、生物学的進化をエミュレートします。新しいオブジェクトやオブジェクトカテゴリは、選択的に蓄積される遺伝可能な変異として現れますが、それ自体が発達するにつれて形状の変異も蓄積していきます。この特定の例では、単一の共通祖先である正二十面体から、3世代の末裔が生成されます。

正二十面体から第1世代（Generation G one）にかけて形状の複雑さが増していますが、これは細胞数を増加させているためであり、第1世代以降の全体的な形状の複雑さは一定に保たれています。この家系図は他の点では同様ですが、仮想オブジェクトベンダーからダウンロードした非胚オブジェクトが使用されています。共通の祖先を持つオブジェクトが、そのまま一つのカテゴリーを構成していることに注目してください。

いずれの世代においても細胞分裂が許容されなかったため、すべての形状変化は、当該オブジェクトの個々の細胞の移動または成長のみに起因します。このシナリオでは、指定された2つのオブジェクト（一番左と一番右）の対応する頂点間を補完することで、形状の滑らかな変化（モーフィング）が作成されます。

胚の主成分により、形態の緩やかな変化も表現されます。この胚は400個の胚の算術平均を示しています。この特定の例では、第1および第2主成分が、それぞれ形態情報の73%と19%を占めていました。

重み付け固有値を変化させることで、胚を取得しました。これらのデジタル胚は、仮想3Dオブジェクトとしてレンダリングし、市販の標準的な3Dプリンターまたはプロトタイパーを用いてハプティックオブジェクトとして印刷することが可能です。これにより、視覚的知覚を推論、特にベイズ推論として研究することができます。デジタル胚は、事前分布や尤度などのパラメータを制御し、新しいカテゴリーを作成するための極めて有用なツールとなります。

このビデオを視聴することで、特定の実験に適したデジタル胚のセットを作成する方法について、十分に理解することができます。個々のオブジェクトや、多様性と複雑さの度合いが異なるカテゴリー全体を、すべて簡単に作成することが可能です。得られた画像は、物体認識、カテゴリー化、カテゴリー学習などの様々な実験に使用できます。