Создание объектов и объектов категории по изучению восприятия и восприятия обучения

Данная процедура направлена на создание объектов и категорий объектов для изучения того, как мы воспринимаем и учимся воспринимать объекты с помощью зрения и/или осязания. Сначала используется виртуальный морфогенез (VM) для симуляции процессов раннего эмбрионального развития и создания новых натуралистичных виртуальных 3D-объектов, называемых цифровыми эмбрионами. Затем с помощью виртуальной филогенеза (VP) создаются категории объектов с точно определенными статистическими свойствами на основе исходного цифрового эмбриона.

При желании можно использовать метод главных компонент для создания дополнительных вариаций формы виртуальных объектов, полученных с помощью виртуального морфогенеза и виртуального филогенеза. Вероятность принадлежности конкретного объекта к определенной категории может быть точно рассчитана с помощью байесовского вывода на основе признаков. При необходимости можно создать тактильные копии полученных виртуальных объектов с помощью 3D-принтера.

Каждый из этих методов будет подробно рассмотрен далее в сравнении с существующими методами. Эти новые подходы позволяют создавать естественные, но точно измеряемые вариации формы, которые возникают без необходимости введения ограничений со стороны исследователя. Они предоставляют новые инструменты в области зрительного и тактильного восприятия, перцептивного обучения и машинного зрения, а также имеют потенциал применения в реабилитации многих видов зрительных нарушений с помощью кросс-модального зрительно-тактильного обучения.

Интересно, что этот метод также может быть применен для изучения самих процессов морфогенеза и эволюции; идея этого метода впервые возникла у нас при поиске способов создания натуралистичных, но точно определяемых визуальных стимулов для исследований в области вычислительного зрения. Первоначально пользователи этого метода могли столкнуться с трудностями в аспектах, требующих интенсивных математических вычислений и программирования, поэтому эта визуальная демонстрация покажет, как правильно внедрить и использовать данный метод. В воркшопе «цифрового эмбриона» укажите набор параметров или генотип, чтобы создать один эмбрион или несколько эмбрионов.

Повторите этот процесс несколько раз, чтобы создать более сложные формы путем виртуального морфогенеза. Увеличьте количество циклов роста, чтобы определить число делений клеток эмбриона. Мастерская цифрового эмбриона автоматически сохраняет каждый эмбрион в формате OBJ, что позволяет в дальнейшем использовать модель в коммерческих инструментах для 3D-моделирования.

Создайте визуальные стимулы, установив различные стандартные графические параметры, такие как ориентация, размер, освещение, текстура поверхности и фон, для формирования категорий объектов. Создайте производные от родительского объекта иерархическим способом. Также вы можете плавно изменять форму с помощью морфинга, сохраняя взаимно однозначное соответствие вершин между объектами.

Интересно, что в качестве входных данных для виртуального филогенеза могут использоваться и другие виртуальные объекты, помимо цифровых эмбрионов. Выбирайте объекты в рамках определенной категории, чтобы добиться заданного распределения признаков. Например, если вы хотите создать две категории, различающиеся по размеру, выборочно удалите объекты среднего размера, чтобы сформировать бимодальное распределение размеров объектов.

Теперь объективно измерьте сходство между данной парой категорий, используя доступные филогенетические методы, такие как кофонетическая корреляция. Эти расчеты можно выполнить с помощью общедоступных аналитических инструментов, таких как MATLAB или R. Для любой данной пары объектов, где каждая вершина одного объекта соответствует ровно одной вершине другого объекта, морфинг выполняется легко. Выберите точки интерполяции и используйте линейный морфинг между двумя объектами для плавного перехода между соответствующими вершинами.

Сначала определите главные компоненты в качестве специфических дескрипторов данного набора объектов. Главные компоненты можно рассчитать с помощью MATLAB или R; вычислите средние координаты каждой вершины для всех N входных объектов, чтобы создать усредненный объект, умножьте любую компоненту P на соответствующее собственное значение lambda и желаемый вес wj, и прибавьте результат к усредненному объекту для создания нового объекта. Продолжайте плавно изменять WJ, чтобы создать плавные вариации формы вдоль данной главной компоненты.

Для создания многомерной сетки фигур используйте набор весов для каждого из нескольких главных компонентов. Распечатайте 3D-объекты с помощью 3D-прототипирующего устройства. При необходимости отрегулируйте размер объекта и сгладьте его поверхность для оптимизации печати.

Важной задачей визуального восприятия является определение категории, к которой принадлежит наблюдаемый объект. Для этих целей полезно использовать цифровые эмбрионы, опираясь в том числе на информацию об известных характеристиках объекта. При изучении этого процесса вывода предположим, что задача категоризации является бинарной.

То есть существует всего две возможные категории, и наша задача заключается в том, чтобы отличить категорию K от категории L; пусть C будет переменной категории, где C равна K или C равна L в зависимости от того, принадлежит ли наблюдаемое изображение I к категории K или L соответственно. Предположив, что существует ровно один бинарный признак F, вычислите вероятность того, что категория является K, исходя из информации в изображении. Аналогично сделайте это для вероятности того, что категория является L, и выберите категорию с более высокой вероятностью.

Например, возьмем этот информативный фрагмент-признак и пороговое значение 0,69. Задача состоит в том, чтобы определить, присутствует ли данный признак на конкретном изображении, таком как крайнее правое изображение на дороге G3. Сначала переместите шаблон по всем возможным позициям на изображении и вычислите в каждой позиции абсолютное значение нормированной взаимной корреляции между шаблоном и соответствующим подзображением.

Затем выберите область изображения с максимальным значением. Если это значение превышает пороговый уровень, сделайте вывод о наличии признака, в противном случае — о его отсутствии. В рамках вывода на основе признаков мы предполагаем, что вся информация, которую наблюдатель извлекает из изображения, содержится в значении этого признака.

Следовательно, задача сводится к определению значения F на данном изображении, вычислению вероятностей для этого значения F и выбору категории с более высокой вероятностью. Это байесовский подход к объединению всех соответствующих вероятностей. Обратите внимание, что знаменатель в обоих уравнениях одинаков, поэтому следует сосредоточиться на числителе.

Предположим плоское априорное распределение, при котором обе категории априори равновероятны. Теперь задача состоит в том, чтобы вычислить правдоподобие — вероятность определенного значения признака в изображении заданной категории C. Например, используйте шесть изображений категории L в качестве примеров для вычисления вероятности того, что данный признак присутствует на изображении категории L. Сначала возьмите все обучающие изображения, принадлежащие к категории L; для каждого изображения определите, является ли значение признака единицей (признак присутствует на изображении) или нулем (признак отсутствует). Затем вычислите долю изображений, в которых значение признака равно единице.

Таким образом, вероятность того, что данный признак присутствует на изображении категории L, составляет 0,33; для получения точных оценок следует использовать не менее 30 изображений на категорию. В типичном эксперименте нам потребовалось бы знать внутреннюю оценку этой вероятности испытуемым. Обратите внимание, что использование цифровых эмбрионов значительно облегчает решение этой задачи.

Поскольку мы полностью контролируем воздействие цифровых эмбрионов на испытуемого, мы можем быть уверены, что внутренне вычисленное испытуемым значение соответствует нашей оценке и не подвержено влиянию какого-либо неконтролируемого или неизвестного предыдущего опыта. Аналогичным образом вычислите вероятности отсутствия и присутствия изображения в категориях K и L. Исходя из этих значений, можно выполнить вывод для определения метки категории этого нового изображения. Сначала определите, присутствует ли признак F на изображении, используя ранее выведенные формулы для ненормализованных вероятностей и только что вычисленные значения; затем рассчитайте вероятности принадлежности изображения к категориям K и L. Эти данные указывают на то, что изображение относится к категории K. Несмотря на относительно низкую степень уверенности, виртуальный морфогенез обеспечивает неограниченный объем новых 3D-форм.

В данном случае цифровые эмбрионы создаются путем симуляции ключевых процессов биологического эмбриогенеза. Каждый запуск начинается с икосаэдра и приводит к формированию уникального эмбриона. В зависимости от настроек морфогенов, цифровые эмбрионы могут подвергаться графическим манипуляциям для создания визуальных сцен произвольной сложности с использованием любого стандартного графического инструментария.

Например, одну и ту же цифровую модель эмбриона можно текстурировать по-разному и освещать по своему усмотрению. Кроме того, с помощью коммерчески доступной среды 3D-моделирования и рендеринга можно создавать визуальные сцены произвольной сложности, такие как данная сцена с цифровым эмбрионом, замаскированным на фоне с аналогичной текстурой. Алгоритм виртуального филогенеза имитирует биологическую эволюцию.

Алгоритм виртуального филогенеза имитирует биологическую эволюцию. Новые объекты и категории объектов появляются как наследуемые вариации, которые накапливаются селективно, но в процессе развития приобретают собственные вариации формы. В данном конкретном примере один общий предок, икосаэдр, порождает три поколения потомков.

Сложность формы увеличивается от икосаэдра до первого поколения G, так как мы допускаем увеличение количества ячеек, однако начиная с первого поколения G общая сложность формы остается неизменной. Это генеалогическое древо сопоставимо в остальных аспектах, но в нем используются объекты, не являющиеся эмбрионами, которые были загружены от поставщиков виртуальных объектов. Заметьте, что объекты, имеющие общего предка, прямо формируют отдельную категорию.

Поскольку в любом поколении деления клеток не допускались, все изменения формы обусловлены исключительно перемещением и/или ростом отдельных клеток данного объекта. В этом сценарии морфинг создает плавные вариации формы путем интерполяции между соответствующими вершинами двух заданных объектов: крайнего левого и крайнего правого.

Основные компоненты эмбриона также создают плавные вариации формы. Данный эмбрион представляет собой среднее арифметическое 400 эмбрионов. В данном конкретном случае первые две главные компоненты составили 73% и 19% информации о форме соответственно.

Эмбрионы были получены путем варьирования взвешенных собственных значений. Эти цифровые эмбрионы могут быть представлены в виде виртуальных 3D-объектов, а затем распечатаны в виде тактильных объектов с помощью стандартного коммерчески доступного 3D-принтера или прототипирующего устройства для изучения зрительного восприятия как процесса вывода, в частности, как байесовского вывода. Цифровые эмбрионы являются бесценным инструментом для создания новых категорий с контролируемыми параметрами, такими как априорные вероятности и функции правдоподобия.

После просмотра этого видео вы должны будете четко понимать, как создать набор цифровых эмбрионов, подходящих для вашего конкретного эксперимента. Можно легко создать как отдельные объекты, так и целые категории с различной степенью вариативности и сложности. Полученные изображения могут быть использованы в экспериментах по распознаванию объектов, категоризации, обучению категориям и во многих других исследованиях.