Развитие Audio на основе виртуальной игровой среды для оказания помощи навыки навигации в слепых

Общая цель данного эксперимента состоит в том, чтобы продемонстрировать, что взаимодействие с виртуальной средой позволяет передавать навыки пространственной навигации, которые могут быть оценены позже в реальной физической среде. Это достигается за счет первого обучения, нажатия клавиш, используемых для навигации в виртуальной среде во время игры. Затем участники учатся распознавать звуки, которые позволяют идентифицировать объекты и их взаимное расположение.

После игрового процесса представлен ряд виртуальных и физических навигационных задач, чтобы оценить их пространственное понимание окружающей среды. Получены результаты, которые показывают, что участники способны перемещаться по реальному физическому зданию, которое было представлено виртуальной средой во время игрового процесса. Основное преимущество этого метода перед существующими методами, такими как стандартное обучение ориентации и мобильности, заключается в том, что пространственная планировка незнакомого здания может быть изучена с помощью виртуального исследования безопасным и контролируемым образом.

Эту процедуру будут демонстрировать Аарон Коннорс и Линдси Айно, которые оба являются координаторами исследований в моей лаборатории. Участники этого исследования являются юридически слепыми и не имеют предварительных знаний о пространственном расположении целевого здания, которое необходимо изучить, а также не осведомлены об общей цели игрового процесса в отношении изучения пространственного расположения целевого здания. Для начала предоставьте участнику повязку на глаза и наушники.

Убедитесь, что наушники правильно расположены над ушами. Затем проинструктируйте участника о том, как использовать назначенные клавиши и информацию, представленную звуковыми подсказками в звуковой среде. Тренажёр. Определенные нажатия клавиш, как показано здесь, используются для навигации по виртуальной среде и ее изучения.

Каждый виртуальный шаг приближается к одному шагу в реальном физическом здании. Объяснив управление, объясните предпосылку и правила игры. Информируйте участника о различных звуковых сигналах, используемых во время игры.

Например, звук нахождения драгоценностей и монстров поблизости по мере того, как пользователь перемещается по зданию, слуховая и пространственная информация воспринимается последовательно и динамически обновляется после каждого шага в виртуальной среде. Преобразование текста в речь используется для предоставления дополнительной информации о текущем местоположении, ориентации и направлении пользователя, а также об идентичности объектов и препятствий на их пути. Пространственная локализация звуков обновляется в соответствии с эгоцентричным направлением пользователя.

Например, если дверь расположена с правой стороны от человека, звук стука будет слышен в правом ухе пользователя. Если человек теперь поворачивается на 180 градусов так, что та же дверь теперь находится с его левой стороны, то в левом канале теперь слышен тот же стук. Позвольте участнику играть в игру в течение трех сеансов по 30 минут.

Отмечайте любые трудности или проблемы, возникающие во время игры, после каждой тренировки, предоставляйте положительное подкрепление и любые разъяснения или дальнейшие инструкции. Позже оцените их эффективность в игровом процессе, подсчитав количество, время и место, где участник находит Juul. Чтобы проверить выполнение задачи виртуальной навигации, объясните участнику, что он выполнит 10 заранее определенных навигационных задач, последовательно представленных программным обеспечением Abes.

Пути имеют сопоставимую сложность и выбираются на основе заранее определенных пар из 10 штук. Места старта и остановки. Сообщите участнику, что в начале каждого задания у него будет максимум шесть минут на выполнение каждого задания.

Инструкции с описанием начального местоположения и конечного пункта назначения предоставляются автоматически. Хронометраж начинается автоматически после того, как участник получает аудиоинструкцию и заканчивает. Как только они достигают целевого места, показатели результата автоматически записываются и включают успешное выполнение навигационной задачи и время, затраченное на достижение цели.

Чтобы проверить работоспособность участника в физическом месте, объясните, что ему будет дано 10 заранее определенных навигационных заданий. Под наблюдением опытного следователя. Сообщите участнику, что у него будет максимум шесть минут на выполнение каждого задания и что ему разрешено использовать свою трость для поддержки мобильности.

Будьте готовы с секундомером, списком задач навигации и буфером обмена для ручной оценки. Обведите участника в квадрат и опишите место старта и целевой пункт назначения. Хронометраж начинается сразу после того, как субъект делает свой первый шаг, и заканчивается.

Когда участник устно отчитывается о прибытии в пункт назначения, фиксируется успешное выполнение задачи и время, затраченное на достижение цели. Объясните участнику, что он выполнит пять навигационных заданий с целью выйти из здания по кратчайшему маршруту. Под наблюдением опытного исследователя сообщите участнику, что у него будет максимум шесть минут для выполнения каждого навигационного задания и что ему будет разрешено использовать свою трость для поддержки мобильности.

Пять заранее определенных начальных точек используются таким образом, что возможны три пути выхода разной длины и сложности. Будьте готовы с секундомером, списком задач навигации и буфером обмена для ручной подсчета очков. Выведите участника в квадрат и опишите место старта.

Отсчет времени начинается сразу же, когда они делают свой первый шаг, и заканчивается, когда участник устно докладывает о прибытии к выходной двери здания. Записывается успешное выполнение задачи по высадке, пройденный путь и время, затраченное на выход из здания. Кроме того, пути оцениваются таким образом, что самый короткий путь приносит больше очков, чем более длинный.

Здесь представлены средние результаты трех участников по навигационным заданиям. Процент правильных данных для задач виртуальной и физической навигации свидетельствует о высоком уровне успеха в обеих задачах. Время навигации к цели для виртуальной навигации было больше по сравнению с физической производительностью.

Задание по высадке предполагает, что участники часто выбирают кратчайший возможный маршрут для выхода из здания. Об этом свидетельствует более короткое среднее время, затрачиваемое на подъезд и выезд. Показанные здесь результаты получены от одного отдельного участника по всем трем навигационным задачам.

Во время виртуальной навигации она заняла 79 секунд. Выполнение задачи, как видно по пути, отмеченному желтым цветом, на том же пути в физическом здании заняло 46 секунд. В задаче на высадку.

Участник выбирал кратчайший путь, чтобы выйти из здания. Не забывайте, что работа с незрячими участниками с использованием новых технологий требует поощрения. Мы благодарны им за уделенное время и готовность принять участие в этой демонстрации и исследовании.