3D реальность: Увлекательная реальность — разработка AR / VR приложений

Как работает инструмент Apple ARKit, дополненная реальность в айфоне или айпаде

Своё название инструмент Apple ARKit получил в соответствии с главной функцией — предоставить набор инструментов (Kit) разработчикам приложений, чтобы те могли задействовать дополненную реальность (AR). Технология Apple ARKit включена в iOS 11 — версию операционной системы для айфонов и айпадов, которая увидела свет в 2017 году.

Что такое ARKit? Главный успех

Фактически, это готовая, унифицированная платформа для создания приложений с использованием дополненной реальности. По этой причине многие обозревали сравнили запуск ARKit с созданием каталога App Store. По масштабности эти два события действительно сопоставимы, и вот почему.

В отличие от прежних версий операционной системы, дополненная реальность в iOS 11 стала полноценным инструментом, доступным каждому разработчику. Так же как в 2008 году App Store унифицировал использование сенсорного дисплея, ARKit в 2017 году вывел на единый уровень возможности, связанные с дополненной реальностью.

Теперь разработчикам не нужно тратить уйму времени и сил, чтобы самостоятельно «учить» устройство на iOS анализировать окружающий мир и создавать AR в оперативной памяти.

Как создаётся дополненная реальность в iPhone и iPad

Вне зависимости от того планируется использовать созданное приложение для развлечения или для практических задач, инструментальные средства используются одни и те же:

• камеры устройства получают визуальное изображение;
• микрофон и некоторые другие датчики получают звук, считывают сведения о вибрациях и о других изменениях;
• процессор обрабатывает поступающую информацию и согласовывает её с командами, которые подаются из самого приложения.

Оснащённые набором инструментов AR iPhone и iPad теперь «умеют» самостоятельно обнаруживать горизонтальные и вертикальные поверхности, определять источники света и тени, различать голоса и лица и многое другое. Процессоры семейства A9 и более поздние модели в полной мере справятся с тем, чтобы задействовать поступающую информацию и создавать дополненную реальность.

Потенциал применения ARKit в приложениях и играх

Уже в 2017 году было создано несколько всевозможных демонстрационных программ, призванных раскрыть возможности нового инструментария. На сегодняшний день только основные примеры приложений включают в себя:

• свободную навигацию по картам и получение информации о мире;
• измерение расстояний и других показателей;
• трёхмерное рисование и моделирование;
• симуляторы езды, полёта, других процессов;
• развлекательные и игровые приложения, так или иначе основанные на взаимодействии с реальным миром.

Чем дальше, тем больше становится коммерческих, обучающих и игровых программ. Инструменты, созданные командой Apple, применяются разработчиками по всему миру.

Разработка 3d и VR для бизнеса «под ключ», комплексное решение Викинг

Все 3D-технологии имеют общую основу – они используют  бинокулярное зрение человека, создавая для каждого глаза отдельное изображение. Они совмещаются в единую объемную картинку в мозге после обработки данных из двух источников (принцип стереоскопии). Однако, это единственный общий момент, которые объединяет «3D-кино» и передовые инженерные программно-аппаратные комплексы для трехмерного проектирования.

Сегодня в дружную семью технологий 3D и виртуальной реальности входят, во-первых, широкий спектр программного обеспечения для создания трехмерных, «объемных» объектов на плоских отображающих поверхностях, которые воспринимаются зрением как объемные без вспомогательных средств.

Во-вторых, под 3D подразумеваются технологии получения эффекта объемного изображения с помощью специальных очков, разделяющих два видеопотока для оптимального восприятия человеком в соответствии с принципом стереоскопии (активные и пассивные системы).  В-третьих, это различные шлемы виртуальной реальности, которые используются, прежде всего, в сфере развлечений и образовании. Также, к 3D относятся различные объемные голографические отображения (музейные витрины, шоу-бизнес и т.д.), средства дополненной реальности и т.д.  

Наконец, к 3D и виртуальной реальности относятся программно-аппаратные комплексы – совокупность датчиков, отображающих поверхностей, ПО, камер и проекторов, объединенные в сложнейшие суперпроизводительные решения промышленного уровня.

Работая на рынке проекционных технологий более 25 лет, на сегодняшний день Центр проекционных технологий «Викинг» уже ввёл в эксплуатацию многие из систем, описанных выше. Являясь официальным дистрибьютором таких брендов, как Mitsubishi, Extron — лидеров в области проекционной/коммутационной техники, каждый объект не только создается на базе качественной техники, но и имеет постоянную сервисную поддержку, как со стороны «Викинга», так и представительств компаний-производителей оборудования.

Обобщая наш опыт в этой сфере, можно сказать, что 3D и виртуальная реальность охватывают в проектах «Викинга» широкую область задач, от сугубо развлекательных до более серьезных образовательных и критически важных промышленных.

Разработка приложений с виртуальной реальностью (VR), контента и 3D-моделей

Какое требуется качество 3D-моделей?

Чем выше качество 3D-моделей, тем реалистичнее будет игровой мир.

Низкополигональные модели

Стандартное качество

Высокое качество

Какое должно быть качество анимации персонажей?

Чем выше качество анимации, тем естественнее будут персонажи.

Простая анимация

Ходьба/бег, движение 
частями тела.

Полноценная анимация

Лицевая анимация + передвижение.

Сложная анимация

Сложные эмоции + нестандартное поведение персонажа

Каким должен быть уровень геймлпея?

Чем сложнее игровой мир, тем больше элементов необходимо проработать в нем.

Минимальный

Статичный игровой мир 
+ минимум окружающих звуков + простые диалоги.

Универсальный

Простейшее взаимодействие 
с игровым миром + диалоги 
+ основные звуки

Живой игровой мир

Все меняется от ваших действий + многоуровневые диалоги + полная озвучка окружения.

Нужен ли мультиплеер?

Необходим, если в приложении одновременно будут находиться 2 иболее человек.

Да, мультиплеер будет нужен

Нет, мультиплеер не нужен

Вам потребуется помощь в составлении технического задания?

Без него невозможно начать и вести работу над проектом.

Да, нужна помощь в составлении ТЗ

Нет, у меня 
есть готовое ТЗ

Виртуальная реальность — Возможности компании Lindenvalley

Соглашение на обработку персональных данных

1. Принимая условия настоящего Соглашения, пользователь даёт своё согласие ООО «Линденваллей» (далее — Компания, юридический адрес: Россия, г. Самара, Московское шоссе, 4 «А» стр.2, офис 22.5) на сбор, хранение и обработку своих персональных данных, указанных путём заполнения веб-форм на сайте lifehacker.ru и его поддоменов *.lindenvalley.ru (далее — Сайт). Под персональными данными понимается любая информация, относящаяся к прямо или косвенно определённому или определяемому физическому лицу (гражданину).

2. Пользователь также даёт своё согласие на обработку и трансграничную передачу персональных данных подрядной организации Компании для отправки маркетинговых и информационных рассылок.

3. Основанием для обработки персональных данных являются: статья 24 Конституции РФ и статья 6 Федерального закона № 152-ФЗ «О персональных данных» с дополнениями и изменениями.

4. В ходе обработки с персональными данными будут совершены следующие операции: сбор, хранение, уточнение, передача, блокирование, удаление, уничтожение — все упомянутые действия только в целях, указанных в п. 2 настоящего Соглашения.

5. Компания обязуется не передавать полученную от Пользователя информацию третьим лицам. Не считается нарушением предоставление персональных данных третьим лицам, действующим на основании договора с Компанией, для исполнения обязательств перед Пользователем и только в рамках настоящего Соглашения.

6. Персональные данные хранятся и обрабатываются до завершения всех необходимых процедур либо до ликвидации Компании.

7. Согласие может быть отозвано Пользователем или его представителем путём направления письменного заявления в Компанию по электронному адресу [email protected]. Пользователь также может отказаться от получения электронных сообщений, используя ссылку «Отписаться», расположенную в конце каждого письма.

8. Пользователь принимает политику использования файлов cookies, используемую на Сайте, и даёт согласие на получение информации об IP-адресе и иных сведений о его активности на Сайте. Данная информация не используется для установления личности Пользователя.

9. Компания при обработке персональных данных принимает необходимые и достаточные организационные и технические меры для защиты персональных данных от неправомерного доступа к ним, а также от иных неправомерных действий в отношении персональных данных.

VR – новый вид развлечений для кинотеатра

Совсем недавно в рубрике «Ликбез для кинотеатров» появился материал о киберспорте. Теперь же разберем, как можно использовать на своих площадках технологии виртуальной реальности. Материал был впервые опубликован в печатном выпуске «Киномеханика сегодня» №3 от 2018 года.

Уже давно наступил тот момент, когда кинотеатрам необходимо задуматься над поиском новых технологий, способных решить проблемы, связанные с текущей бизнес-моделью, создать вспомогательный поток доходов и предоставить посетителям кинотеатра дополнительное развлекательное предложение наряду с традиционным кинопоказом.

В последнее время кинотеатры вкладывали значительные инвестиции в улучшение качества проекции и звука, заменяли устаревшие кресла на новые удобные модели, предлагали зрителям фильмы в форматах 3D и 4D, оборудовали залы VIP-уровня или формата PLF… Но сегодня нужно двигаться в новом направлении. Помимо добавления простых физических эффектов в кинотеатры, зрителю нужен «опыт» или так называемый experience. Может ли на помощь прийти виртуальная реальность, которая стала так популярна среди геймеров в последнее время?

VR – технология, позволяющая с помощью специальных очков погрузить пользователя в виртуальную реальность, в которой он может перемещаться, взаимодействовать с предметами. Аттракционы виртуальной реальности для кинотеатров предлагают сразу несколько компаний. Как правило, VR-площадки располагаются в фойе кинотеатра и служат дополнительной игровой зоной для зрителей, скучающих в холле в ожидании сеанса. Сегодня существует несколько видов VR-аттракционов: движущиеся кресла или платформы, оснащенные VR-шлемами, а также VR-площадки, внутри которых зрители могут свободно перемещаться во время игры.

Мир

Аттракционы 4D + VR

На сегодняшний день все компании, занимающиеся выпуском кресел, оснащенных технологией движения, объявили о запуске новых продуктов – к движущимся креслам добавлена виртуальная реальность: движение кресел синхронизируется с действием, демонстрируемым на дисплее VR-шлема. Ожидается, что такое сочетание должно стать дополнительной «изюминкой» для посетителя аттракциона – виртуальная реальность становится более реальной.

Одной из компаний, которая вкладывает значительные средства в эту область, является корейская CJ 4DPLEX, разработчик 4DX-системы с эффектами движения. В 4DX VR используются специальные шлемы виртуальной реальности для погружения зрителя в 3D-визуализированную среду, дополненную физическими эффектами (движущиеся кресла), что позволяет увеличить уровень погружения в виртуальное пространство. Среди первых аттракционов виртуальной реальности, запущенных компанией CJ 4DPLEX стали 4DX VR Sports, 4DX VR Disk и 4DX VR Racing.

Симулятор 4DX VR Sports помогает получить спортивный опыт с максимальным уровнем погружения. Он разработан специально для всех возрастных групп. Компания выпускает три вида 4DX VR Sports: Bike (велосипед), Board (сноуборд) и Kayak (каяк). Площадь каждого аттракциона составляет около 1,7 м². Аттракцион 4DX VR Disk дает ощущение, что в данный момент вы на самом деле свободно передвигаетесь в пространстве. Он также может дать пользователю максимум ощущений ускорения, замедления и вращения при планировании виртуальной среды на любых VR-шлемах. Он может координироваться с любым VR-контентом, включая короткие фильмы и игры. В интерактивных гонках 4DX VR Interactive Racing одновременно могут участвовать до 4 игроков. Каждый участник мчится против часовой стрелки и «голова к голове» в реальном времени. Площадь аттракциона составляет около 1,8 м².

Еще одним ведущим разработчиком систем 4D для кинотеатров, который вышел на рынок VR, является компания MediaMation. Компания запустила новую платформу Motion VR – MX4D Pod – двухместное кресло MX4D, заключенное в капсулу оригинального дизайна. Поставщиком контента для Motion VR стал производитель игр VivePort Arcade. Система может быть развернута непосредственно в холле кинотеатра. С ее помощью зрители могут посмотреть трейлеры фильмов в 2D и 3D-форматах, а также принять участие в VR-играх. Наружные стенки капсулы можно использовать в качестве дополнительных рекламных поверхностей.

Другой известный разработчик решений 4D, компания D-BOX, сотрудничает с производителем игр LAI Games для создания аттракциона Virtual Rabbids: The Big Ride – виртуальной поездки, основанной на известном бренде Rabbids от издателя игр Ubisoft. Аттракцион состоит из двух кресел, размещенных на подвижной платформе и оборудованных VR-гарнитурой HTC Vive, а также генератором ветра. Подобная конструкция позволяет игрокам почувствовать, что они на самом деле находятся на американских горках – кресла, «несущиеся» с максимальной скоростью и звон ветра в ушах усиливают ощущение реальности. Помимо этого, D-BOX вкладывает значительные средства в свои собственные концепции для VR-пространства. Например, компания заключила партнерство с канадской киносетью Cineplex для инсталляции первой платформы D-BOX VR Cinematic Experience, рассчитанной на 10 игроков (VR-кресел).

VR-пространства со свободным перемещением игроков

Другая разновидность виртуальных пространств – это VR-площадки, внутри которых игрок может свободно перемещаться, выполняя определенное задание или проходя квест. Существует два варианта таких зон – когда передвижение игрока в пространстве ограничено небольшими размерами пространства и когда он может свободно перемещаться внутри площадки.

Компания TrioTech сотрудничает с европейским разработчиком Asterion VR, чтобы запустить свое собственное компактное решение «виртуального лабиринта» на основе игр от Ubisoft. Виртуальный лабиринт – TrioTech VR Maze – занимает площадь всего 12 м². Игроку выдается VR-шлем, заплечный рюкзак с компьютером, наушники и игровые контроллеры-джойстики. В качестве контента используются такие известные игровые франшизы как Virtual Rabbids и Assassin’s Creed.

Еще одной компанией, разрабатывающей компактные VR-зоны является A.i. Solve – создатель концепции WePlayVR. Система предусматриваем три варианта – VR-зона для одного игрока и для нескольких. На данный момент в портфеле WePlayVR имеется три игры собственной разработки: Mayan Adventure, Alien Invasion и Clock Tower. Система уже установлена в более чем 15-ти семейных развлекательных центрах, и разработчики питают большие надежды, что продуктом заинтересуются и кинотеатры.

Спецификация для VR-зоны WePlayVR, рассчитанной на одного игрока:

• Требуемое минимальное пространство 3,6 х 4,25 х 2,5 м.
• Сервер управления.
• Дисплей 32″ для наблюдения за игроком и вывода рекламной информации.
• Tuch-панель управления.
• Пол имеет встроенную систему вибрации для усиления ощущений игрока.
• Длительность интерактивных игр: от четырех до пяти минут.
• Окна для наблюдения за игроком в целях безопасности.
• Модульные внутренние стены для настройки пользовательских внутренних игровых дорожек.
• Ежегодные возобновляемые лицензии на игры, публикуемые ежеквартально в библиотеку контента WePlayVR.
• Требуется проводное подключение к Интернету и два стандартных разъема питания.
• Поставляется с 12-месячной стандартной гарантией программного и аппаратного обеспечения.
• Разработка пользовательских игр и выпуск через WePlayVR.
• Предусмотрены 4D-эффекты (ветер, тепло, туман, запахи).
• Вес платформы: 900 кг.
• Вес купола: 230 кг.
• Общая высота (с навесом) 2500 см.
• Рабочее место оператора.
• Вес заплечного рюкзака с компьютером и батареями питания составляет 3,6 кг.
• Заряда батарей хватает на 1,5 часа работы.

Игроку перед началом сеанса выдается заплечный рюкзак с компьютером, VR-шлем HTC Vive, наушники, два джойстика-контроллера. В случае многопользовательской платформы – к стандартному варианту, описанному выше, добавляются 4 кресла с эффектом движения и VR-шлемами.

Помимо компактных замкнутых VR-пространств компании предлагают и более широкие платформы с возможностью свободного перемещения.

Американская компания The VOID занимается выпуском пользовательского интерактивного опыта на основе смешанной реальности или так называемой «гиперреальности» Ghostbusters Experience. Такие игры обеспечивают невероятное ощущение присутствия и погружения. Посетители используют VR-рюкзаки в сочетании с высококачественными шлемами виртуальной реальности. Чувство присутствия усиливается экологическими эффектами, такими как тепло, ветер, холод или вибрации земли. Объекты в реальном мире размещаются в соответствии с расположением их виртуальных аналогов. Поэтому пользователь может протянуть руку и коснуться реальной среды.

На сегодняшний день The VOID работает с десятками площадок в разных частях света. В результате сотрудничества с The Walt Disney Company и ILMxLAB удалось создать 15-минутную VR-игру «Звездные войны: секреты империи» (Star Wars: Secrets Of The Empire) – впечатляющий VR-опыт, который помещает игроков в сердце битвы с Империей, рассчитанный на фанатов популярной франшизы. Концепция использует все трюки захватывающего свободного перемещения в виртуальном пространстве, а также элементы физического шоу, сочетающиеся с виртуальным опытом. В Star Wars: Secrets Of The Empire даже включена опция отслеживание рук, что сделает впечатления еще круче.

Американский стартап Nomadic VR презентовал свою концепцию модульных VR-пространств на выставке CinemaCon. Модульная система облегчает монтаж VR-центра, а также позволяет оперативно вносить изменения в игровые локации, если это требуется. VR-пространство занимает площадь 6 х 9 м (имеется вариант локации 12 х 18 м). Одновременно может играть несколько посетителей, проходящих комнаты и лабиринты VR-центра друг за другом. Обычно на выполнение всех заданий и прохождение локации у одного игрока уходит около 5 минут. Но разработчики не исключили вариант, что у некоторых людей игра может занять больше времени, поэтому двери комнаты, в которой находится следующий игрок, будут заблокированы до тех пор, пока другой участник не пройдет квест и не выйдет в другое помещение. Таким образом, разработчики стараются избежать несчастных случаев, которые могут произойти при столкновении двух игроков, не видящих друг друга. Nomadic VR, также как и The VOID, использует в своих локациях смешанную реальность. Здесь также используются такие эффекты, как ветер, тепло, вибрация, запахи. Здесь тоже можно прикоснуться к реальным объектам и даже использовать их для выполнения задания – осветить себе путь фонариком, открыть настоящую дверь или ящик комода.

Другой разработчик VR-пространств, основанных на местоположении и смешанной реальности, – Dreamscape Immersion. Стартап только что завершил разработки и собирается запустить свои первые VR-платформы. Dreamscape сотрудничает с киносетью AMC по запуску шести локаций. Компанию поддерживают 20th Century Fox и Warner Bros., которые считают применение киноконтента необходимым фактором для привлечения аудитории.

Запустила свое собственное VR-предложение и канадская корпорация IMAX. Центры виртуальной реальности IMAX VR работают в Лос-Анджелесе, Нью-Йорке, Шанхае, Торонто, большинство из них размещены в кинотеатрах. Компания сотрудничает с разработчиком игр Starbreeze и выпускает лицензионный контент на основе известных кинофильмов. Например, в портфель VR-игр IMAX, входят продукты, основой для которых послужили такие популярные франшизы, как ЛИГА СПРАВЕДЛИВОСТИ, ДЖОН УИК, МУМИЯ и т.д.

Россия

Если говорить о России, то наиболее известной VR-платформой является франчайзинговый продукт для кинотеатров от компании VRTech – виртуальное пространство с возможностью перемещения внутри него. Продукт представляет собой шлем виртуальной реальности и контроллер, который зритель держит в руках. Контроллер может иметь как вид джойстика, так и вид автомата или другого устройства, с помощью которого происходит взаимодействие зрителя с виртуальным пространством. Перемещение человека внутри VR-пространства и его взаимодействие с объектами происходит благодаря технологии захвата движения. На шлеме и контроллере имеются инфракрасные датчики, с помощью которых система обработки информации может построить скелетную анимацию и точно спозиционировать человека внутри виртуального пространства – он может не только передвигаться, но и прикасаться к объектам. Все это происходит в режиме реального времени. Помимо этого компания поставляет специализированный VR-контент. VR-пространства VRTech можно найти в кинотеатрах объединенной сети «Формула Кино» и «Синема Парк».

Другой разработчик – Hyperverse – представил одноименную платформу, сделав ставку на мобильность и разработав собственную технологию трекинга. Вместо множества камер в локации используется только одна – расположенная на игроке. Отсутствует привязка к инфраструктуре: для определения местоположения применяются визуальные маркеры, закрепленные на потолке. Поэтому такая VR-локация развертывается буквально за пару часов. Игрокам выдаются рюкзаки весом примерно 4,5 кг, где находится компьютер и комплект сменных аккумуляторов: заряда батареи хватает на игру. Используется шлем и контроллер Oculus. Ожидается, что в этом году компания внедрит в свою систему и элементы смешанной реальности: физическое взаимодействие игрока с реальными объектами и применение 4D-эффектов (запахов, ветра, дождя и т.д.).

Сегодня VR – это дух времени, и буквально каждый день на рынке виртуальной реальности появляются новые тренды и разработчики. По заявлениям аналитиков, 2018 год должен стать переломным, так как практически все производители VR-гарнитур для домашнего использования объявили о выпуске недорогих, но довольно качественных гарнитур, которые не привязаны к мощному игровому компьютеру. А это значит, что скоро подобные разработки появятся и на профессиональном рынке. И если производителям удастся запустить автономную VR-систему без тяжелого заплечного компьютера, это станет большим прорывом, и виртуальная реальность сможет опутать своими щупальцами практически все сферы нашей жизни. А пока достаточно трудно предсказать, смогут ли VR-аттракционы завоевать популярность среди посетителей кинотеатров. Но одно ясно точно – интерактивные VR-игры, основанные на киноконтенте, еще не сказали своего последнего слова в киноискусстве.

---

08.11.2018 Автор: Вера Купцова

VR перемен: как измененная реальность завоевывает реальную | Статьи

В парке развлечений «Остров мечты» появится первый в России гоночный трек, «катальная горка», с применением VR-технологии. Впрочем, слышать об очках виртуальной или дополненной реальности в индустрии развлечений, тех же компьютерных играх, довольно привычно. А вот то, что в России продали первую квартиру с использованием очков виртуальной реальности — это что-то новенькое. И уже совсем из рубрики «удивительное рядом»: специалисты протестировали VR-очки для дойных коров. О том, в каких областях и как «заигрывают» с реальностью, — читайте в материале «Известий».

Смартфону пора на пенсию?

На днях глава корпорации Qualcomm, крупного производителя мобильных чипов, Криштиану Амон предрек, что через два года мир кардинально изменится как раз благодаря технологиям виртуальной реальности (VR) и дополненной реальности (AR). Только мы привыкли к смартфонам (и то еще не все, поэтому до сих пор можно купить «ламповые» телефоны-раскладушки), как Амон предупредил: смартфоны вытеснят очки с поддержкой дополненной реальности.

Очки смешанной реальности HoloLens 2 от компании Microsoft

Фото: Microsoft

Как пишет «Российская газета», идея заключается в том, что благодаря очкам пользователь сможет и прекрасно видеть всё вокруг и в то же время на линзах перед глазами будет появляться полезная информация. Такие устройства уже есть, но достаточно громоздкие. В будущем, считает глава Qualcomm, дизайн усовершенствуется: очки станут удобными и легкими, как беспроводная гарнитура для уха. Для корректной работы устройства нужны сети 5G.

Заявление кажется фантастическим, эксперты настроены скептически. Руководитель Hi-Tech Mail.ru Дмитрий Рябинин считает, что это чистый пиар для привлечения внимания к компании, «все понимают, что смартфоны никуда не уйдут».

Принцип работы очков HoloLens 2

Фото: Microsoft

По словам президента Ассоциации дополненной и виртуальной реальности (AVRA) Екатерины Филатовой, мировые телеком-операторы уже обратили внимание на VR- и AR-технологии, поэтому они создают свои платформы и развивают 5G — иммерсивный контент существенно больше увлекает потребителя.

«Здесь несколько вариантов, — говорит в беседе с «Известиями» эксперт. — Вы можете в Facebook, Instagram, TikTok использовать маски — это дополненная реальность. Но дополненная реальность может перейти на следующий уровень: когда вы выходите на вокзале в Хельсинки, достаете телефон, включаете камеру и у вас включается навигация. Вы видите здание 1760 года постройки, вот здесь магазин, а туда идти к отелю. И это не формат карты сейчас, а формат, когда вы видите реальное здание, наводите на него и получаете информацию. Как в фильме «Черное зеркало»: надеваете очки и видите всю информацию о человеке. То есть это дополненная реальность, цифровой слой на реальные объекты. Это может быть и телефон, и очки. На разработку очков уйдет больше времени, а телефон есть уже сейчас».

Фильтры в социальной сети Snapchat

Фото: Depositphotos

Примерить кроссовки и диван

Новые технологии мотают на ус ритейл, маркетинг. Ритейл, например, с помощью AR-технологий может контролировать раскладку товара на полках: что правильно, а где поправить.

Или взаимодействие с потребителем в плане получения информации о товаре. Самое простое — просканировать QR-код на этикетке, но можно, например, наведя смартфон на коробку с LEGO, увидеть в интерактивном формате как собирать конструктор.

Еще несколько лет назад компания IKEA презентовала приложение для смартфонов и планшетов, которое позволяет разместить, то есть примерить, в своей квартире мебель. Подобное приложение есть и у Leroy Merlin, и у Hoff.

Работа приложения IKEA Place

Фото: youtube.com/IKEA

В России тоже есть мебельный агрегатор Faradise, который с помощью дополненной реальности продвигает онлайн-продажу мебели.

«Люди не покупают мебель онлайн, потому что не понимают, как она будет выглядеть у них в интерьере. Мы предположили, что дополненная реальность сможет помочь, и решили попробовать», — рассказывал как-то в интервью генеральный директор компании Анатолий Щербаков.

Фото: пресс-служба Lamoda

Сервис по онлайн-примерке кроссовок в Lamoda

Кроме того, курс на необычную примерку взяли и онлайн-магазины одежды и обуви. Так, Lamoda недавно запустила для iOS AR-примерку кроссовок. Технологию 3D-моделирования стопы для подбора обуви тестировали летом в Wildberries. Тестирует AR-технологии также Ozon.

Разобрать по кирпичикам

Банк ВТБ впервые в России провел сделку по покупке квартиры при помощи очков виртуальной реальности. Как сообщает ТАСС, клиент из Красноярска теперь счастливый обладатель жилья в Санкт-Петербурге. По словам Екатерины Филатовой, продажи квартир с помощью визуализации идут не первый месяц. Так, в прошлом году одна из компаний сделала проект визуализации элитного дома на набережной для одного из питерских застройщиков.

«Еще на этапе строительства они сделали съемку с дрона в формате 360, визуализацию квартир, — рассказывает эксперт. Всю эту картинку потенциальный клиент мог посмотреть при помощи шлема и телефона, которые ему специально доставили. — Это очень элитное жилье, основная ценность которого демонстрировалась через виртуальную реальность: как будет выглядеть балкон и что сможет увидеть каждый владелец».

Девушка рассматривает планировку квартиры в VR-очках

Фото: VRTech Group

В нашей стране подобные технологии — маркетинговый ход, фишка, но в Германии, например, говорит Екатерина Филатова, реально работающий инструмент, само собой разумеющееся.

«В офисах есть все типы визуализации. Они могут показать разницу в планировке, возможности интерьера. Можно передвигаться из комнаты в комнату, но главное — можно менять планировку и смотреть разные квартиры. В Германии уже так продают, и это естественно», — отмечает президент Ассоциации дополненной и виртуальной реальности.

Собственно в строительстве также используют VR-технологии — на этапе проектирования, чтобы исключить все риски, которые уже на этапе строительства могут выйти боком — обойтись в 2–5 раз дороже. Пройдет ли тележка в конкретный проем, соблюдены ли условия пожарной безопасности, правильно ли стоит балка — виртуальная реальность наглядно покажет.

Фото: VRTech Group

«С другой стороны, в VR могут зайти сразу несколько человек и всё это обсудить, даже если они находятся в разных частях мира», — отмечает еще один плюс Екатерина Филатова.

Инструкция по применению

В этом году Ассоциация виртуальной и дополненной реальности России и СНГ на форуме AVRA DAYS представила первое исследование о применении VR- и AR-технологий в промышленности, в котором участвовали 50 компаний. Так, по мнению экспертов, 2019 год стал переломным. 85% промышленных предприятий в России считают технологии дополненной реальности перспективнее технологий виртуальной реальности, и уже в 2020 году 68% промышленных предприятий в России планируют инвестировать именно в дополненную реальность.

«Я бы сказал, что обе технологии перспективны и будут развиваться — и не только в промышленном направлении, — приводится в исследовании мнение руководителя отдела AR/VR Инновационного Центра Schlumberger Сергея Дороничева. — VR хорош для образования, компьютерных игр и удаленного общения (VR Facebook). В то же время дополненная реальность имеет отличные перспективы стать неотъемлемой частью нашей повседневной жизни, так как данная технология не требует полного отрыва от реального мира. Вы можете получать информацию из дополненной реальности в работе, в быту или на отдыхе, ведя свой обычный образ жизни. И именно поэтому в целом решения дополненной реальности в ближайшие несколько лет будут применяться намного чаще виртуальной».

Сотрудник компании Boeing осматривает детали самолета в очках дополненной реальности Google Glass

Фото: Boeing

Что касается промышленности, то по словам Екатерины Филатовой, тот же Boeing собирает самолеты по технологии дополненной реальности: во время сборки сотрудник в AR-очках получает информацию по конкретным деталям.

«У СИБУР большое направление использования AR-устройств и в части обучения, и в части сборки. Schlumberger, например, делали сравнение: как человек собирает с бумажной инструкцией, с электронной и в очках дополненной реальности. В очках дополненной реальности на сборку ушло в четыре раза меньше времени. Качество сборки не теряется, а даже улучшается, потому что человек сразу видит нужную ему информацию».

То, что доктор прописал

Очевидно, что развитие VR и AR идет от индустрии развлечений к бизнесу, промышленности, даже к медицине. Одна из областей применения — реабилитация.

«Центр национальной технологической инициативы на базе Дальневосточного федерального университета разрабатывает решение для реабилитации больных с проблемами опорно-двигательного аппарата — например, восстановление после инсульта, — рассказывает Екатерина Филатова. — Для того чтобы быстрее восстановить организм, в виртуальной реальности они применяют костюм тактильной обратной связи. Человек в виртуальной реальности видит движения, которые не может совершить, — поднять руку, ногу, — и мозг срабатывает быстрее. За счет костюма обратной связи идут импульсы — таким образом делается шажок в сторону быстрого мышечного восстановления».

Кроме того, VR и AR могут помочь в обучении медиков — не нужно будет отстраивать огромные комплексы с тренажерами. Сфере школьного образования также интересны виртуальные наработки (чего стоит визуализация какого-нибудь химического опыта), но здесь внедрение пока стоит на паузе.

Фото: Depositphotos

«Только начало. Очень много вопросов по методологии, по самим подходам, по контенту. Министерство вроде как заинтересовано, но это очень большая ответственность», — добавляет эксперт. Работа над методологией идет.

Зато корпоративное виртуальное обучение набирает обороты. Сбербанк, «Газпром нефть», BIOCAD, ВТБ, СИБУР, по словам президента Ассоциации дополненной и виртуальной реальности, успешно используют виртуальные технологии. Таким образом можно продемонстрировать оборудование, к которому в реальности нельзя подпустить сотрудника без гипервысокой квалификации: есть возможность подойти, понажимать кнопки и рычаги, увидеть результат действий. Или оказаться на атомной электростанции, ледоколе, до которых лететь 20 часов ради пяти минут инструктажа.

«Можно построить полную цифровую копию целого завода и отрабатывать любой производственный процесс — пожарную тревогу, внутреннюю схему движения транспорта, вплоть до работы отдельных производственных линий. То же самое — с нештатными ситуациями, — цитирует издание «Деловой квартал» основателя компании-разработчика VR/AR-технологий Рафаила Валиева. — Как сотрудников учат действовать в подобном случае? Зачастую формально — прочитал брошюру по технике безопасности, распишись в журнале, что ознакомлен. Всё, обучение пройдено».

А еще с помощью VR и AR предлагается отработать психологические барьеры, улучшить коммуникацию — что называется, попробовать на своей шкуре.

Фото: Getty Images/Bloomberg

«Человеку нужно увольнять людей — это всегда неприятный момент, а в виртуальной реальности можно отработать эти моменты. Или продавцу в магазине нужно предлагать новые скидки и товары — в виртуальной реальности отрабатывают разные скрипты, как правильно общаться с покупателями, особенно если возникла напряженная ситуация, — говорит Екатерина Филатова. — В Сбербанке делали проект для операционистов: каким образом нужно общаться с пенсионерами. Чтобы операционист видел мир глазами пенсионера и понимал, почему бабушке нужно всё спокойно повторить 85 раз».

Цифровизация и еще раз цифровизация

Понятно, что детализация картинки требует серьезных затрат. И это одна из причин, почему технологии виртуальной и дополненной реальности пока не перешли из ранга «удивительного» в статус «привычного». Клиенты обжигаются.

«Иногда случаются провальные проекты, из-за которых участники не хотят возвращаться. «Мы всё это видели, у нас ничего не получилось, будем на другое смотреть». Нет понимания качества технологии. Применение технологии ради хайпа приводит к тому, что бизнес-результат не всегда качественный, — объясняет Екатерина Филатова. — Берется более дешевая команда, у которой нет нужной компетенции — отсюда и качество хуже. Сами маркетологи не стараются глубоко погрузиться в технологию, поэтому не понимают, каким образом оценивать качество подрядчика. Или при обращении в компанию отрасли им говорят, что проект стоит миллион. Отвечают: «А у нас только 200 тыс., но хотим так же». Им и находят того, кто сделает за 200 тыс., но по факту это и проект на 200 тыс., а никак не на миллион».

Фото: Global Look Press/dpa/Rolf Vennenbernd

В промышленности тоже не всегда адекватно оценивают подобные проекты, к тому же создание инфраструктуры для внедрения технологий также требует высоких затрат.

«Виртуальная и дополненная реальности — это следующий этап цифровизации. Если у предприятия нет первого этапа цифровизации, они, например, до сих пор не внедрили электронный документооборот, то для них VR — это слишком большой скачок. Плюс только сейчас промышленные предприятия начинают делиться своим опытом и результатами. И это пока единичные случаи», — замечает эксперт.

Кстати, в сравнении с остальными странами наши разработки не идут в рассинхрон с мировыми трендами. Даже китайцы хвалят наших специалистов. Так что идем, пусть и не быстро, в виртуальную реальность и дополняем существующую. Потенциал есть. Как показало то же исследование AVRА, 58% предприятий в России имеют свои центры инноваций.

ЧИТАЙТЕ ТАКЖЕ

разница между 3D и виртуальной реальностью / Блог компании КРОК / Хабр

Обучение машинистов у китайского производителя «Сапсанов». Они взяли головной вагон с кабиной машиниста, скопировали все приборы и добавили «вид в окна» с помощью 3D-экранов.

Я занимаюсь технологиями виртуальной реальности для инженеров и для обучения персонала. Это такие системы, где вы лично можете походить по нефтяной платформе или АЭС, отработать меры в случае аварии на практике и своими трудовыми руками в перчатках закрутить Самый Главный Вентиль.

Так вот, заказчики регулярно путают терминологию и технологии, в чём им очень помогают, скажем так, не совсем профессиональные игроки рынка. Я бы хотел внести ясность и ещё раз разложить по полочкам, что есть что. Сразу скажу, что после первой пробы иммерсионной системы все вопросы отпадают, но здесь я даже примерно не смогу передать ощущения, поэтому буду писать слова.

Миф 1: 3D-картинки — это не виртуальная реальность

Обычные 3D-картинки на компьютере — это далеко не виртуальная реальность. Да, там есть модели, рендер и все дела, но вопрос в том, как это воспринимается. Обучение в такой системе сотрудника АЭС не сильно далеко уходит по скорости и полезности от обучения по плакатам. Дело, опять же, в том, что нет эффекта погружения, ради которого и городят весь лес с ВР.

На объектах повышенной ответственности предполагается, что в рамках отработки чрезвычайных ситуаций на тренажёре вы получаете более-менее точное представление не логикой, а «на шкуре» в целом. Знаете, это как у пилотов самолётов — сначала переход с компьютерного тренажёра на тренажёр с реалистичными органами управления и моделированием наклонов резко расстраивает все навыки. Вроде, хорошо летал по картинкам, а тут как будто в первый раз. И во второй раз похожий скачок происходит при переходе от моделирующего тренажёра к настоящему воздушному судну.

Научиться по картинкам можно, но это в разы сложнее и дольше, плюс не даёт необходимого эффекта. Почему? Потому что вы не будете погружены в происходящее. Когда я бежал вместе со всеми с нефтяной платформы, где произошёл взрыв, я запоминал зрительно дорогу, крутил вентили руками, совершенно точно знал своё положение в пространстве и габариты разных вещей, чётко видел всё в объёме. А в 3D на экране даже нет возможности оценить расстояние до чего-то глазами, не говоря уж о других вещах. А это в симуляции часто очень и очень важно. В МЭИ, например, студенты засовывают голову в «работающую» по САПР-модели турбину и всё сами собирают-разбирают.

По презентации с такими картинками, конечно, можно догадаться, как устроен двигатель поезда. Но ощущения в сравнении с тем, что вы бы видели его реально в натуральную величину и разбирали бы сами руками, как небо и земля. Студенты МИИТ РЖД работают вот с такими моделями и играют в «симулятор техника от первого лица» почти каждый день.

Из нашего дата-центра

3D-фильм — это не ВР

«Ок, — говорят заказчики, понимающие этот момент. — Давайте сделаем 3D-фильм. Мы видели 3D-фильмы в кинотеатрах, очень впечатляет. Надо делать инструктаж по эвакуации или мерам при аварии таким же. Получится круто, мы даже сами посмотрим».

Проблема в том, что фильм и управляемая реальность — это две разные вещи. Например, во втором случае есть сценарии, которые могут срабатывать с различной вероятностью, или тренер может вызывать различные развития событий. В иммерсионной системе ВР вы лично делаете всё то, что нужно для, например, эвакуации. Бежите в нужную сторону, работаете с нужными приборами и инструментами, в конце концов получаете мгновенную обратную связь при совершении ошибок. Это как игра, которую хочется пройти, но в которой при этом есть свобода действий. Естественно, игры обучают куда лучше, чем фильмы.

Тесты наших западных коллег показали, что по фильму последовательность действий запоминается очень слабо.

Фильм — это круто, но для настоящего обучения нужны системы, где человек делает всё сам. Я не знаю ни одного пилота, научившегося летать по сериалам.

Стереосистема плюс мышь и клавиатура — это ещё не ВР

Третья проблема в том, что в момент понимания того, зачем же всё-таки нужна виртуальная реальность, заказчик решает остановиться на стереосистеме с обычными органами управления. Например, мышкой и клавиатурой. Ощущения, конечно, уже лучше. По опыту скажу, что, например, наша 3D-модель дата-центра очень хороша для того, чтобы бегать по ней в Counter-Strike. Мы, конечно, стали ориентироваться во всех его закутках с закрытыми глазами, но это всё ещё мало помогает во время отработки действий при потенциальных ЧС. Потому что нужно идти ногами в дата-центр и собственными руками уже на месте исправлять ситуацию.

Клавиатура и мышка — это барьер, который мешает перейти от режима симуляции к режиму, когда вы, выпрямившись во весь рост, натурально ходите по объекту и запоминаете все действия кинестетически, а не визуально. То есть переход от визуальной памяти к механической, моторике, если угодно. А последнее — именно то, что нужно для такого обучения при ЧС. Чего нет в моторике, то будет сразу позабыто при первых звуках сирены. Или неправильно сделано. Или не вовремя. Или человек будет мучительно раздумывать перед каждым шагом, переводя логический опыт в практические движения.

Сидение за компьютером и тыркание мышкой не даёт полного впечатления. Когда ты в виртуальной среде бегаешь по нефтяному объекту и у тебя происходит что-то — слышен звук, можно ощупать клапан. Вместо механической памяти (что куда кликать) появляется память о том, что и как делать, на каком расстоянии в реальном масштабе какой объект от другого расположен.

Мировая практика показала, что отработка сценариев в среде виртуальной реальности — один из лучших способов передать критические знания от старшего поколения к молодому. Старый опытный ядерщик заходит с молодым на объект и показывает, что есть что. А потом запускает сценарий одной из аварий и смотрит, что как, комментирует. И надо сказать, что молодые особенно хорошо «спасаются». Обучение проходит быстро, и процесс передачи знания становится более веселым и действенным.

Оккулус и подобные системы — это не промышленные решения

«Ок, — говорит заказчик. — Понятно, походил я по вашему кубу, открутил какую-то фиговину из турбины, положил в карман. Но когда выходил из виртуальной реальности, фиговина что-то пропала. Всё понятно. Давайте делать у нас, только на шлемах ВР — я тут в торговом центре недавно такой надевал. Самое то».

Проблема в том, что шлемы виртуальной реальности — это такая штука, от которой минут через 10–15 вас начнёт нереально тошнить. Плюс даже в самых современных шлемах пока видны большие красивые пиксели, не дающие нормально сфокусировать зрение на чём нужно.
И ещё одно. В узком углу обзора мозжечок чувствует, что что-то не так. Это как в автомобиле играть на телефоне в «Кармагеддон»: вроде движение автомобиля в реальности и управление вашей машиной в игре не связаны, а нет, моторные навыки страдают. И долго вы нормально играть не сможете.

Шлемы хороши для потребительского сегмента. Но если вы гоняете многочасовое обучение (а элементарная эвакуация отрабатывается 6 часов до полного автоматизма), люди просто сойдут с ума. Готовьте бумажные пакетики.

Вот типовые плюсы-минусы комнат виртуальной реальности и шлемов (Head mounted displays):

• Комнаты дороже, шлемы существенно дешевле.
• Для комнат нужно специальное помещение, для шлемов — нет.
• Комнату тяжелее перевозить с места на место, шлем — легче.
• Шлемы дают низкое разрешение, комнаты — высокое.
• В комнатах есть совместная работа над объектом (обучаемый и наставник в одном физическом помещении и наставник может чуть ли не вести за руку ученика). В шлемах такого нет.
• В комнатах есть возможность свободно перемещаться, что резко увеличивает полезную механическую память. В шлемах — только крутить головой.
• В комнатах моделируется открытая среда, в шлемах — всегда туннель зрения.
• Комнаты снабжаются точными датчиками положения объектов внутри, шлемы чаще всего полагаются на акселерометры с высокими погрешностями. Отсюда — разница в интерактивности и точности действий.
• Шлемы дают ощущение головокружения и замкнутого пространства, комнаты — нет.
• Текущие шлемы сильно ограничены по функциональности и производительности, узкое место комнат — контроллер (ноутбук или кластер), что позволяет использовать их годами под разные проекты.
• Комнаты занимают существенно больше места при хранении, шлемы легко убираются на склад.

Что такое виртуальная реальность

ВР — это слаженно работающий набор систем контента, проектора, очков, синхронизатора для мерцания очков и контроллера (мощного компьютера или кластера). Правильно собранная система ВР позволяет получить на объектах повышенной ответственности главное — научить персонал мгновенно принимать решения в случае чрезвычайной ситуации. На ряде промышленных объектов разница в 3–5 секунд может оказаться решающей и стоить даже не пару миллионов долларов (стоимость оборудования), а десятки человеческих жизней. Вот почему всё то, что позволяет максимально точно перенести опыт аварийной ситуации, заслуживает внимания.

Разумеется, если есть возможность отрабатывать «в натуре» ЧС, этим надо пользоваться. Но единственный известный мне крупный стенд такого рода — это копия МКС (ранее была копия МИРа), на которой будущие экипажи проходят обучение. И если где-то будет разгерметизация, дышать парни тоже не смогут — такого ВР пока не умеет. Но, разумеется, где нельзя взять и скопировать для обучающих целей АЭС, нефтяную платформу, любой промышленный объект (например, цех по строительство самолетов или крейсеров, горное производство или ещё что-то), используется техника ВР как наиболее близкая. Плюс «физические» тренажёры по отдельным узлам.

Что такое VR? Устройства и приложения, которые превращают реальный мир в виртуальный

Что такое виртуальная реальность (VR)?

Виртуальная реальность (VR) — это термин, используемый для описания трехмерной компьютерной среды, которая заменяет обычную реальность, в которой разыгрывается наша повседневная жизнь.

Среда виртуальной реальности часто описывается как «иммерсивная», потому что она задействует зрение пользователя, а в некоторых случаях и прикосновение, чтобы создать, казалось бы, трехмерный смоделированный мир, с которым можно взаимодействовать или исследовать.

Многие люди уже знакомы с играми виртуальной реальности, и виртуальная реальность приобретает все большее значение для обучения и образования в таких областях, как медицина, инженерия и наука. Некоторые ведущие мировые технологические компании, в том числе Microsoft, Sony, Google, Facebook, Apple и Samsung, вкладывают огромные средства в разработку оборудования и приложений виртуальной реальности.

Как работает виртуальная реальность?

В простейших формах виртуальная реальность воспринимается как трехмерная графика, изображения или 360-градусное видео на компьютерах или смартфонах, на которых запущены мобильные приложения.Более сложные системы VR используют охватывающие компьютерные дисплеи или даже целые комнаты с дисплеями с высоким разрешением, встроенными в стены.

Связанные

Все чаще среды виртуальной реальности воспринимаются через гарнитуры или очки виртуальной реальности. Это могут быть специальные гарнитуры, такие как система Oculus VR и HTC Vive. Кроме того, адаптер для гарнитуры и мобильное приложение могут превратить смартфон в 3D-дисплей, например систему Samsung Gear VR.

VR-гарнитуры отслеживают движения вашей головы и регулируют то, что вы видите, в зависимости от того, куда вы смотрите, поэтому виртуальный мир кажется существующим во всех направлениях.Многие системы VR позволяют управлять этой виртуальной средой с помощью ручных контроллеров или перчаток, включая так называемые «тактильные» модели, которые вибрируют, обеспечивая своего рода виртуальное прикосновение.

Что я могу делать с виртуальной реальностью?

Хотя научные и промышленные приложения находятся на подъеме, основные приложения VR сегодня — это игры и развлечения в виртуальной реальности. Вот несколько вещей, которые вы можете делать с VR:

• Развлекайтесь в 3D. В последние годы наблюдается бум игр в виртуальной реальности, отчасти потому, что гарнитуры виртуальной реальности стали более доступными.Многие многопользовательские игры, такие как War Thunder от Gaijin, теперь работают с оборудованием виртуальной реальности, которое помещает игроков в игровой мир.
• Оглянитесь в прошлое. Мобильные приложения, такие как Lithodomos VR, позволяют посещать древние места, такие как Акрополь в Афинах или Стена Плача в Иерусалиме.
• Погрузитесь глубоко. Технологии виртуальной реальности, такие как 360-градусное видео и подробные 3D-модели, позволяют наземным обитателям погружаться под воду, чтобы посетить знаменитые кораблекрушения.

Какое оборудование мне нужно?

В системах VR для смартфонов используется адаптер для гарнитуры, который может стоить от нескольких долларов до примерно 80 долларов для высокопроизводительных версий, таких как Google Daydream VR.(Конечно, вам понадобится смартфон с высоким разрешением, способный запускать мобильные приложения VR.) Гарнитура Samsung Gear VR стоит около 100 долларов плюс стоимость смартфона Samsung с поддержкой VR.

Выделенные гарнитуры VR стоят примерно от 400 долларов за Oculus Rift или гарнитуры Sony Playstation VR до примерно 600 долларов за HTC Vive.

С помощью специализированных камер виртуальной реальности, таких как GoPro Odyssey, можно создавать свои собственные трехмерные среды виртуальной реальности и 360-градусное видео. Но необходимое оборудование стоит около 15000 долларов и недешево.

Помимо VR, многие компании сейчас работают над разработкой технологии так называемой дополненной или смешанной реальности, которая сочетает в себе вид реального мира с компьютерной графикой. Наиболее известные примеры устройств дополненной реальности — это носимые прозрачные дисплеи, обычно называемые умными очками.

ПОДПИСАТЬСЯ НА NBC NEWS MACH В TWITTER, FACEBOOK И INSTAGRAM.

Описание поведения двукрылых при поиске на большие расстояния с использованием сложных трехмерных виртуальных сред

Значение

Летающие насекомые — это самый разнообразный таксономический класс Земли.Они демонстрируют замечательные способности обнаруживать ресурсы во время полета в сложных трехмерных средах. Однако мы до сих пор не поняли, как летающие насекомые интегрируют несколько стимулов и извлекают глубину для обнаружения далеких целей. Здесь мы оценили поведение привязанных мух при поиске на большие расстояния с помощью виртуальной реальности. Сначала мы покажем, что насекомые разных видов могут перемещаться к виртуальным трехмерным объектам. Затем мы показываем, что мухи могут использовать перспективу и параллакс движения, чтобы различать размер и расстояние на сложном фоне, и могут использовать направленный воздушный поток и запах для навигации к удаленным целям.Эти результаты обеспечивают основу для разъяснения процессов поиска для борьбы с вредителями, опыления и распространения, а также их применения в робототехнике и алгоритмах поиска.

Abstract

Образцовые поисковые способности летающих насекомых сделали их одним из самых разнообразных таксонов на Земле. Однако нам все еще не хватает фундаментальной способности количественно оценивать, представлять и прогнозировать траектории в естественных контекстах, чтобы понять поиск и его приложения. Например, летающие насекомые эволюционировали в сложных мультимодальных трехмерных (3D) средах, но мы еще не понимаем, какие особенности природного мира используются для определения местоположения удаленных объектов.Здесь мы независимо и динамически манипулируем трехмерными объектами, полями воздушного потока и шлейфами запаха в виртуальной реальности в больших пространственных и временных масштабах. Мы демонстрируем, что мухи используют такие функции, как сегментация переднего плана, перспектива, параллакс движения и интеграция нескольких модальностей для навигации к объектам в сложном трехмерном ландшафте во время полета. Сначала мы покажем, что привязанные летающие насекомые разных видов перемещаются к виртуальным трехмерным объектам. Затем, используя яблочную муху Rhagoletis pomonella , мы измеряем их реактивное расстояние до объектов и показываем, что эти мухи используют перспективу и локальные сигналы параллакса, чтобы различать виртуальные объекты разных размеров и расстояний и перемещаться к ним.Мы также показываем, что яблочные мухи могут ориентироваться в отсутствие оптического потока, используя только сигналы направленного воздушного потока, и требуют одновременного поступления запаха и направленного воздушного потока, чтобы шлейф следовал за летучей смесью хозяина. Выяснение этих особенностей открывает возможность для количественной оценки параметров, лежащих в основе поведения насекомых, таких как реактивное пространство, оптимальная добыча пищи и распространение, а также для разработки стратегий борьбы с вредителями, опыления, робототехники и поисковых алгоритмов.

Поиск на большом расстоянии необходим почти для всех аспектов поведения животных, от поиска партнеров и еды до расселения популяции (1⇓⇓⇓ – 5).Расшифровка поискового поведения важна для понимания сенсомоторной трансляции в нервной системе и ее роли в выживании организма. Перевод процесса поиска полезен для создания эффективных алгоритмов для искусственного интеллекта, робототехники и протоколов поиска в Интернете, среди прочего (6, 7). Поиск включает в себя распознавание сигналов окружающей среды, идентификацию соответствующих объектов и последующую активную трансляцию организма к определенному ресурсу или местоположению (1, 3).Эти условия требуют непрерывной и динамической оценки пространства стимулов с последующими действиями для точного обнаружения удаленных целей. Как следствие, понимание ближайших механизмов поискового поведения требует не только оценки начальных и конечных условий поиска, но и количественного измерения контекста стимула и поведенческой реакции во всех точках поисковой траектории (3, 5).

Летающие насекомые играют неотъемлемую роль в человеческих и экологических экосистемах в качестве вредителей, переносчиков, опылителей и круговоротов питательных веществ.Хотя очевидно, что каждый из этих сценариев требует, чтобы насекомые находили интересующие объекты, неясно, какие особенности природного мира используются для этой цели. Здесь мы определяем поведение на больших расстояниях (1, 3, 4) как обнаружение объектов на расстояниях, превышающих размер тела на три порядка (например,> 10 м для насекомого длиной 1 см). В этих масштабах большинство насекомых не могут визуально распознавать многие представляющие интерес признаки, такие как фрукты, цветы, листья или аналог, что требует мультимодальной интеграции для локализации интересующего объекта.Поэтому насекомым было предложено использовать оптомоторную анемотаксис на больших расстояниях (см. Приложение SI, приложение , таблица S1, где приведен глоссарий ключевых слов) в полете путем интеграции визуальных сигналов с широким полем поля, направления ветра для противотока и обонятельных сигналов от прекрасного. чешуйчатая структура шлейфов запаха (3, 8, 9). Известно, что насекомые используют широкополосные сигналы, такие как горизонт, скольжение, перемещение от земли и вращение неба, для поддержания стабильного полета (3, 10–13). Было показано, что насекомые используют сигналы малого поля, такие как перспектива и параллакс движения, для определения местоположения объектов во время ходьбы (14, 15) и измерения пройденного расстояния в полете (16, 17).Однако мы не знаем, используют ли насекомые эти функции для быстрого распознавания, локализации и навигации к объектам в сложном трехмерном (3D) ландшафте во время полета. Например, хотя это трудно достичь в стохастических реальных средах, возможно, что насекомые могут использовать форму сопоставления изображений (18) с двумерным (2D) образцом и идентичностью запаха соответствующих объектов во время поиска на дальнем расстоянии без с использованием трехмерных функций или характеристик шлейфа запаха.

Деконструкция поведения мультимодального поиска, таким образом, требует точного измерения реакции летающего насекомого на объекты в соответствующих экологических контекстах, которые обеспечивают динамический трехмерный визуальный пейзаж, ветровые ландшафты и поток запахов в больших пространственных и временных масштабах.Обнаружение и реакция летающих насекомых на объекты и мультимодальные сигналы в естественном мире хорошо изучены в системах опылителей, хотя и в относительно коротких пространственных масштабах (<2 м) (19⇓ – 21). Однако из-за их небольшого размера, относительно высокой скорости полета и больших масштабов рассеивания количественная оценка того, где и когда летающие насекомые обнаруживают объекты и реагируют на них в более крупных масштабах, необходимых для поведения на больших расстояниях, относительно неизвестна (3, 5). По сути, мы можем отслеживать насекомое или природный стимул, но не то и другое одновременно.По этим причинам такие наблюдения были ограничены ограниченными территориями (∼10 м ² ) (22) и неэкологическими (10, 23, 24) или одномодальными (25, 26) условиями, которые не могут воспроизвести процесс поиска в целом.

Технология виртуальной реальности (VR) дает возможность точно контролировать доставку стимулов и модулировать поведенческий выход. Используя минимальные стимулы, такие как движущиеся полосы, пятна и бинарные импульсы запаха, VR-арены позволили нам понять механизмы сенсомоторной связи и интеграции в нервной системе (10, 23–26).Однако эти арены не могут быть использованы для оценки поведения при поиске на большие расстояния, и до настоящего времени они не применялись для решения экологических вопросов (10, 23–26). Например, вертикальные полосы, обычно используемые 2D-стимулы в большинстве VR, не могут использоваться для оценки сигналов глубины, таких как перспектива и параллакс движения (11, 23, 27–31). На существующих аренах также отсутствует возможность одновременного представления динамических визуальных сцен, содержащих трехмерные объекты, в присутствии полей воздушного потока и потока запахов (10, 23⇓⇓ – 26) в больших масштабах, критически важных для мультимодального поиска, демонстрируемого летающими насекомыми в природе (3 , 8, 18, 32).

Здесь мы оценили критические параметры дальнего поиска, включая реактивное расстояние, перспективу, параллакс движения, анемотаксис и слежение за шлейфом с использованием арены мультимодальной виртуальной реальности (MultiMoVR). Текущие технологические ограничения ограничивают возможность создания произвольных цветовых спектров, аналоговых запахов и ветра, а также одновременную всестороннюю биомеханическую обратную связь, присутствующую в реальном мире. Чтобы учесть эти смешанные переменные, мы представляем динамическую и контролируемую обратную связь стимулов привязанным животным с использованием стимулов виртуальной реальности в сравнении с наблюдаемым поведением при поиске в реальном мире, чтобы оценить эффективность нашей техники.Для этого требовалась модельная система, экология и мультимодальные предпочтения которой были хорошо изучены и стереотипны для конкретных объектов. Поэтому мы выбрали яблочную муху Rhagoletis pomonella в качестве нашей модельной системы. R. pomonella — особые насекомые, у которых взрослые особи обоих полов используют определенные визуальные сигналы и запахи спелых плодов в кроне дерева для определения мест для спаривания и откладки яиц (22, 33). Эти мультимодальные сигналы хорошо задокументированы (22, 33), как и этограмматическое описание ориентационного поведения мух в полевых условиях (1, 22).С этой целью мы предоставили фотореалистичные сцены и точные в перспективе стимулы трехмерных моделей деревьев, а также текстуры травы и неба в ландшафте размером 1025 × 1025 м, включая направленный воздушный поток и запах. Этот пейзаж был представлен в периодическом граничном условии, так что когда животное приближается к концу виртуального ландшафта, оно плавно помещается на противоположной стороне, поэтому животное может перемещаться бесконечно в любом направлении. Используя эту арену, мы показываем, что несколько видов двукрылых, включая североамериканского вредителя ( R.pomonella ), тропический переносчик ( Aedes aegypti ), азиатские виды ( Pselliophora laeta ) и космополитический опылитель ( Eristalis tenax ) могут перемещаться к виртуальным трехмерным объектам в сложной среде с помощью этой системы. Затем мы измеряем реактивное расстояние (19⇓ – 21) R. pomonella до объектов во время дальнего поиска. Мы также показываем, что R. pomonella использует параллакс движения и перспективу, чтобы различать виртуальные объекты различных размеров и расстояний в сложной трехмерной среде, реагировать на направленный воздушный поток на основе скорости и ориентироваться на направленный поток запаха в виртуальной реальности.Наконец, мы обсудим, как это свидетельство открывает возможности для исследования различных биологических и технологических приложений.

Результаты

Локализация виртуальных экологически значимых объектов в сложной среде.

Мы построили систему VR по модульному принципу, чтобы учесть различные виды и стимулы (Рис. 1 A и B ; см. SI Приложение , методы , Рис. S1 A — D и таблицы S1 и S2, фильм S1 и исх.34 для описания системы, калибровки, программного обеспечения, ведомости материалов и файлов автоматизированного проектирования [CAD]). Для животных, перемещающихся в жидкостях, таких как воздух, взаимосвязь между биомеханикой и трансляцией недетерминирована из-за стохастичности и природы гидродинамики. Таким образом, из практических соображений предыдущие исследования VR с летающими насекомыми (10, 11, 23, 24) произвольно выбрали конкретное усиление по своему выбору. Однако значения усиления устанавливают ограничения на способность животного поворачиваться, компенсировать и переводить в ответ на стимулы (12), что приводит к пере- или недооценке предполагаемого направления животного в пространстве.Чтобы предоставить объективный метод измерения усиления для привязанных летающих насекомых на нашей арене, мы измерили диапазон усиления, в котором стабильность (среднее значение ошибки ответа, измеренное как наложение — наложение отклика) и маневренность (SD ошибки отклика) виртуального курса насекомого. с внешне навязанными поворотами на нашей арене были сопоставимы. Мы определили оптимальный прирост как область, где отношения этих значений были близки к 1. Для R. pomonella (яблоня муха) эта область составляла около 36 градусов ¹ ⋅s ^{— 1} ( я.е., мир перемещался на 36 ° на каждый градус разницы амплитуд взмахов крыльев в течение 1 с) (Рис. 1 C и SI Приложение , Рис. S1 C ). Для A. aegypti (комаров желтой лихорадки) эта область была около 75 градусов ^-1 мкс ^-1 ( SI Приложение , рис. S1 E ). Для самцов P. laeta (журавлиная муха) оно составляло около 40 град. ^-1 мкс ^-1 ( SI Приложение , рис. S1 F ). Однако самки журавлей практически не реагировали на стабилизацию ( SI Приложение , рис.S1 G ). Аналогичным образом, Daphnis nerii (олеандровый бражник) также не показал стабилизационной реакции ( SI Приложение , рис. S1 H ). Вероятно, это связано с более низкими частотами взмахов крыльев самок журавлей (50 Гц для самок и 80 Гц для самцов журавлей) и ястребов (36 Гц для самцов и самок).

Рис. 1.

MultiMoVR arena. ( A ) Арена MultiMoVR представляет собой арену призматической формы шириной 32 см и высотой 60 см, состоящую из трех мониторов с переключением в плоскости (IPS) с частотой 165 Гц.Привязанное насекомое окружено капиллярами, которые обеспечивают направленный ветер и запах. Фотореалистичная сцена, основанная на реальных пейзажах, обернута вокруг трех мониторов. ( B ) Конструкция системы доставки ветра и запаха с замкнутым контуром с револьвером, контролирующим направление ветра и запахом, управляемым с помощью клапана 3/2. ( C ) Ошибка определяется как разница между внешним воздействием и реакцией насекомого (здесь R. pomonella ). Стабильность определяется как среднее значение ошибки, а маневренность определяется как SD ошибки; 95% ДИ обозначен заштрихованными участками вокруг линий.

Используя вышеупомянутое вычисленное усиление, мы сначала охарактеризовали поведение яблони в присутствии виртуальных древовидных объектов (Рис. 2 A и B и Movie S2). В мире, где есть только трава и небо, мухи не выбирают для перемещения в каком-либо конкретном виртуальном направлении, что указывает на то, что они не локализовали и не перемещались ни к одному аспекту пейзажа, например к облаку или участку травы (рис. 2 ). A ; n = 11 мух, n = 103 испытания, продолжительность испытания 15 с, средний угол теста Рэлея −17.83 °, R = 0,062, z = 1,809, P = 0,634). Это также указывает на то, что статические элементы в поле зрения насекомого, такие как лицевые панели, капилляры и камера, не вызывали фиксации взгляда, о чем свидетельствует отсутствие какого-либо определенного направления в этом ландшафте и как наблюдалось в предыдущих VR (10, 23⇓). № – 26). Однако, когда было предоставлено дерево, мухи фиксировались на дереве и приближались к нему и демонстрировали стереотипные реакции уклонения / приземления от объектов с быстрыми саккадами (быстрые повороты тела в кроне дерева) и разгибанием передних ног, когда они находились в пределах <10 см от элементов в кроне (35 , 36) (рис.2 B , SI Приложение , Рис. S2 B и Movie S2; n = 11 мух, n = 103 испытания, продолжительность испытания 15 с, средний угол теста Рэлея 42,54 °, R = 0,306, z = 1,809, P = 4,69e-07). Это указывает на то, что летающие насекомые могут различать виртуальные трехмерные объекты из окружающего визуального ландшафта, перемещаться по ним и реагировать на них. В мире с двумя идентичными деревьями мухи ориентировались и приближались к обоим деревьям одинаково, как описано ранее для поведения поля (22) ( SI Приложение , рис.S2 C ; n = 11 мух, n = 103 испытания, продолжительность испытания 15 с, средний угол теста Рэлея 4,692 °, R = 0,22, z = 1,809, P = 0,634).

Рис. 2.

Реакция привязанных насекомых на виртуальные объекты разных размеров и расстояний. ( A и B ) Виртуальные траектории R. pomonella (яблочная муха) в миры без дерева ( A ) и дерево справа ( B ) на виртуальном расстоянии 3 м. ( n = 11 мух, n = 103 испытания).( C ) Виртуальные траектории P. laeta (полет журавля) к дереву справа на виртуальном расстоянии 4 м ( n = 6 мух, n = 15 попыток). ( D ) Виртуальные траектории A. aegypti (комара желтой лихорадки) до дерева справа на виртуальном расстоянии 3 м ( n = 6 мух, n = 13 попыток). ( E ) Виртуальные траектории E. tenax (журчание) до цветка высотой 1 м справа на виртуальном расстоянии 1 м ( n = 2 мухи, n = 6 попыток) .На всех полярных графиках представлены соответствующие средние углы для каждой траектории, при этом черная линия показывает общее среднее значение. ( F ) Графики траекторий яблоневой мухи на фоне деревьев, размещенных на расстоянии 3, 6, 12 и 24 м от исходного положения ( n = 20 мух, n = 129 попыток). Графики скрипки указывают углы по отношению к дереву на разных расстояниях. ( G ) Гексабинированные графики траекторий яблочной мухи на фоне больших далеких деревьев и маленьких соседних деревьев, которые имеют одинаковые углы обзора в исходной позиции ( n = 9 мух, n = 96 попыток).** P <0,01, *** P <0,001. Тест Рэлея для B и C и биномиальный тест для D . Красные кружки указывают исходное положение.

Наряду с вредителями (яблочной мухой) мы также измерили локализацию виртуальных древовидных объектов у журавлей ( P. laeta ; Рис. 2 C и SI Приложение , Рис. S2 D — F ; n = 6 мух, n = 15 испытаний, продолжительность испытания 15 с, средний угол теста Рэлея −25.56 °, R = 0,445, z = 1,666, P = 1,00e-05; Movie S3) и переносчика болезни (самец комара, A. aegypti ; Рис.2 D и SI Приложение , Рис. S2 G — I ; n = 6 мух, n = 13 испытаний, продолжительность испытания 15 с, средний угол теста Рэлея -24,19 °, R = 0,390, z = 2,400, P = 0,005; Movie S3). Мы также использовали виртуальные цветы для опылителя (журчание, E.tenax ; Рис. 2 E и SI Приложение , Рис. S2 J — L ; n = 2 мухи, n = 6 испытаний, продолжительность испытания 30 с, средний угол теста Рэлея -16,35 °, R = 0,488, z = 1,429, P = 0,007; Фильм S3). Мы показываем, что все четыре вида могут различать виртуальные трехмерные объекты на окружающем фоне, ориентироваться в них и реагировать на них. Кроме того, журчалки обладают одноименной способностью парить над объектами непосредственно перед приземлением.Чтобы наблюдать за поведением поиска в последние моменты перед приземлением, мы замкнули цикл для определения курса и скорости полета журчалок. Мы использовали сумму амплитуд биений крыльев, масштабированную соответствующим образом в замкнутом контуре ( SI Приложение , методы , эксперименты с журчанием), чтобы контролировать виртуальную скорость полета, и предварительные результаты показывают возможность виртуального зависания на нашей арене (последние 20 секунд фильма S3). Наши эксперименты показывают, что несколько видов насекомых могут искать и перемещаться к трехмерным виртуальным объектам в сложном ландшафте с землей и небом в больших пространственных масштабах.

Определение реактивного расстояния с помощью перспективных ориентиров.

При предварительном анализе небольшие различия в освещении, угле виртуального солнца или перспективе могут вызвать изменения в предпочтениях объекта, указывая на то, что трехмерная природа объекта может иметь значение. Например, когда два идентичных, но асимметричных трехмерных объекта расположены на равном расстоянии от наблюдателя в пространстве, объекты будут казаться разными с точки зрения наблюдателя ( SI Приложение , рис. S2 A ).Это явление принципиально уникально для 3D-геометрии, и его невозможно воссоздать с идентичными 2D-объектами или даже 3D-объектами, которые являются симметричными, такими как цилиндры и сферы. Чтобы учесть это и избежать бокового смещения, все объекты были зеркально отражены по вертикали, чтобы оба дерева представляли насекомому с одной и той же исходной точки зрения. Это требование предполагало, что перспектива использовалась мухами на нашей виртуальной арене.

Чтобы оценить влияние перспективы на трехмерные объекты, мы оценили реакцию яблоневых мух на идентичные виртуальные деревья на разных расстояниях.Было меньше шансов зафиксировать удаленные деревья или приблизиться к ним (Рис.2 F и SI Приложение , Рис. S2 M ; n = 20 мух, n = 129 испытаний, продолжительность испытания 10, 15 , 30 и 60 с; тест Рэлея на 3, 6, 12 и 24 м и в условиях отсутствия деревьев соответственно; средний угол -11,47 °, -7,83 °, -0,64 °, 10,47 °, -17,83 °; R = 0,48, 0,27, 0,34, 0,19, 0,06; z = 2,785, 3,001, 2,694, 2,294, 1,809; P = 9,54e-11, 9,79e-07, 1.08e-07, 0,05, 0,634). Мухи перемещались к 16-метровым моделям деревьев ² на максимальное расстояние 24 м, как было предсказано полевыми данными (37). Таким образом, мы смогли количественно определить реактивное расстояние яблочной мухи до своего хозяина во время дальнего поиска, что указывает на пределы их визуально управляемой локализации объекта.

Развязка размера и расстояния с использованием параллакса движения.

Чтобы различить влияние размера объекта и расстояния, мы также представили яблоневых мух с двумя объектами-деревьями, один в два раза больше и вдвое дальше другого дерева, так что в исходном месте деревья имели одинаковый угловой размер ( Фильм S4).Мухи сориентировались и приблизились к меньшему, более близкому дереву чаще, чем к большему, более удаленному дереву (Рис.2 G и SI Приложение , Рис. S2 N ; n = 9 мух, n = 96 испытания, продолжительность испытания 30 с; биномиальный тест для больших и маленьких деревьев и маленьких и больших деревьев соответственно; z = 3,022, 2,586; P = 0,001, 0,004). Однако, когда оба дерева находились одинаково далеко, они не отдавали предпочтения ни одному из деревьев (Рис.2 G и SI Приложение , Рис.S2 N ; n = 9 мух, n = 96 испытаний, продолжительность испытания 30 с; биномиальный тест для малых и малых и больших против больших, соответственно; z = 0,482, 0; P = 0,315, 0,5). Это показывает, что яблочные мушки могут использовать информацию как о размере объекта, так и о расстоянии, полученную из локализованных сигналов параллакса движения, чтобы различать объекты и перемещаться к ним для поиска на большом расстоянии. Это указывает на то, что для выбора целей в сложном мире используется сложная визуальная обработка.

Ориентация на направленный поток воздуха при отсутствии оптического потока.

Чтобы оценить, могут ли насекомые использовать сигналы от направленного воздушного потока в отсутствие оптического потока, мы охарактеризовали траектории яблочных мух, помещенных в различные поля воздушного потока, подобные аэродинамической трубе (здесь называемые «ветровыми полями»), и скорости в визуально безликой среде (нулевой оптический поток; рис.3 A ). Мы используем этот термин, а не «ветер», чтобы пояснить, что привязанные насекомые не адвектируются и, следовательно, не испытывают полной механосенсорной обратной связи, которую они испытывали бы при истинном ветре.В замкнутом контуре поток воздуха подавался животному из разных капилляров в зависимости от его ориентации по отношению к глобальному ветровому полю (рис. 3 A ). При нулевом потоке воздуха мухи не ориентировались в каком-либо конкретном направлении (Рис.3 B и SI Приложение , Рис. S2 O ; n = 22 мухи, n = 158 испытаний, продолжительность испытания 15 с. , Средний угол критерия Рэлея -80,97 °, R = 0,19, z = 2,551, P = 0.24). Но по мере того, как скорость ветра увеличивалась, мухи ориентировались больше в направлении ветра, как предполагалось в предыдущих исследованиях (31, 38) (Рис. 3 B и SI Приложение , Рис. S2 O ; n = 22 мухи). , n = 158 испытаний, продолжительность испытания 15 с; критерий Рэлея для 1, 2 и 3 м / с соответственно; средний угол 137,7 °, 177,51 °, -160,97 °; R = 0,28, 0,43, 0,63; z = 2,551, 3,775, 2,785; P = 2,04e-08, 1,09e-05, 9,44e-07). Чтобы учесть возможные артефакты, возникающие в результате механических отклонений крыла при высокой скорости ветра, мы поместили дерево против ветра в это высокоскоростное ветровое поле.В этом сценарии мухи летели против ветра к дереву, указывая на то, что они могут ориентироваться против ветра при этих скоростях поля ветра при соответствующем визуальном контексте (например, древовидный объект; Рис. 3 B и SI Приложение , Рис. S2 O ; n = 22 мухи, n = 158 испытаний, продолжительность испытания 15 с, тест Рэлея для 3 м / с + дерево, средний угол -3,20 °, R = 0,14, z = 2,004, P = 3.23e-03).

Рис. 3.

Реакция яблони на ветровую волну в больших пространственных и временных масштабах.( A ) В зависимости от поля ветра и виртуального положения и курса мухи соответствующий набор капилляров непрерывно подает сигналы о направлении воздушного потока. ( A , Bottom ) Визуальный пейзаж с нулевым оптическим потоком. ( B ) Виртуальные траектории при нулевом оптическом потоке и различных скоростях воздушного потока, 0, 1, 2, 3 и 3 м / с + дерево ( n = 22 мухи, n = 158 попыток). ( B , Bottom ) Скрипка графики угла относительно ветра при различных скоростях направленного воздушного потока.( C ) Виртуальные траектории против нулевого оптического потока и различных ветровых полей: разомкнутый контур, восточный, северный и западный ветры со скоростью 3 м / с ( n = 5 мух, n = 58 попыток). ( C , Bottom ) Графики скрипки указывают угол по отношению к северу в разных направлениях ветра. Красные точки указывают исходное местоположение. ** P <0,01, *** P <0,001. Тест Рэлея для B и C .

Мы также представили глобальные ветровые поля как открытые, северные, восточные или западные.В сценарии с разомкнутым контуром воздушный поток всегда подавался из передних капилляров независимо от ориентации мухи, и у мух не было предпочтительного направления (Рис. 3 C ). Но в направленном ветровом поле, например, восточном, где ветер дует с востока на запад, мухи ориентировались на запад и сохраняли свой подветренный курс (рис. 3 C ; n = 5 мух, n = 58 испытаний, пробная версия). длительность 15 с; тест Рэлея для разомкнутого, восточного, северного и западного ветровых полей соответственно; средний угол 56.36 °, 102,76 °, -163,65 °, -64,82 °; R = 0,085, 0,892, 0,756, 0,862; z = 1,591, 1,512, 1,512, 1,511; P = 0,18, 0,1e-03, 7,5e-05, 0,12e-03). Это указывает на то, что мухи активно ориентируются, используя сигналы направленного воздушного потока, предоставляемые нашим виртуальным ветровым пейзажем, даже при отсутствии оптического потока.

Воздушный поток и запах действуют синергетически для виртуального слежения за шлейфом.

Наконец, мы проверили яблочную муху в потоке запаха, напоминающем аэродинамическую трубу, и в ветровом ландшафте. Несколько исследований показали, что в реальных турбулентных условиях запахи существуют в виде шлейфов, состоящих из прерывистых пакетов запаха, перемежающихся с чистым воздухом.Таким образом, запах обнаруживается летающими насекомыми как поток, а не как плавный градиент концентрации, а антенны насекомых — это детекторы потока, которые в любой момент реагируют на мгновенные изменения концентрации, а не на абсолютную концентрацию (39, 40). Чтобы удовлетворить эти требования на нашей арене, мы представили известный привлекательный запах фруктовой смеси (41) для R. pomonella в виде прерывистых импульсов, размещенных в виртуальном пространстве на полосе шириной 2 м, частота которых увеличивалась по мере приближения мух к виртуальному пространству. источник запаха от 1 до 10 Гц на расстоянии 20 м (рис.4 А ). Это имитировало точечный характер информации об запахе в шлейфе запаха. Отметим, что концентрацию также можно регулировать отдельно со скоростью до 5 Гц с помощью программного управления цифровыми регуляторами массового расхода, как показано ранее для этой системы стимулов (42). Однако, учитывая, что насекомые в первую очередь реагируют на поток, для целей этих экспериментов мы варьировали только частоту импульсов, а не концентрацию. Чтобы обеспечить окончательные ориентиры цели, мы поместили дерево подальше, чтобы одни только визуальные подсказки не вызывали полета против ветра (рис.2 F ). Затем мы представили мухам четыре условия. Условие скольжения обеспечивало только визуальное скольжение на основе курса и скорости воздушного потока без изменения направления воздушного потока, что означает, что сигналы воздушного потока находились в разомкнутом контуре, как описано в предыдущем разделе. Состояние проскальзывания и запаха обеспечивало визуальное скольжение и увеличение частоты запаха только из лобных капилляров, при этом муха начинала в центре полосы запаха, но под углом 45 °. Условие скольжения и ветрового поля обеспечило визуальное скольжение и глобальное ветровое поле в 0.2 м / с, как описано выше. Наконец, условия проскальзывания, ветрового поля и запаха обеспечили все три параметра в замкнутом контуре. Несмотря на первоначальное направление встречного ветра, мухи оставались значительно дольше в зоне виртуального шлейфа запаха только тогда, когда были объединены направленный поток воздуха + запах (Рис. 4 B и C , SI Приложение , Рис. S2 O , Рис. и Movie S5; n = 8 мух, n = 33 испытания, тест Манна – Уитни U в отношении условий скольжения + ветрового поля + запаха, U = 619, P = 0.026). Разделение потоков воздуха и стимулов запаха показало, что любой из этих стимулов сам по себе не привел к значительному времени, проведенному в виртуальном шлейфе запаха в условиях контроля (проскальзывания), как предсказывают современные модели отслеживания шлейфа анемотактического запаха (рис. , SI Приложение , рис. S2 O и Movie S5; n = 8 мух, n = 33 испытания; тест Манна – Уитни U в отношении скольжения на предмет скольжения + запаха и скольжения + ветрового поля соответственно; U = 769, 735; P = 0.292, 0,254) (8). Хотя оба параметра всегда связаны по своей природе, представление полей воздушного потока и потока запаха по отдельности позволяет нам количественно оценить их относительный вклад в оптомоторную анемотаксис против ветра. Наши результаты показывают, что направление ветра и поток запаха должны присутствовать одновременно, чтобы летающие насекомые могли ориентироваться в шлейфах запахов.

Рис. 4.

Реакция яблони на поток запаха в больших пространственных и временных масштабах. ( A ) В зависимости от виртуального положения мухи и поля запаха, импульс запаха выдается с указанной частотой.( B ) Графики траекторий для визуального скольжения, скольжения + запаха, скольжения + ветрового поля и скольжения + ветрового поля + запаха ( n = 8 мух, n = 33 испытания). Розовый градиент представляет собой запаховое поле. ( C ) Графики роя показывают время внутри областей плюма. Красные точки указывают исходное местоположение. * P <0,05, тест Манна – Уитни U .

Обсуждение

Здесь мы показываем, используя виртуальную реальность, что летающие насекомые с ограниченными вычислительными возможностями используют несколько функций, таких как сегментация переднего плана, перспектива, параллакс движения и интеграция нескольких модальностей для быстрого различения, локализации и навигации по объектам среди сложный трехмерный ландшафт во время полета.С точки зрения алгоритмов и робототехники современные алгоритмы все еще не могут выполнить эту задачу из-за сложности среды, движения камеры и вычислительных требований (7). Наши результаты представляют собой шаблон для будущего применения этих свойств, присущих летающим насекомым.

Во-первых, мы определили, что несколько видов, включая плодовых мух Tephritid ( R. pomonella ), комаров ( A. aegypti ), журавлей ( P. laeta ) и журчалок ( E.tenax ) мог различать объекты из сложной визуальной обстановки на высоте более 600 м ² . Каждый вид приближался к объектам и демонстрировал поведение на близком расстоянии, такое как реакции избегания / приземления объекта, включая, в случае журчалки, поведение зависания над самим виртуальным объектом. Такое поведение указывает на то, что несколько видов могут визуально локализовать и перемещаться к трехмерным виртуальным объектам в большой сложной сцене (рис. 2). Отметим, что летающие насекомые потенциально могут приблизиться к любому изолированному стационарному объекту просто ради приземления и сохранения энергии, а поведенческий ответ на виртуальные объекты был показан в других исследованиях (10, 23–26).Однако наши эксперименты с яблочной мухой ( R. pomonella ) показывают, что привязанные летающие насекомые в виртуальной реальности распознают фигуру и фон, разделяют объекты на переднем плане на сложном фоне из движущейся системы отсчета и перемещаются к предпочтительная цель с учетом ориентации, размера объекта и расстояния, самодвижения, скольжения, воздушного потока и запаха.

Для оценки поведения в этих сложных виртуальных средах было важно откалибровать усиление системы, чтобы гарантировать, что тестовые насекомые могут изменять направление, чтобы ориентироваться на несколько объектов и стимулов.Интересно, что произвольные значения усиления, использованные в предыдущих исследованиях, были намного ниже, чем значения, которые мы вычислили здесь (от 36 до 75 против 1-5 градус ^-1 мкс ^-1 ) (11, 31). Низкое усиление сильно ограничивает диапазон угловых скоростей и маневров, которые насекомые могут надежно выполнять. Например, максимальная угловая скорость с таким низким коэффициентом усиления составляет примерно от 50 до 250 град / с, в то время как мухи, вращающиеся в свободном полете, были измерены со скоростью 1500 град / с (12), которая была достигнута в этом исследовании с помощью рассчитанных коэффициентов усиления.Таким образом, для анализа оценки навигации к объектам с откалиброванными землей и небом, как показано здесь, предлагается рассчитывать усиление для каждого интересующего вида. Отметим, что наш метод расчета усиления оказался неэффективным у насекомых с частотой взмахов крыльев ниже 50 Гц, таких как бабочки ( D. nerii ) и самки журавлей ( P. laeta ). Это в первую очередь связано с парадигмой слежения за камерой, которая требует, по крайней мере, одного полного цикла биений крыльев для измерения разницы амплитуд крыльев, а более низкие частоты крыльев вызывают значительную задержку в системе.Кроме того, насекомые с более низкой частотой взмаха крыльев, вероятно, будут модулировать параметры полета множеством способов, помимо разницы в амплитуде взмахов крыльев, от изменения угла атаки, положения живота (24) до манипуляций на середине гребка. Использование датчика статического крутящего момента и / или отслеживания положения живота в замкнутом контуре может облегчить некоторые из этих проблем (24).

Используя это вычисленное усиление, мы показываем, что мух R. pomonella могут приближаться к древовидным объектам (4 × 4 × 4 м) на расстоянии примерно до 24 м и предпочитают приближаться к более близким объектам, даже если они меньше.Хотя 2D-модели могут использоваться для измерения остроты зрения, эти стимулы не могут измерить, как далеко животное будет локализоваться и приблизиться к интересующему объекту. Это значение является критическим параметром для экологических моделей, таких как реактивное пространство, оптимальное кормление, скорость распространения и некоторые другие контексты (2⇓⇓⇓ – 6, 8, 27⇓ – 29, 43), но его трудно измерить эмпирически, не способен отслеживать насекомых в пространстве и времени. Например, определение пределов локализации насекомых может использоваться для оптимизации стратегий борьбы с вредителями, таких как размещение ловушек, повышение эффективности опыления за счет лучшего планирования посевов и улучшение стратегий отпугивания переносчиков.

Навигационные модели, использующие ориентиры и когнитивные карты (32), предполагают использование параллакса движения для различения аспектов окружающего ландшафта. Представляя несколько объектов разных размеров и расстояний, мы показываем, что локальный параллакс движения фактически используется летающими насекомыми для распознавания и локализации трехмерных виртуальных объектов на сложном фоне. На сегодняшний день большинство этих параметров были оценены у гуляющих насекомых, где пространство стимулов откалибровано и траектория насекомых может отслеживаться (14, 15).Хотя аналогичные модели постулируются для летающих насекомых, таких как медоносные пчелы, точное использование этих функций ранее оставалось труднодостижимым из-за неспособности динамически манипулировать ландшафтом в пространстве и времени (16, 17). Отметим, что параллакс движения вызывает различия в скорости расширения, а также вызывает дифференциальный оптический поток в зависимости от расстояния. Какие из этих механизмов используются в наблюдаемой реакции, требует дальнейшего изучения.

Кроме того, мы обнаружили, что мух R. pomonella могут использовать сигналы поля ветра для ориентации в отсутствие оптического потока, что имеет важное значение для понимания навигации и миграции летающих насекомых, особенно на больших высотах (44, 45) (Рис. .3 B и C ). Исследования с мигрирующими насекомыми и морскими видами показывают, что организмы, перенесенные потоком, могут косвенно измерять скорость потока среды, измеряя изгиб (46) и рывки (45) вихрей из-за турбулентности. Хотя механосенсорная информация, которую получает привязанное насекомое, будет отличаться от данных свободно летающих особей, наше исследование демонстрирует внутреннюю способность R. pomonella модулировать поведение в зависимости от скорости и направления воздушного потока.Хотя эти результаты не отменяют использования оптомоторной анемотаксиса, они обеспечивают предполагаемый механизм того, как летающие насекомые могут перемещаться в отсутствие оптического потока, например, при высотных и ночных миграциях. Например, летающие мельницы, радар с вертикальной ориентацией и гармоническое радиолокационное слежение — это обычно используемые методы для понимания миграции и распространения, но они не могут одновременно измерять точное местоположение насекомого и сенсорные стимулы, которые оно получает в данный момент (44, 45, 47, 48).Кроме того, неспособность динамически манипулировать этими стимулами ограничивает способность оценивать влияние направления ветра, скорости ветра, визуального скольжения, ориентиров и горизонта на поведение человека. Эти аспекты являются фундаментальными параметрами при определении расстояния и направления миграции и имеют важное значение для перемещения и распространения вредителей, хищников и переносчиков болезней на уровне популяции и борьбы с ними (44, 47).

Наконец, мы показываем, что мух R. pomonella могут реагировать на периодически пульсирующие запаховые стимулы, как это предсказано современными моделями следования за шлейфом, и показываем, как наша система может разделять каждый компонент химически опосредованного оптомоторного анемотаксиса (8, 9, 49, 50).Аэродинамические трубы обычно используются для изучения поведения следования за шлейфом, но их нелегко использовать для оценки и разделения эффектов динамического ветра и запахов, как это рассматривается здесь (1–3, 8, 38, 49, 50). Деконструкция стратегий и алгоритмов, лежащих в основе поведения следования за шлейфом, является давней проблемой в биологических и инженерных приложениях, и ей мешает неспособность полностью количественно оценить стимул и реакцию (51). Разделение зрения, ветра и запаха в следе за шлейфом дает важное понимание относительной важности каждой из этих модальностей в поведении, используемом почти во всех аспектах жизни насекомых.

Отметим, что в нашем эксперименте здесь тестировалось максимум два объекта и один направленный воздушный поток и поток запаха. В естественных условиях поисковое поведение обычно включает в себя отсутствующие или скрытые реплики, беспорядок, неоднозначные и сбивающие с толку стимулы (5, 27–30, 43). Наши эксперименты, тем не менее, демонстрируют предпосылки для поискового поведения, включая различение фигуры и фона, различение объектов на переднем плане на сложном фоне и навигацию к целям с учетом ориентации, самодвижения, скольжения, ветра и запаха.Будущие исследования могут включать множественные или смешанные цели и стимулы, деконструировать трехмерные аспекты целей и окружающей их среды, необходимые для локализации объекта, или изучать пространственные и временные структуры, необходимые для следования за шлейфом, и оценивать влияние отсутствующих и скрытых стимулов на процесс поиска. . Понимание, полученное в текущих и будущих исследованиях с использованием мультимодальной виртуальной реальности, может помочь лучше понять физиологические механизмы, лежащие в основе кормодобывания, навигации, расселения и выбора партнера у двукрылых и, возможно, других таксонов.

Материалы и методы

Реализация MultiMoVR.

Подробное описание системы можно найти в SI Приложение , Методы . Частичный список и ведомость материалов можно найти в приложении SI , таблица S2. Подробное руководство по сборке и инструкцию можно найти в исх. 34. Вся сборка поддерживается кубической рамой размером 1 м, состоящей из стандартных алюминиевых профилей размером 20 × 20 мм. Игровые мониторы с высокой частотой обновления (Asus Rog PG279Q; AsusTek Computer) обеспечивают визуальный ввод.Насекомое было помещено в геометрический центр арены с помощью 3D-печатного манипулятора (52). Воздушный поток и запах подавались через один из 16 капилляров, окружающих насекомое, из специальной системы доставки (Рис. 1 B и SI Приложение , методы , Windscape ). В системах с обратной связью часть выходного сигнала возвращается на вход, и этот коэффициент масштабирования обычно известен как «усиление». Чтобы оценить оптимальный диапазон усиления для измерения дальнего поиска, мы разработали протокол развертки усиления для измерения стабильности и маневренности насекомого ( SI Приложение , методы , Определение оптимального усиления ).

Протоколы экспериментов.

Визуальный анализ.

Чтобы определить, приближались ли насекомые к виртуальным визуальным объектам, VR был инициализирован с четырьмя мирами: виртуальный объект слева, объект справа, без объекта и объекты с обеих сторон. Прирост был установлен на основе оптимального диапазона для вида, как рассчитано выше, с поступательной скоростью 1 м / с и временем сброса. Время сброса было масштабировано, чтобы обеспечить насекомому достаточно времени, чтобы достичь удаленного объекта, то есть вдвое больше времени прямой видимости, затрачиваемого на виртуальный объект.Насекомое было помещено в следующий виртуальный мир и повторно инициализировано после каждого события сброса ( SI Приложение , методы , VR Initialization ). Каждый мир повторялся по 10 раз для каждого насекомого или до тех пор, пока он не перестал летать. Анализ расстояния был повторен с насекомым, помещенным в разные начальные положения, для измерения реакции на перспективу и пространственное масштабирование в VR.

Windscape Assay.

Чтобы измерить, могут ли насекомые использовать сигналы направленного воздушного потока, предоставляемые с помощью ветрового ландшафта, VR был инициализирован с четырьмя мирами: ветровое поле с разомкнутым контуром, восточный, западный и северный.В случае открытого ветрового поля, независимо от положения или направления насекомого, насекомое всегда получало направленный поток воздуха из единственного капилляра на передней части насекомого. В трех других случаях, в зависимости от положения и направления насекомого, направление воздушного потока было изменено, чтобы обеспечить этот конкретный ветер в текущем положении и ориентации насекомого (рис. 3 A ). Весь этот анализ повторяли при различных скоростях воздушного потока.

Анализ запаха.

Для оценки реакции на запах, VR был инициализирован с открытым ветровым полем (см. Выше) и без запаха, с открытым ветровым полем и запахом, с закрытым ветровым полем и без запаха или с закрытым ветровым полем и запахом.В мире запахов запах задавался в виде прямоугольной полосы шириной 2 м с градиентом увеличения частоты пакетов в зависимости от положения насекомого, начиная с частоты 1 Гц и увеличиваясь до 10 Гц на 25 м с импульсом 50 мс. длины (рис.4 A ).

Статистика.

Траектории анализировались на основе их векторов ориентации. Отображаемые полярные диаграммы представляют разброс и направленность данных ориентации. Графики скрипки представляют собой гистограмму данных ориентации по всей траектории.В зависимости от анализа мы использовали абсолютный курс (ориентацию по отношению к северу), угол по отношению к виртуальному объекту или угол по отношению к ветру. Таким образом, соответствующая «цель» будет установлена ​​на 0 °. Мы использовали тест Рэлея для проверки направленности данных. Для данных параллакса движения мы измерили количество траекторий, которые достигли виртуального объекта, и выполнили биномиальный тест между двумя вариантами. Для анализа запаха мы сравнили продолжительность прохождения через шлейф в различных условиях по отношению к одному только проскальзыванию, используя односторонний тест Манна-Уитни U .При необходимости сообщается 95% доверительных интервалов. Каждый из этих графиков и анализов выполнялся с помощью пользовательских скриптов Python с использованием Pandas (https://pandas.pydata.org/), SciPy (https://www.scipy.org/) и Seaborn (https: // seaborn.pydata.org) графические конвейеры.

Доступность данных.

Все данные, включая файлы проекта и руководство по установке программного обеспечения для настройки MultiMoVR, а также необработанные данные о траектории из этого исследования, можно найти в приложении SI и в цифровом репозитории Dryad (34).

Благодарности

Мы благодарим Шрирама Нараяна, Дору Бабу, Шри Субха Рамасвами, Умеша Мохана, Вайбхава Синха и Абина Гоша за помощь в создании аппаратного и программного обеспечения MultiMoVR. Мы благодарим Хинал Харва и Шайенн Тейт за сбор и содержание яблоневых мух, Субахарана Кесавана за предоставление комаров, Полифлай за журчалок и Аллана Джоя за боярышек. Мы благодарим Тима К. Пирса, Хольгера Краппа, Мукунда Таттая, Санджая Сане и Упиндера Бхаллу за полезные обсуждения.П.К.К. была поддержана Национальным центром биологических наук, Институтом фундаментальных исследований Тата. Поддержку M.R. оказывала Hochschule Bremen. S.B.O. была поддержана стипендией Рамануджана (Совет по научным и инженерным исследованиям Индии), грантом Microsoft Research и Департамента атомной энергии правительства Индии в рамках проекта № 12-РиД-СКР-5.04-0800.

Сноски

• Автор: P.K.K. и S.B.O. спланированное исследование; П.К.К. проведенное исследование; П.К.К. и M.R. предоставили новые реагенты / аналитические инструменты; П.К.К. и S.B.O. проанализированные данные; и П.К.К. и S.B.O. написал газету.

• Авторы заявляют об отсутствии конкурирующей заинтересованности.

• Эта статья представляет собой прямое представление PNAS.

• Размещение данных: необработанные данные о траектории, представленные в этом исследовании, были депонированы в цифровом репозитории Dryad, https://doi.org/10.5061/dryad.jq2bvq85s.

• Эта статья содержит вспомогательную информацию на сайте https: // www.pnas.org/lookup/suppl/doi:10.1073/pnas.1

  4117/-/DCSupplemental.

• Copyright © 2020 Автор (ы). Опубликовано PNAS.

Виртуальная реальность, технология будущего

ЧТО ТАКОЕ ВИРТУАЛЬНАЯ РЕАЛЬНОСТЬ?

Виртуальная реальность (VR) — это созданная компьютером среда со сценами и объектами, которые кажутся реальными, заставляя пользователя чувствовать, что он погружен в свое окружение. Эта среда воспринимается через устройство, известное как гарнитура или шлем виртуальной реальности.VR позволяет нам погрузиться в видеоигры, как если бы мы были одними из персонажей, научиться делать операции на сердце или улучшить качество спортивных тренировок, чтобы максимизировать производительность.

Хотя это может показаться чрезвычайно футуристическим, его происхождение не так давно, как мы могли бы подумать. Фактически, многие люди считают, что одно из первых устройств виртуальной реальности называлось Sensorama, машина со встроенным сиденьем, которая воспроизводила 3D-фильмы, испускала запахи и генерировала вибрацию, чтобы сделать опыт максимально ярким. Изобретение относится к середине 1950-х годов. Последующие технологические и программные разработки в последующие годы принесли с собой прогрессивную эволюцию как в устройствах, так и в дизайне интерфейсов.

РАЗЛИЧИЯ ОТ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Несмотря на то, что — это технология, возникшая несколько десятилетий назад, многие люди все еще не знакомы с концепцией виртуальной реальности. Также довольно часто путают термин виртуальная реальность с дополненной реальностью.

Основное различие между ними заключается в том, что виртуальная реальность создает мир, в который мы погружаемся через определенную гарнитуру. Он полностью иммерсивный, и все, что мы видим, является частью среды, искусственно созданной с помощью изображений, звуков и т. Д. С другой стороны, в дополненной реальности (AR) наш собственный мир становится структурой, в которой объекты, изображения и т. Д. расположены. Все, что мы видим, находится в реальной среде, поэтому носить гарнитуру не обязательно.Самым ярким и распространенным примером этой концепции является Pokémon Go.

Однако существует также комбинация обеих реальностей, называемая смешанной реальностью. Эта гибридная технология позволяет, например, видеть виртуальные объекты в реальном мире и создавать опыт, в котором физическое и цифровое практически неотличимы.

ОСНОВНЫЕ ПРИМЕНЕНИЯ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ

Этого достаточно о теории, которая проецирует нас в будущее.В каких сферах сегодня фактически используется виртуальная реальность? Медицина, культура, образование и архитектура — вот некоторые из областей, в которых эта технология уже использовалась. Виртуальная реальность позволяет нам пересекать границы, которые в противном случае были бы невообразимы, от посещения музеев до рассечения мышцы.

Определение виртуальной реальности

Что такое виртуальная реальность?

Виртуальная реальность (VR) относится к компьютерному моделированию, в котором человек может взаимодействовать в искусственной трехмерной среде с помощью электронных устройств, таких как специальные очки с экраном или перчатки с датчиками.В этой смоделированной искусственной среде пользователь может ощущать реалистичность.

Дополненная реальность (AR) отличается от VR тем, что AR улучшает существующий реальный мир с графическими наложениями и не создает полностью иммерсивного опыта.

Ключевые выводы

• Виртуальная реальность (VR) создает иммерсивный искусственный мир, который может казаться вполне реальным благодаря использованию технологий.
• Через средство просмотра виртуальной реальности пользователи могут смотреть вверх, вниз или в любую другую сторону, как если бы они действительно находились там.
• Виртуальная реальность имеет множество вариантов использования, включая развлечения и игры, или выступает в качестве инструмента продаж, обучения или обучения.

Понимание виртуальной реальности

Концепция виртуальной реальности построена на естественном сочетании двух слов: виртуального и реального. Первое означает «почти» или «концептуально», что приводит к опыту, который становится почти реальным благодаря использованию технологий. Программное обеспечение создает и обслуживает виртуальные миры, с которыми сталкиваются пользователи, носящие аппаратные устройства, такие как очки, наушники и специальные перчатки.Вместе пользователь может просматривать виртуальный мир и взаимодействовать с ним как бы изнутри.

Чтобы понять виртуальную реальность, давайте проведем параллель с реальными наблюдениями. Мы понимаем свое окружение через наши чувства и механизмы восприятия нашего тела. Чувства включают вкус, осязание, обоняние, зрение и слух, а также пространственное восприятие и равновесие. Данные, собранные этими органами чувств, обрабатываются нашим мозгом для интерпретации объективной среды вокруг нас.Виртуальная реальность пытается создать иллюзорную среду, которая может быть представлена ​​нашим чувствам с помощью искусственной информации, заставляя наш разум поверить, что это (почти) реальность.

Примеры использования виртуальной реальности

Самый простой пример VR — трехмерный (3D) фильм. Используя специальные 3D-очки, вы получаете захватывающий опыт присутствия на месте в фильме. Кажется, что лист, падающий с дерева, плывет прямо перед зрителем, или кадр, на котором мчащаяся машина пролетает над обрывом, заставляет зрителя почувствовать глубину пропасти и может вызвать у некоторых зрителей ощущение падения.По сути, световые и звуковые эффекты 3D-фильма заставляют наше зрение и слух поверить, что все это происходит прямо перед нами, хотя в физической реальности ничего не существует.

Технологические достижения позволили расширить возможности стандартных 3D-очков. Теперь можно найти гарнитуры VR, чтобы исследовать еще больше. С помощью компьютерных систем теперь можно играть в «настоящий» теннис (или другие виды спорта) прямо у себя в гостиной, держа в руках ракетки с датчиками для игры в компьютерной симуляции игры.Гарнитура VR, которую игроки носят на глазах, создает иллюзию теннисного корта. Они двигаются и пытаются нанести удар в зависимости от скорости и направления набегающего мяча, а также ударяют по нему ракетками с датчиками. Точность выстрела оценивается управляющим игрой компьютером, который отображается в игре VR соответственно, показывая, был ли мяч нанесен слишком сильный удар и вышел за пределы поля или был нанесен слишком мягкий удар и был остановлен сеткой.

Другое использование этой технологии VR связано с обучением и симуляцией.Например, те, кто хочет получить водительские права, могут получить из первых рук опыт вождения по дороге с помощью настройки виртуальной реальности, которая включает в себя работу с такими частями автомобиля, как рулевое колесо, тормоз и акселератор. Он предлагает преимущества опыта без возможности вызвать аварию, поэтому учащиеся могут развить определенный уровень знаний в области вождения, прежде чем фактически отправиться на дорогу.

Продавцы недвижимости также могут использовать VR-обходы дома или квартиры, чтобы дать представление о собственности без необходимости физического присутствия на месте с потенциальным покупателем.

Другие развивающиеся области применения — это подготовка космонавтов к космическим путешествиям, изучение тонкостей миниатюрных объектов и предоставление студентам-медикам возможности практиковать хирургию на компьютерных предметах.

VREX: набор инструментов с открытым исходным кодом для создания 3D-экспериментов в виртуальной реальности | BMC Psychology

Общая логика

Основными элементами набора инструментов являются среды, состоящие из одной или нескольких комнат. Среды можно упорядочить для создания экспериментов.Можно добавить специальные готовые среды для отображения инструкций участнику или проведения тестов. Среды можно сгруппировать в упорядоченные или рандомизированные пробные блоки. Таким образом, эксперимент можно начать с текстовой среды в качестве инструкций для участника, затем представить процедурно сгенерированные комнаты в случайном порядке и закончить тестовым блоком для сбора ответов. Типичный конвейер для эксперимента можно увидеть на Рис. 1.

Рис. 1

Типичный конвейер для эксперимента.Создание среды ( a ), построение структуры эксперимента ( b ) и запуск исследования в VR ( c )

Графический интерфейс пользователя

Чтение и изменение кода C # может быть сложной задачей. Хотя Unity изначально отображает общедоступные переменные в окне инспектора, навигация по длинному массиву параметров быстро становится непосильной. Кроме того, при создании автономной версии теряется доступ к переменным через пользовательский интерфейс.По этим причинам VREX предоставляет отдельный графический пользовательский интерфейс внутри набора инструментов, чтобы предоставить пользователю интуитивно понятный доступ к общим операциям в программе (рис. 2). Простые меню позволяют создавать и изменять среды, а также строить экспериментальные планы с разными этапами.

Рис. 2

Структура меню VREX. Главное меню ( a ), список созданных экспериментов ( b ) и структура конкретного эксперимента ( c )

Создание сред

Среда используется в качестве основного строительного блока для экспериментов.Каждая среда состоит из одной или нескольких комнат и может быть заполнена объектами. Пользователь может создать среду с нуля, скопировать или изменить уже существующую среду. Начиная с пустой сцены, можно либо автоматически сгенерировать среду, либо объединить комнаты одну за другой вручную (рис. 3). Параметр по умолчанию — автогенерация, так как эта функция экономит время и каждый раз обеспечивает уникальный макет среды. Для автоматического создания связанных комнат обязательно указать количество желаемых комнат (до 10).Пользователь также может выбрать размеры комнат. Благодаря используемым алгоритмам комнаты могут быть квадратными (1 × 1) или прямоугольными (1 × 1,5 или 1 × 2). Автогенерация объединяет комнаты таким образом, что дверные проемы соединяются, а геометрия избегает перекрытия. В настоящее время VREX ограничивается созданием среды внутри помещений.

Рис. 3

Пример среды, созданной процедурно с параметрами, установленными для включения пяти комнат с тремя возможными размерами

Обстановка среды

После того, как среда создана процедурно или вручную, она может быть заполнена доступными трехмерными объектами автоматически или вручную.Для автоматической меблировки в каждой комнате может быть заданное количество предметов. Объекты имеют предопределенные свойства, которые размещают их в соответствии с общей логикой — столы и стулья размещаются на земле, небольшие предметы лежат на столах, полки прикрепляются к стене и т. Д. Автоматическая меблировка предметов экономит время и создает роман. планировка помещения на каждом экземпляре. На рисунке 4 показаны разные автоматически сгенерированные макеты для одной и той же среды.

Рис. 4

Три разных результата с опцией автоматической меблировки ( a , b & c )

В наборе инструментов доступен ряд объектов с открытой лицензией (Рис.5). При случайном размещении некоторые объекты могут оказаться в нелогичном с точки зрения дизайна интерьере положении. Это легко исправить в 3D-редакторе.

Рис. 5

Обзор доступных готовых объектов в VREX

3D-редактор

Для точной настройки управления VREX поставляется с редактором, в котором все объекты в комнате могут быть вручную настроены в трехмерном мире или добавлены новые объекты (рис. 6). Навигация в 3D-редакторе осуществляется с помощью мыши и клавиатуры.Все объекты в сцене можно перемещать, вращать и масштабировать, а также изменять диффузный цвет. Здесь пользователь также может определить специфическое для эксперимента поведение при выборе объекта.

Рис. 6

3D-редактор позволяет перемещаться и размещать отдельные объекты в сцене вручную ( a ), выбирать объекты в среде ( b ) и изменять различные свойства выбранного объекта, такие как положение, поворот, размер и цвет ( c )

Специфическое для эксперимента поведение

В настоящее время VREX поддерживает две экспериментальные парадигмы — слепоту к изменению и ложную память.Объекты, отмеченные в эксперименте с слепотой к изменению, могут быть изменены всякий раз, когда объект выходит за пределы поля зрения гарнитуры VR. Исследователь может выбрать изменение видимости, цвета или местоположения объекта (рис. 6c). Выбранное изменение внешнего вида будет чередоваться между двумя состояниями. После определения изменения в эксперименте участник может нажать кнопку ответа, которая регистрирует время ответа. Затем в центре обзора в фазе отклика появляется курсор, чтобы облегчить выбор.Участник может указать на подозреваемый объект в центре обзора гарнитуры, и повторное нажатие кнопки ответа сохранит ответ. После этого автоматически загружается следующий уровень.

В экспериментах, связанных с ложной памятью, VREX поддерживает регистрацию всех объектов, увиденных участником во время испытания, а затем изменение их положения в комнате или представление их для вызова. Отзыв содержит только те предметы, которые видел участник, и, возможно, отвлекающие предметы, выбранные экспериментатором.Отзыв также может иметь установленный срок. В настоящее время VREX поддерживает два режима вызова: объекты либо помещаются в пустое поле, либо отображаются по одному. Участник должен выбрать все ранее увиденные объекты, подойдя к объекту и нажав клавишу ответа или ответив да / нет в случае одной за другой презентаций.

Создание экспериментов

После завершения среды можно начинать создание эксперимента. У нового эксперимента должен быть тип: либо слепота к изменению, либо ложная память.Каждый тип имеет определенный набор опций, доступных в отношении временных ограничений и уровней тестирования. Затем исследователь может упорядочить все необходимые среды в упорядоченных или рандомизированных группах, добавить инструкции участнику и установить соответствующие условия тестирования.

Виртуальная реальность | Инструменты, публикации и ресурсы

Виртуальная реальность — компьютерное моделирование изображений или целых сред, которые можно испытать с помощью специального электронного оборудования — развивается по нескольким направлениям, включая традиционную виртуальную реальность, которая создает среду, позволяющую людям «присутствовать» в альтернативной среде; дополненная реальность, которая начинается с реального мира и накладывается на виртуальные объекты и информацию; а также сферическое или 360-градусное видео, которое захватывает всю сцену, в которой зритель может смотреть вверх, вниз и вокруг.[1]

Как это развивается

В марте 2014 года Марк Цукерберг из Facebook объявил о приобретении Oculus, стартапа, который запустил краудфандинговую кампанию для своей гарнитуры Rift, в результате которой было собрано более 2,5 миллионов долларов. в классе студентов и преподавателей со всего мира или при личной встрече с врачом — просто надев очки у себя дома ». [2]

Хотя объявление Facebook стало большой новостью, они далеко не единственный игрок в этой сфере, поскольку Google (Cardboard, Daydream), Samsung (Gear VR), HTC (Vive), Sony (Playstation VR) и другие представили платформы и оборудование для виртуальной реальности.Потенциал экономического роста в аппаратном, программном обеспечении и контенте впечатляет; к 2025 году рынок контента виртуальной реальности может составить 5,4 миллиарда долларов, а оборудование виртуальной реальности — 62 миллиарда долларов. [3]

Технологии виртуальной реальности разрабатывались на протяжении нескольких десятилетий, включая достижения и вклад исследователей, работающих в академических, аэрокосмических и военных кругах, пытающихся создать альтернативные реальности и опыт с помощью цифровых технологий. Что отличает последние разработки, так это достижения в вычислительной мощности, более точные датчики движения и дисплеи с лучшим разрешением, которые сокращают задержки обработки и помогают устранить возникающую тошноту, которая может быть побочным эффектом предыдущих настроек.[4]

Платформа Google Cardboard приложила значительные усилия, чтобы сделать виртуальную реальность частью получения информации и обучения. В октябре 2015 года газета New York Times совместно с Google запустила проект по отправке зрителей Google Cardboard подписчикам воскресных печатных изданий в рамках продвижения своей первой VR-истории «Перемещенные» в New York Times Magazine . [5] В мае 2016 года газета New York Times расширила проект, направив зрителей Google Cardboard до 300 000 цифровых подписчиков, приуроченных к выпуску «В поисках холодного сердца Плутона».»[6] В дополнение к своим проектам с New York Times , программа Google Expeditions работает со школами, чтобы предоставить зрителям Cardboard в классные комнаты, которые могут интегрировать туры виртуальной реальности в существующие учебные программы. [7] По состоянию на февраль 2017 года, Google сообщил о наличии поставлено более десяти миллионов гарнитур Cardboard. [8]

Помимо потребления, создание контента виртуальной реальности также становится все более доступным, особенно благодаря более широко доступному оборудованию для записи видео на 360 градусов.После запуска функций 360-градусного фото и затем 360-градусного видео в реальном времени, которые позволяли пользователям смотреть вверх, вниз и вокруг на фотографиях и видео, Facebook также предоставил пользователям возможность транслировать свой собственный записанный контент в 360-градусном режиме. [9] 360-градусные камеры, ориентированные на потребителей, также становятся все более доступными, что позволяет большему количеству людей создавать моноскопическое 360-градусное видео (смартфоны, ноутбуки и ПК) и стереоскопическое 360-градусное видео (для гарнитур виртуальной реальности). [10] По мере того, как пользователи становятся более знакомыми с опытом иммерсивного видео, даже если только через 360-градусное видео, они, вероятно, будут искать еще более захватывающий контент, такой как виртуальная реальность.

По мере того, как VR продолжает развиваться, она станет более независимой и полностью управляемой технологией. Intel анонсировала свой Project Alloy в 2016 году, а Google объявила о расширении своей программы Daydream VR в 2017 году, и обе они работают над продвижением автономных гарнитур, в которых есть все встроенное — без кабелей, без телефона и без подключенного компьютера. [11]

Как и другие новые технологии, виртуальная реальность может стать двигателем экономического развития и политической озабоченности. В Конгрессе США двухпартийная фракция Конгресса по технологиям виртуальной, дополненной и смешанной реальности будет работать над просвещением членов Конгресса и поощрением развития виртуальной реальности через политику.[12]

Отчасти обещание виртуальной реальности заключается в ее использовании для социального взаимодействия, дающего людям эмоционально наполненное чувство того, что они вместе, даже когда они физически далеко друг от друга; однако самые ранние попытки такого социального взаимодействия все еще отсутствуют. [13] В 2017 году Facebook запустил Facebook Spaces для системы Oculus Rift, которая позволяет до четырех человек собираться за виртуальным столом и участвовать в ограниченном количестве мероприятий. Разработчики начали с простого социального взаимодействия, но надеются лучше понять, как люди будут взаимодействовать, и будут создавать опыт на основе этих идей.[14] Реальная социализация во время игры в VR также может быть возможностью для развития, поскольку начали появляться несколько игровых автоматов, позволяющих заинтересованным пользователям вместе испытать VR. [15]

Почему это важно

Библиотеки

уже давно служат точками первого знакомства публики с новыми технологиями, и они снова могут играть эту роль с виртуальной реальностью. В Калифорнии Oculus выступила с инициативой разместить сто гарнитур Oculus Rift и компьютерных систем с поддержкой виртуальной реальности в девяноста библиотеках по всему штату, отметив: «Если мы хотим, чтобы каждый имел шанс участвовать в этих новых ролях и экономике, основанных на виртуальной реальности, это Важно, чтобы мы помогали людям увидеть, что будет дальше.»[16]

Иммерсивное повествование или рассказывание историй в виртуальной реальности станет более частым инструментом передачи информации, особенно в связи с тем, что основные средства массовой информации вкладывают средства в собственное производство виртуальной реальности. [17] Впервые иммерсивное повествование было предложено журналистом и исследователем Нонни де ла Пенья, создавшим иммерсивный VR-опыт взрывов бомб в Сирии и голода в Лос-Анджелесе, благодаря чему зрители оказались в центре уникального международного опыта. [18] В дополнение к репортажам новостей, живые новости, развлекательные и спортивные события могут быть обработаны виртуальной реальностью.[19]

Виртуальная реальность

также продолжит быть инструментом для творческого повествования. Короткометражный фильм Алехандро Иньярриту продолжительностью шесть с половиной минут « CARNE y ARENA (Виртуально присутствует, физически невидимый) » стал первым VR-проектом, выбранным для официального отбора на Каннском кинофестивале, о чем объявил режиссер Ридли Скотт. RSA VR, отпечаток его продюсерской компании, который будет посвящен смешанной технике; В отличие от традиционных фильмов, эти повествовательные фильмы в виртуальной реальности изначально будут разрабатываться для соло.[20]

Существует значительный толчок к внедрению виртуальной реальности в образование, и многие новаторы сосредоточили свое внимание на двух ключевых услугах библиотек: коллекциях и пространствах. Брендан Ирибе, один из основателей Oculus, отмечает потенциал отсканированных цифровых коллекций, в которых пользователи «могут видеть эти объекты, и вы могли смотреть вокруг, и вы могли видеть их так хорошо и так ясно, и они отслеживали бы их так точно, что ваш мозг верю, что это действительно было прямо перед вами », а затем следующее технологическое развитие, в котором« вы разделили пространство, и вы не только верите, что этот объект находится прямо передо мной, но и я оглядываюсь и вижу других людей. как будто мы видим друг друга сейчас, и я действительно, искренне верю, что ты прямо передо мной.»[21] Ирибе инвестирует в свое видение, делая пожертвование в размере 31 миллиона долларов в Университет Мэриленда для продолжения усилий исследователей виртуальной реальности, работающих над проектами в области здравоохранения, общественной безопасности и образования. [22]

Виртуальная реальность нашла свое применение в нескольких секторах. В здравоохранении он используется для лечения тех, кто пережил травмы, а также от заболеваний, таких как фобии или синдром фантомных конечностей, и для обучения медицинских работников. [23] В архитектуре и строительстве виртуальная реальность может использоваться как средство проектирования или для создания виртуальных пошаговых инструкций или тестов запланированных зданий.[24] В розничной торговле Walmart начал использовать виртуальную реальность, чтобы помочь обучать сотрудников, разрабатывая сценарии для конкретных магазинов. [25] В путешествиях и туризме виртуальная реальность может помочь продать гостиничные номера и достопримечательности до фактического прибытия путешественников. [26]

Дети также привыкнут к виртуальной реальности. В 2015 году Mattel перезапустила свой View-Master, переосмысленный как гарнитуру Google Cardboard VR с дисками, которые активируют подходящие для детей возможности виртуальной реальности. [27] Компания Samsung создала прототип приложения «Nighttime VR Stories», в котором родители использовали гарнитуру Samsung Gear VR, а дети — гарнитуру Google Cardboard, чтобы испытать общий виртуальный мир, в котором родитель может рассказать историю и поделиться своим опытом.[28]

Виртуальная реальность может стать важным инструментом для пользователей, позволяющих знакомиться с культурными событиями, учреждениями и коллекциями и знакомиться с ними в виртуальной реальности или в 360-градусном видео. [29]

Несмотря на то, что виртуальная реальность помогает обеспечить более равноправный доступ к контенту, она также может стать следующей областью эксклюзивного контента — например, бонусного контента виртуальной реальности, доступного исключительно с виниловым изданием альбома Childish Gambino, Awaken, My Love . [30] Такие эксклюзивы могут создать проблемы для миссии библиотек по обеспечению равного доступа, а также проблемы, связанные с каталогизацией и организацией этих эксклюзивов.

Примеры из библиотек

Публичная библиотека Сан-Хосе — Виртуальная реальность

Библиотека Джорджтаунского университета — Новый медиацентр Гелардина

Библиотеки Университета Западного Мичигана — Лаборатория виртуальной реальности

Ваша библиотека вводит новшества в виртуальную реальность? Пожалуйста дай нам знать.

Примечания и ресурсы

[1] Взгляд в будущее? Виртуальная реальность в повествовании , Патрик Дойл, Митч Гельман и Сэм Гилл, (Майами: Фонд рыцарей, 2016), доступно по адресу https: // kf-site-production.s3.amazonaws.com/publications/pdfs/000/000/182/original/VR_report_web.pdf.

[2] «Внутренняя история Oculus Rift и то, как виртуальная реальность стала реальностью», Питер Рубин, Wired , 20 мая 2014 г., доступно по адресу http://www.wired.com/2014/05/oculus-rift. -4 /.

[3] «Революция виртуальной реальности, приближающаяся к гарнитуре рядом с вами», Лорн Мэнли, New York Times , 25 ноября 2015 г., доступно по адресу https://www.nytimes.com/2015/11/22/ искусство / виртуальная реальность-революция-приближается-к-гарнитуре-рядом с вами.html.

[4] «Как виртуальная реальность изменит нашу жизнь», Мадхумита Мурджа, Telegraph , 12 декабря 2015 г., доступно по адресу http://www.telegraph.co.uk/technology/news/12047279/How- виртуальная реальность-собирается-изменить-нашу-жизнь.html.

[5] «New York Times запустила проект виртуальной реальности с Google», Кристен Хэйр, Poynter , 2 октября 2015 г., доступно по адресу http://www.poynter.org/2015/the-new-york -Times-запустил-проект-виртуальной-реальности-с-Google / 379970 /.

[6] «Нью-Йорк Таймс разошлет Google Cardboard 300 000 подписчиков», Кристен Хэйр, Poynter , 28 апреля 2016 г., доступно по адресу http://www.poynter.org/2016/the-new-york- times-will-send-google-cardboard-to-300000-подписчикам / 409198 /.

[7] «Система виртуальной реальности Google призвана оживить образование», Наташа Сингер, New York Times , 28 сентября 2015 г., доступно по адресу https://www.nytimes.com/2015/09/29/technology/ google-система-виртуальная реальность-стремится-оживить-образование.html.

[8] «Google поставила более 10 миллионов гарнитур Cardboard VR», Ади Робертсон, The Verge , 28 февраля 2017 г., доступно по адресу https://www.theverge.com/2017/2/28/14767902 / google-cardboard-10-миллионов отправленных-vr-ar-apps.

[9] «Facebook запустит прямые трансляции в формате 360 градусов», Ричард Ниева, CNET , 12 декабря 2016 г., доступно по адресу https://www.cnet.com/news/facebook-is-launching-360-degree -live-videos /.

и

«Facebook расширяет возможности прямой трансляции на 360 градусов для всех», — Джоан Э.Solsman, CNET , 29 марта 2017 г., доступно по адресу https://www.cnet.com/news/facebook-widens-360-degree-live-streaming-to-all/.

[10] «Зачем вам нужна камера 360?», Эмили Прайс, Fast Company , 10 июля 2016 г., доступно по адресу https://www.fastcompany.com/3061261/why-youre-going- хочу-а-360-камеру.

и

«Facebook представляет две новые камеры VR с« шестью степенями свободы », — Кэйд Метц, Wired , 19 апреля 2017 г., доступно по адресу https: // www.wired.com/2017/04/facebook-unveils-two-new-vr-cameras-six-degrees-freedom/.

[11] «Intel демонстрирует универсальную гарнитуру виртуальной реальности Project Alloy», Лукас Мэтни, TechCrunch , 16 августа 2016 г., доступно по адресу https://techcrunch.com/2016/08/16/intel- шоу-офф-все-в-одном-проекте-сплава-виртуальной-реальности-гарнитуре /.

и

«Google объявляет об отвязанных, полностью отслеживаемых автономных гарнитурах виртуальной реальности», Кайл Орланд, Ars Technica , 17 мая 2017 г., доступно по адресу https: // arstechnica.ru / gaming / 2017/05 / Google-анонс-untethered-full-tracked-standalone-vr-headsets /.

[12] «Новое собрание сократит пробелы в знаниях о VR среди законодателей», Government Technology , 4 мая 2017 г., доступно по адресу http://www.govtech.com/New-Caucus-Will-Bridge-VR-Knowledge- Gap-Among-Lawmakers.html.

[13] «Отсутствующий элемент виртуальной реальности: другие люди», Рэйчел Меткс, MIT Technology Review , 14 июня 2017 г., доступно по адресу https://www.technologyreview.com/s/607956/virtual-realitys-missing- элемент-другие-люди /.

[14] «Первое социальное VR-приложение Facebook — это круто, но есть проблема», — Карисса Белл, Mashable , 18 апреля 2017 г., доступно по адресу http://mashable.com/2017/04/18/facebook-spaces -виртуальная реальность / # 5BAR6TppkSqC.

[15] «Аркады видеоигр возвращаются — на этот раз с виртуальной реальностью для масс», Алан Бойл, GeekWire , 12 апреля 2017 г., доступно по адресу https://www.geekwire.com/2017/portal- виртуальная реальность-аркада /.

[16] «Oculus устанавливает бесплатные системы виртуальной реальности почти в 100 калифорнийских библиотеках», Adario Strange, Mashable , 7 июня 2017 г., доступно по адресу http: // mashable.com / 2017/06/07 / oculus-rift-library-project / # 0m81PwxxN5qb.

[17] См. Любой из следующих примеров:

«ABC News запускает освещение виртуальной реальности в Сирии», Джулия Гринберг, Wired , 16 сентября 2016 г., доступно по адресу https://www.wired.com/2015/09/abc-news-launches-virtual-reality- покрытие-сирия /.

«USA Today анонсирует новостное шоу VR» VRtually There «, Билли Стил, Engadget , 10 марта 2016 г., доступно по адресу https: //www.engadget.com / 2016/03/10 / usa-today-vrtually-there-vr-news-show /.

«BBC делает свои первые шаги в« настоящей виртуальной реальности »», — Джейми Ригг, Engadget , 9 июня 2016 г., доступно по адресу https://www.engadget.com/2016/06/09/bbc-true-vr. /.

«Guardian создает собственную команду виртуальной реальности», Фредди Мэйхью, PressGazette , 4 октября 2016 г., доступно по адресу http://www.pressgazette.co.uk/guardian-creates-in-house-virtual-reality- команда/.

«Нью-Йорк Таймс запускает серию ежедневных 360-градусных видеороликов», Джозеф Лихтерман, Nieman Lab , 1 ноября 2016 г., доступно по адресу http: // www.niemanlab.org/2016/11/the-new-york-times-is-launching-a-daily-360-degree-video-series/.

«CNN запускает глобальное подразделение VR-журналистики и новый 360-градусный мобильный контент», Джеймс Винсент, The Verge , 8 марта 2017 г., доступно по адресу https://www.theverge.com/2017/3/8/ 14852256 / cnn-виртуальная реальность-vr-новости-команда.

[18] «Как виртуальная реальность изменит нашу жизнь», Мадхумита Мурджа, Telegraph , 12 декабря 2015 г., доступно по адресу http: //www.telegraph.co.uk/technology/news/12047279/How-virtual-reality-is-going-to-change-our-lives.html.

и

«VR теперь помогает учить акушерок рожать», Зои Чонг, CNET , 25 мая 2017 г., доступно по адресу https://www.cnet.com/news/vr-is-now-helping-to-teach роженицы /.

[19] См. Любой из следующих примеров:

«The Huffington Post» будет транслировать 360-градусное видео с республиканских и демократических национальных съездов, Рич Маккормик, The Verge , 15 июля 2016 г., доступно по адресу https: // www.theverge.com/2016/7/15/12197050/huffington-post-360-degree-video-rnc-dnc.

«NBC будет транслировать дебаты и другое освещение выборов в VR, начиная с сегодняшнего вечера», Сара Перес, TechCrunch , 21 сентября 2016 г., доступно по адресу https://techcrunch.com/2016/09/21/nbc-will- поток-дебаты-и-другие-освещение-выборы-в-VR-начиная с сегодняшнего дня /.

«НБА будет транслировать прямые трансляции матчей в виртуальной реальности в течение всего сезона», — Дэниел Тердиман, Fast Company , 20 октября 2016 г., доступно по адресу https: // www.fastcompany.com/3064805/the-nba-will-broadcast-live-games-in-vr-all-season-long.

«НФЛ запускает сериал о виртуальной реальности на YouTube и Daydream», Сара Перес, TechCrunch , 4 ноября 2016 г., доступно по адресу https://techcrunch.com/2016/11/04/the-nfl-is- запуск сериала виртуальной реальности на YouTube, мечта /.

«Live NBA появится на платформе Google Daydream VR», Стив Дент, Engadget , 4 января 2017 г., доступно по адресу https: //www.engadget.com / 2017/01/04 / live-nba-is-going-to-googles-vr-platform /.

[20] «VR-короткометражка режиссера« Ревенанта »- первая для Канн», Дженнифер Биссет, CNET , 17 апреля 2017 г., доступно по адресу https://www.cnet.com/news/alejandro-inarritus-revenant -birdmanvr-короткометражный фильм-канны /.

[21] «Будет ли следующий перерыв в классе в трехмерном пространстве? Компания виртуальной реальности Facebook так считает», Джеффри Р. Янг, Chronicle of Higher Education , 12 сентября 2014 г., доступно по адресу http: // chronicle.com / blogs / wiredcampus / will-the-next-classroom-disruption-be-in-3-d-facebooks-virtual-reality-company-thinks-so / 54517.

[22] «Лаборатория виртуальной реальности исследует новые виды иммерсивного обучения», Эллен Векслер, Chronicle of Higher Education , 8 декабря 2015 г., доступно по адресу http://www.chronicle.com/blogs/wiredcampus/virtual- Лаборатория реальности исследует новые виды иммерсивного обучения / 57664.

[23] «Как виртуальная реальность изменит нашу жизнь», Мадхумита Мурджа, Telegraph , 12 декабря 2015 г., доступно по адресу http: // www.telegraph.co.uk/technology/news/12047279/How-virtual-reality-is-going-to-change-our-lives.html.

[24] «Как виртуальная реальность изменит нашу жизнь», Мадхумита Мурджа, Telegraph , 12 декабря 2015 г., доступно по адресу http://www.telegraph.co.uk/technology/news/12047279/How- виртуальная реальность-собирается-изменить-нашу-жизнь.html.

[25] «Walmart обучает сотрудников с помощью симулятора виртуальной реальности Черной пятницы», Ади Робертсон, The Verge , 1 июня 2017 г., доступно по адресу https: // www.theverge.com/2017/6/1/15725732/walmart-strivr-vr-training-module.

[26] «Expedia хочет, чтобы вы виртуально вошли в свой номер в отеле, прежде чем бронировать», Иветт Тан, Mashable , 10 апреля 2017 г., доступно по адресу http://mashable.com/2017/04/10/expedia- vr-travel / # pJekoO55wmq6.

[27] «VR View-Master — это Google Cardboard для детей», Ади Робертсон, The Verge , 9 октября 2015 г., доступно по адресу https://www.theverge.com/2015/10/9/ 9480941 / mattel-view-master-vr-headset-hands-on.

[28] «Сказки VR от Samsung — амбициозное приложение для удаленного воспитания детей», Джеймс Винсент, The Verge , 29 апреля 2016 г., доступно по адресу https://www.theverge.com/2016/4/29 / 11535406 / приложение-виртуальная-виртуальная-реальность-сказка-сказка для сна.

[29] См. Любой из следующих примеров:

«Мюзикл« Король Лев в виртуальной реальности »- это невероятные впечатления», — Тим Мойнихан, Wired , 18 ноября 2015 г., доступно по адресу https://www.wired.com/2015/11/lion-king-vr-video/ .

«Шагни в студию Abbey Road в виртуальной реальности», Blathnaid Healy, Mashable , 1 апреля 2016 г., доступно по адресу http://mashable.com/2016/04/01/abbey-road-vr-tour/#LEOxZe11Igqy .

«NextVR объединяется с Live Nation для трансляции концертов в виртуальной реальности», Джеймс Винсент, The Verge , 4 мая 2016 г., доступно по адресу https://www.theverge.com/2016/5/4/11589814 / nextvr-live-nation-gear-vr-music-gigs.

«Теперь вы можете кататься на поплавке для прайда, не вставая с дивана», — Мэри Эмили О’Хара, Daily Dot , 24 июня 2016 г., доступно по адресу https: // www.dailydot.com/irl/google-pride-virtual-youtube-36-cardboard/.

«Путешествие по Йосемити в виртуальной реальности с Бараком Обамой», Ади Робертсон, The Verge , 25 августа 2016 г., доступно по адресу https://www.theverge.com/2016/8/25/12630724/through-the -аге-обама-национальные-парки-вр-йосемити.

«Теперь вы можете летать вокруг Google Планета Земля в виртуальной реальности», Ади Робертсон, The Verge , 16 ноября 2016 г., доступно по адресу https://www.theverge.com/2016/11/16/13643550/google. -earth-vr-htc-vive-release.

«Google запускает виртуальный тур по праздничным витринам Нью-Йорка», Стив Дент, Engadget , 7 декабря 2016 г., доступно по адресу https://www.engadget.com/2016/12/07/google-holiday-window- vr-tour /.

«Виртуальная реальность может стать следующим рубежом в экскурсиях по кампусам колледжей», Идо Лехнер, PSFK (блог), PSFK, 5 мая 2017 г., доступно по адресу https://www.psfk.com/2017/05/virtual- реальность-колледж-кампус-турыs.html.

«Google запускает Гранд-тур по Италии в рамках платформы искусства и культуры», Тони Коннелли, The Drum , 29 мая 2017 г., доступно по адресу http: // www.thedrum.com/news/2017/05/29/google-launches-the-grand-tour-italy-part-arts-and-culture-platform.

[30] Подробное описание винила виртуальной реальности Childish Gambino ‘Awaken, My Love’, Jazz Monroe, Pitchfork , 10 мая 2017 г., доступно по адресу http://pitchfork.com/news/70287-childish-gambinos-awaken -Моя-любовь-виртуальная реальность-винил-подробный /.

Лучшие гарнитуры VR на 2021 год

Виртуальная реальность — это увлекательный способ путешествовать, используя только мощь технологий.Благодаря гарнитуре и отслеживанию движения VR позволяет вам осматривать виртуальное пространство, как если бы вы действительно были там, или играть в игру, как если бы вы действительно в нем. В последние годы он набирает обороты благодаря увлекательным играм и впечатлениям, хотя кажется, что он все еще находится в состоянии постоянного изменения, поскольку гарнитуры появляются и исчезают довольно быстро. Мы отслеживаем лучшее из того, что сейчас есть на рынке.

Oculus сосредотачивает свои усилия на автономной гарнитуре виртуальной реальности Quest 2, но предоставляет возможность использовать ее как подключенную к ПК с помощью кабеля.У HTC есть привязанный к Steam Vive Cosmos и ориентированный на разработчиков Vive Pro. Sony имеет PS4-совместимую PlayStation VR, а Microsoft поддерживает свою платформу Windows Mixed Reality с помощью небольшого количества гарнитур сторонних производителей. Еще есть Valve с его дорогой гарнитурой Valve Index. Вот что вам нужно знать обо всех из них.

Главный вопрос: какая VR самая лучшая?

Современные гарнитуры VR теперь можно разделить на две категории: привязанные или автономные. Привязанные гарнитуры, такие как HTC Vive Cosmos, PlayStation VR и Valve Index, физически подключены к ПК (или, в случае PS VR, к PlayStation 4).Кабель делает их немного громоздкими, но если поместить всю фактическую обработку видео в коробку, которую вам не нужно пристегивать прямо к лицу, это означает, что ваш опыт виртуальной реальности может быть намного сложнее. Внешние датчики или обращенные наружу камеры на гарнитуре обеспечивают полное отслеживание движений 6DOF (шесть степеней свободы) как для вашей головы, так и для ваших рук благодаря контроллерам, чувствительным к движению.

Самая продаваемая гарнитура VR на этой неделе *

* Сделки отбирает наш партнер TechBargains

Наименее дорогие варианты привязки в настоящее время стоят около 400 долларов, и это до того, как вы решите проблему обработки; для работы Vive Cosmos и Valve Index требуются довольно мощные ПК, а для PS VR требуется PlayStation 4.

Автономные гарнитуры предлагают максимальную физическую свободу, полностью отключая кабели и не требуя каких-либо внешних устройств для обработки. Oculus Quest 2 использует камеры, направленные наружу, аналогичные Oculus Rift S, чтобы обеспечить отслеживание движения 6DOF и аналогичные элементы управления движением 6DOF. У него нет такой же вычислительной мощности, как у отдельного выделенного игрового компьютера, но его высокопроизводительный мобильный процессор по-прежнему может воспроизводить довольно детализированную и плавную графику.

Oculus Quest 2

Oculus Rift был первым громким именем в текущей волне виртуальной реальности, и Oculus по-прежнему остается крупным игроком в этой категории.Тем не менее, он отказывается от специальной привязанной гарнитуры VR, отказываясь от Rift S в пользу полностью сосредоточенного внимания на автономном Quest 2. Это не означает, что вы не можете наслаждаться PC VR на новой гарнитуре компании; вам просто нужно обзавестись дополнительным кабелем.

Oculus Quest 2 — это автономная VR-гарнитура стоимостью 300 долларов, работающая на базе Qualcomm Snapdragon 865, что значительно превосходит оригинальный Quest и его Snapdragon 835. Он предлагает комплексные возможности виртуальной реальности в одном пакете без каких-либо проводов (за исключением зарядить гарнитуру), и в настоящее время обеспечивает самое высокое разрешение среди всех потребительских гарнитур VR: 1920 на 1832 на глаз.Он имеет два элемента управления движением для полного отслеживания движения головы и руки 6DOF и предлагает удивительно надежную библиотеку программного обеспечения VR в своем встроенном магазине.

Однако это не означает, что вы не можете наслаждаться привязанной виртуальной реальностью с Quest 2. Кабель Oculus Link за 79 долларов представляет собой пятиметровый кабель USB-C, который позволяет подключать Quest 2 к компьютеру и использовать его, как привязанный Rift S, для игр в виртуальной реальности для ПК, таких как Half-Life: Alyx. Кабель дорогой, но, учитывая, что Quest 2 на 100 долларов меньше, чем оригинальный Quest, он все равно выходит вперед по стоимости даже после добавления аксессуара.

Sony PlayStation VR

PlayStation VR впечатляет благодаря поддержке Sony, а также доступности и доступности PlayStation 4 по сравнению с игровыми ПК. Все, что вам нужно, — это гарнитура, PlayStation 4 и PlayStation Camera (теперь они входят в большинство комплектов PlayStation VR).

На PS VR есть отличные игры, такие как Moss, Rez Infinite, Until Dawn: Rush of Blood и Five Nights at Freddie’s: Help Wanted. Многие игры для PlayStation VR работают с DualShock 4, поэтому вам даже не нужны элементы управления движением.Однако именно в этих элементах управления движением PlayStation VR отстает; в гарнитуре по-прежнему используются палочки PlayStation Move из эпохи PlayStation 3, и они далеко не так функциональны и удобны, как контроллеры Oculus Touch. Они также дороги и не всегда входят в комплекты PlayStation VR.

Похоже, что PlayStation VR будет работать с будущей PlayStation 5. Sony не объявила о каком-либо новом оборудовании VR, хотя у PS5 будет новый аксессуар камеры, который предположительно будет поддерживать PS VR.

HTC Vive Cosmos

HTC Vive Cosmos — это обновленная версия гарнитуры Vive, которая может похвастаться более высоким разрешением и заменяет внешние базовые станции обращенными наружу камерами для отслеживания движения. Это комплексный пакет для виртуальной реальности для всей комнаты, но стоит 699 долларов, что довольно дорого по сравнению с Oculus Quest 2.

Для еще лучшего отслеживания движения Vive Cosmos Elite возвращает внешние базовые станции, чтобы улучшить отслеживание вашей головы и движений. контроллеры, хотя они и дороже — 899 долларов.Vive Cosmos работает со SteamVR так же, как Oculus Quest 2, и имеет собственный магазин программного обеспечения VR в виде Viveport. Viveport также предлагает членство в Viveport Infinity, которое обеспечивает неограниченный доступ к VR через службу подписки вместо покупки программного обеспечения по выбору.

Valve Index

Если вы думаете, что HTC Vive Cosmos стоит дорого, собственная VR-гарнитура Valve, привязанная к ПК, Valve Index, еще дороже. Он стоит 999 долларов, если вы купите все необходимое для его работы (кроме компьютера, конечно).Вы можете сэкономить деньги, повторно используя свои базовые станции HTC Vive, снизив цену до 749 долларов или приобретя только гарнитуру (и предоставив свои собственные контроллеры движения и базовые станции) за 499 долларов. Это непростая цена, даже если Index имеет значительно более высокую частоту обновления 120 Гц, чем большинство его конкурентов (с экспериментальным режимом 144 Гц), а контроллеры оснащены усовершенствованной системой захвата для более естественного и точного взаимодействия. Нам еще предстоит протестировать Valve Index.

Windows Mixed Reality

Microsoft продвигает свое партнерство с несколькими производителями гарнитур для производства серии гарнитур «смешанной реальности» с поддержкой Windows 10.Различие между виртуальной реальностью и смешанной реальностью пока сомнительно, но оно указывает на интеграцию технологии дополненной реальности (AR) с использованием камер на шлеме. Из различных гарнитур, которые мы тестировали, оборудование хорошее, а настройка проста, но отслеживание положения не так точно, как привязанные гарнитуры с внешними датчиками или Quest 2 с его обращенными наружу камерами слежения. Кроме того, в магазине Windows Mixed Reality не так много захватывающих впечатлений от виртуальной реальности, как в магазинах Rift и SteamVR, хотя вы можете использовать игры SteamVR на гарнитурах Windows Mixed Reality, опять же с некоторой программной борьбой.

В то время как несколько сторонних производителей работали над гарнитурами Windows Mixed Reality в течение последних нескольких лет, единственной потребительской гарнитурой Windows Mixed Reality текущего поколения является HP Reverb G2.

Что случилось с телефонной виртуальной реальностью?

VR-гарнитуры, которые используют ваш смартфон как мозг и дисплей системы, которые раньше были обычным явлением, с Google Cardboard и Samsung Gear VR, позволяющими любому, у кого есть совместимый телефон, получить опыт виртуальной реальности менее чем за 150 долларов.

Эти гарнитуры стали постепенно сокращаться, и Google прекратил выпуск гарнитуры Daydream View, в то время как Samsung не обновляла Gear VR с момента появления Galaxy S9. Вы все еще можете найти дешевые гарнитуры с оболочкой, но программная экосистема и поддержка для них практически нулевые. На данный момент виртуальная реальность для телефонов практически мертва.

Лучшие гарнитуры с дополненной реальностью

Возможно, за последние несколько лет вы видели другие известные визуальные гарнитуры, в том числе Microsoft HoloLens и Magic Leap One.Их нет в этом списке по нескольким причинам, но самая большая из них заключается в том, что это гарнитуры дополненной реальности (AR), а не гарнитуры виртуальной реальности. И да, разница есть.

По сути, эти гарнитуры AR имеют прозрачные линзы, которые позволяют вам смотреть на окружающее, вместо того, чтобы полностью заменять зрение компьютерным изображением. Они по-прежнему могут проецировать изображения поверх всего, на что вы смотрите, но эти изображения предназначены для дополнения и взаимодействия с областью вокруг вас.Вы можете, например, открыть веб-браузер в центре комнаты или посмотреть, как животные бегают по вашему журнальному столику. Это захватывающая технология, которая может намекнуть на будущее вычислений.

Акцент здесь делается на будущее, как и через несколько лет. Это подводит нас ко второй по значимости причине, по которой HoloLens и Magic Leap One не входят в этот список: они не являются потребительскими товарами. Оба устройства предназначены исключительно для разработки оборудования, поэтому программное обеспечение AR может быть создано для их платформ.Учитывая, что каждая гарнитура стоит несколько тысяч долларов, вам не стоит рассчитывать на наличие большой библиотеки возможностей дополненной реальности. За пределами конкретных корпоративных и образовательных сфер применения гарнитуры AR в лучшем случае являются игровой площадкой для первых пользователей, а не для большинства пользователей.

Имея это в виду, мы продолжим отслеживать лучшие новые гарнитуры VR по мере их выпуска, поэтому обязательно проверяйте обновления в ближайшее время. А когда вы найдете подходящую гарнитуру, перейдите к нашему списку лучших VR-игр.

.