IllumiRoom - IllumiRoom

Подтверждение концепции IllumiRoom на экране Red Eclipse

IllumiRoom это Microsoft Research проект, который увеличивает а телевидение экран с изображениями, проецируемыми на стену и окружающие предметы. Электрический ток доказательство концепции использует Kinect датчик и видеопроектор. Датчик Kinect улавливает геометрию и цвета области комнаты, окружающей телевизор, и проектор отображает видео вокруг телевизора, которое соответствует источнику видео на телевизоре, например видео игра или кино.

История

IllumiRoom был впервые представлен на Выставка бытовой электроники 2013.[1] На выставке Microsoft, с участием Samsung, показали видео-презентацию системы. В ОМС 2013, Microsoft представила более подробную информацию о системе, в том числе статью, написанную с исследователем из Университет штата Иллинойс в Урбане-Шампейн.[2][3]

Система

В прототипе системы используется проектор с широким полем зрения и Kinect для Windows датчик. Kinect фиксирует цвет и геометрию помещения, а проектор отображает изображения на карте глубины, полученной датчиком.

Технологии

Концепция IllumiRoom основана на предыдущей работе и исследованиях с использованием экраны фокус-плюс-контекст и проекционное отображение. Технология «фокус плюс контекст» обычно использует экран с высоким разрешением, окруженный дисплеем с более низким разрешением. Цитаты исследования Microsoft CHI 2013 Philips ' Ambilight в качестве примера отображения «фокус плюс контекст». В случае IllumiRoom телевизор представляет собой экран с высоким разрешением, а окружающая проекция представляет собой дисплей с более низким разрешением. Цель этой технологии - предоставить пользователю дополнительную визуальную информацию о зрительной периферии, моделируя и используя периферийное зрение. Хотя центр взгляда человека находится в высоком разрешении и чувствителен к цвету и деталям, периферийное зрение менее чувствителен к цвету и деталям, но очень чувствителен к движению.

IllumiRoom сочетает в себе концепцию «фокус плюс контекст» с в реальном времени проекционное отображение. Это позволяет использовать систему в любом помещении, а не только там, где телевизор окружен плоской белой стеной.

Сенсор Kinect используется для калибровки системы и проекции. Проектор отображает систему серых узоров, а камера Kinect считывает размер узора по всей проекции, чтобы отобразить трехмерную среду. После калибровки сенсор Kinect больше не нужен для системы IllumiRoom и может использоваться для игр.[3] IllumiRoom был разработан с открытым исходным кодом. шутер от первого лица Красное затмение в качестве прототипа приложения.[4]

Режимы

В настоящее время система может отображать видеоигры в одном из нескольких режимов. Эти режимы требуют, чтобы система имела доступ к процессу рендеринга игры:[3]

  • Focus + Context Full: Полный контент игры проецируется по телевизору.
  • Фокус + края контекста: вокруг телевизора проецируются только высококонтрастные края (например, здания, персонажи, декорации).
  • Фокус + Сегментированный контекст: игровой контент проецируется только на часть окружающей среды, чаще всего на плоскую стену.
  • Focus + Context Selective: по телевизору проецируется только выбранный игровой контент (например, пули, пламя).

Без доступа к рендерингу игры доступны несколько других режимов проекции:[3]

  • Периферийный поток: система отображает сетку или звездное поле, которое перемещается вместе с камерой видеоигры по телевизору.
  • Увеличение цвета: система изменяет внешний вид физических объектов в комнате в соответствии с темой или внешним видом игры, насыщая цвета, делая их черно-белыми или создавая мультяшный вид.
  • Смещение текстуры: проектор создает иллюзию искажения физических объектов в комнате. Эффект радиального колебания создает иллюзию того, что на объекты в комнате действует колеблющееся силовое поле, исходящее от телевизора.
  • Освещение: поскольку проект обеспечивает освещение для комнаты, он может проецировать световые эффекты, которые соответствуют освещению из видеоигры.
  • Физическое взаимодействие: объекты в игре могут напрямую взаимодействовать с окружающей средой комнаты. Например, мяч может вылететь из игры и упасть на объекты в физической среде.

Коммерческое использование

Хотя широко ожидается, что она будет использоваться в приложении Xbox, исследователи заявили, что эта технология на данный момент является всего лишь исследовательским проектом и не готова для коммерческого использования.[5]

RoomAlive

RoomAlive, родственный проект Microsoft Research, также использует камеру глубины и видеопроектор в камере-проекторе или установке «procam». Это масштабируемая система для динамического интерактивного проецирования в реальном времени, в которой несколько таких прокамов могут использоваться вместе в комнате для создания захватывающий унифицированное проекционное отображение, которое автоматически адаптируется к среде помещения и с которым пользователи могут взаимодействовать физически. В отличие от IllumiRoom, который реализует визуальное представление с фокусом и контекстом на телеэкране, RoomAlive фокусируется на приложениях пространственной дополненной реальности.[6]

В апреле 2015 года Microsoft выпустила RoomAlive Toolkit, Открытый исходный код Лицензия MIT[7] комплект для разработки программного обеспечения для калибровки сети видеопроекторов и датчиков Kinect, которые могут использоваться для разработки систем, подобных системам проектов RoomAlive и IllumiRoom.[8] В исходный код доступен в их публичном репозитории.[9]

использованная литература

  1. ^ Том Уоррен (14 января 2013 г.). «Microsoft только что представила следующий Xbox на выставке CES». Грани. Vox Media. Получено 29 апреля 2013.
  2. ^ Том Уоррен (29 апреля 2013 г.). «Microsoft IllumiRoom - проектор для журнального столика, разработанный для Xbox следующего поколения». Грани. Vox Media. Получено 29 апреля 2013.
  3. ^ а б c d Джонс, Бретт Р.; Бенко, Хрвое; Офек, Эял; Уилсон, Эндрю Д. (2013). «IllumiRoom: иллюзии, проецируемые на периферию для интерактивного восприятия» (PDF). Получено 29 апреля 2013. Цитировать журнал требует | журнал = (Помогите)
  4. ^ IllumiRoom_CHI2013 от Microsoft Research «Большинство иллюзий было объединено с шутером от первого лица с открытым исходным кодом (Red Eclipse). Это создавало богатый интерактивный опыт, доступный благодаря доступу к исходному коду. Иллюзия Snow была объединена с гоночной игрой со снежным уровнем (SuperTuxKart 3), запускается с контроллера. "
  5. ^ Стив Дент (30 апреля 2013 г.). «Microsoft заявляет, что Illumiroom еще не готов к выпуску следующей консоли Xbox, но в июле получит публичную демонстрацию». Engadget. AOL. Получено 30 апреля 2013.
  6. ^ Джонс, Бретт; Содхи, Раджиндер; Мердок, Майкл; Мехра, Равиш; Бенко, Хрвое; Уилсон, Эндрю Д .; Офек, Эял; Макинтайр, Блэр; Рагхуванши, Никундж; Шапира, Лиор (5 октября 2014 г.). «RoomAlive: волшебные впечатления благодаря масштабируемым адаптивным блокам проектор-камера». UIST '14: материалы 27-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса. Нью-Йорк: Ассоциация вычислительной техники: 637–644. Дои:10.1145/2642918.2647383.
  7. ^ Лицензия на github.com
  8. ^ «Набор инструментов RoomAlive представлен на выставке Build 2015». Блог о продуктах Kinect для Windows. Microsoft. 30 апреля 2015 г.. Получено 27 мая 2015.
  9. ^ https://github.com/Microsoft/RoomAliveToolkit

внешние ссылки