Здоровье - правильное питание

Вкусно, полезно, эффективно!
  • !
  • Educlub.com.ua - Здоровье - правильное питание
  • Поделись с друзьями:
 

Google зробила шолом віртуальної реальності прозорими

  1. Запис 3D-моделі особи
  2. Поєднання моделі, окулографія і картинки з зовнішньої камери
  3. Компонування і візуалізація

Команди Daydream Labs, Google Research і YouTube об'єдналися для вирішення соціальної проблеми: в шоломах віртуальної реальності наші особи наполовину закриті корпусами пристроїв, що позбавляє можливості бачити очі користувачів, знижує довіру між людьми, негативно відбивається на якості взаємодії

Команди Daydream Labs, Google Research і YouTube об'єдналися для вирішення соціальної проблеми: в шоломах віртуальної реальності наші особи наполовину закриті корпусами пристроїв, що позбавляє можливості бачити очі користувачів, знижує довіру між людьми, негативно відбивається на якості взаємодії. Це особливо яскраво проявляється в трансляціях ВР-ігор через змішану реальність - способі показати і справжнього гравця, і його віртуальне оточення за допомогою зеленого екрану, камери і системи трекінгу.

Щоб глядачі могли бачити обличчя користувача, фахівці відділу Google VR застосували технології машинного навчання, комп'ютерного зору і передової візуалізації з модифікованим шоломом Vive.

Запис 3D-моделі особи

Першим кроком стало побудова динамічної тривимірної моделі особи користувача з його мімічними рухами, такими, як моргання, підморгування і погляди в різні боки. Процедура створення моделі найбільш зрозуміла власникам Xbox c Kinect, які хоч раз заводили 3D-аватар. Такі аватари зможуть робити смартфони з Tango і, ймовірно, нові iPhone.

Процес запису моделі включає початковий етап, в якому користувач сидить перед камерою з датчиком глибини і стежить очима за маркером, що переміщається по екрану. Калібрування проводиться одноразово і зараз займає менше хвилини. Створюється база даних текстур і форм для різних положень очей і вік - надалі вона дозволить генерувати їх поєднання, роблячи модель природної і живий.

Створюється база даних текстур і форм для різних положень очей і вік - надалі вона дозволить генерувати їх поєднання, роблячи модель природної і живий

Поєднання моделі, окулографія і картинки з зовнішньої камери

Далі інженери використовували Vive з модифікацією від SMI , Яка дозволяє відстежувати рухи очей. Сьогодні серійні шоломи, за винятком FOVE 0 , На таке не здатні, але ми очікуємо появи цієї функції в більшості пристроїв на ринку протягом декількох найближчих років. Дані з модуля SMI дозволяють системі в реальному часі вирішувати, яке поєднання графічних елементів для відображення особи використовувати в певний момент.

Зовнішня камера синхронізована з картинкою в шоломі. Користувач вирізається з кадру і вставляється в картинку з комп'ютера. Тут важлива точність калібрування систем координат камери і шолома, яка виробляється вручну в кілька етапів. Процес був оптимізований додаванням контрастного маркера на передню панель шолома. Потім на отримане зображення накладається модель особи. Щоб «зняти» шолом, потрібно точно вирівнювати модель особи за матеріальним становищем видимої його частини в потоковому режимі.

Щоб «зняти» шолом, потрібно точно вирівнювати модель особи за матеріальним становищем видимої його частини в потоковому режимі

Компонування і візуалізація

Саме по собі зображення з окулографіческіх камер недостатньо детальне для прямої трансляції - ці камери призначені не для зйомки красивого відео, а для швидкої фіксації рухів. Потокове поєднання цих даних з динамічною моделлю особи і їх накладення на картинку з зовнішньої камери дає підсумкову модель користувача без шолома (або, якщо точніше, з прозорим шоломом). Для більш плавної передачі рухів може застосовуватися вставка кадрів, а щоб уникнути критичної помилки в різниці між освітленістю 3D-моделі і видимої частини особи, застосовується корекція світла і розтушовування.

Але чому шолом не знімається зовсім? Справа в ефекті «зловісної долини» , Який проявляється в неприязні і відразі до ляльок, роботам або іншим моделям, дуже схожим на людей, але відрізняється якою-небудь деталлю. Це працює при дрібних невідповідності реальності і викликає почуття дискомфорту і страху. Справа в тому, що процес накладення моделі на обличчя точний лише до певної межі, а кордони шолома допомагають приховати помилки.

Справа в тому, що процес накладення моделі на обличчя точний лише до певної межі, а кордони шолома допомагають приховати помилки

Спочатку рішення планувалося застосовувати тільки для запису і стрімінга ігор, але з часом інженери побачили потенціал технології для соціальної віртуальної реальності. Google запевняє, що це лише початок роботи над проектом.

Чи не пропускайте найважливіші новини про доповненої, змішаної і віртуальної реальності - підписуйтесь на Голографик в ВК , Twitter і Facebook !

далі: Valve додала в SteamVR можливість транслювати ігри в прямому ефірі

За матеріалами Google Research ( 1 і 2 )

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту і натисніть Ctrl + Enter.

Підтримай Голографик на Patreon!

Але чому шолом не знімається зовсім?