Meta разкрива своята система за смесена реалност Meta Reality

Стереоскопичното преминаване на цветовете, пространственото закрепване и разбирането на сцената ще осигурят по-реалистични изживявания със смесена реалност.

Според Сартак Рей, продуктов мениджър в Meta, способността да виждате и взаимодействате със света около себе си чрез смесена реалност отваря нови възможности за VR. „Можете да играете с приятели в една и съща физическа стая или продуктивни изживявания, които комбинират огромни виртуални монитори с физически инструменти, и това е стъпка към нашата по-дългосрочна визия за добавена реалност. “

Противно на общоприетото схващане, изживяването със смесена реалност е най-ефективно, ако VR/AR устройството може убедително да съчетае физическия и виртуалния свят. Това означава, че слушалките трябва да правят нещо повече от просто осигуряване на 2D видео емисия, според скорошна публикация в блог на Oculus. com.

За да продължи своя ангажимент за разработване на авангардни VR технологии, Meta обяви пускането на Meta Reality, нова система за смесена реалност, която предлага вътрешен поглед към това, което се използва за създаването на изключително изживяване.

Стереоскопично преминаване на цветовете за пространствено осъзнаване

Meta признава значението на цветната и стереоскопичната 3D технология, когато става въпрос за предоставяне на удобни и завладяващи изживявания със смесена реалност.

„Meta Quest Pro комбинира два изгледа на камерата, за да реконструира реалистична дълбочина, което гарантира, че изживяванията със смесена реалност, изградени с помощта на цветно преминаване, са удобни за хората“, обясни мениджърът по инженерство на Meta Computer Vision Рикардо Силвейра Кабрал. „Но също така, сигналите за стерео текстура позволяват на мозъка на потребителя да направи останалото и да направи извод за дълбочина, дори когато реконструкцията на дълбочината не е перфектна или е извън обхвата на системата. “

Например, когато използвате Passthrough, мозъкът ви научава, че чашата за кафе е приблизително толкова далеч от ръката ви, колкото и от писалката, която стои точно до вас.

Oculus Insight, който можеше да улови само 100 точки на интерес, за да определи позицията на слушалките в стаята, беше технология, която предостави първата самостоятелна система за проследяване за потребителско VR устройство. Оттогава той е надграден, за да позволи дълбоко отчитане. За сравнение, Meta Quest Pro може да генерира до 10 000 лихвени точки в секунда при различни условия на осветление, което ви позволява да създадете подобрено 3D представяне на вашето физическо пространство в реално време.

Чрез този процес Meta е в състояние да създаде 3D модел на физическия свят, който непрекъснато се актуализира. След това можете да използвате тези данни, за да създадете рамка за предсказуемо изобразяване, която може да създаде изображения на вашата реална среда. За да се компенсира забавянето на изобразяването, реконструкциите се настройват към лявото и дясното око на потребителите чрез алгоритъма Asynchronous TimeWarp.

Според Силвейра Кабрал, използването на цветна стереоскопична камера позволява на екипа да предостави по-реалистична интерпретация на реалния свят.

Разбиране на сцена за смесване на виртуално съдържание във физическия свят

Компонентът Scene Understanding на платформата за присъствие беше представен по време на събитието Connect 2021. Тази технология позволява на разработчиците да създават сложни и съобразени със сцената преживявания със смесена реалност. Според Wei Lyu, продуктов мениджър на Meta Quest Pro, компонентът Scene Understanding на компанията е създаден, за да помогне на разработчиците да се съсредоточат върху изграждането на своя бизнес и опит.

„Ние въведохме Scene Understanding като системно решение“, каза Лю.

Разбирането на сцената е разделено на три области:

• Модел на сцена – Единично, цялостно, актуално и управлявано от системата представяне на средата, състоящо се от геометрична и семантична информация. Основните елементи на сценичния модел са котви. Всяка котва може да бъде прикрепена към различни компоненти. Например всекидневната на потребителя е организирана около отделни котви със семантични етикети, като под, таван, стени, бюро и диван. Анкерите са прикрепени с просто геометрично представяне: 2D граница или 3D ограничаваща кутия.
• Улавяне на сцена – Насочван от системата поток, който позволява на потребителите да се разхождат и да заснемат архитектурата и мебелите на стаята си, за да генерират модел на сцена. В бъдеще целта ще бъде да се достави автоматизирана версия на Scene Capture, която не изисква хората ръчно да заснемат заобикалящата ги среда.
• Scene API – Интерфейс, който приложенията могат да използват за достъп до пространствена информация в Scene Model за различни случаи на употреба, включително разположение на съдържание, физика, навигация и т. н. С Scene API разработчиците могат да използват Scene Model, за да накарат виртуална топка да отскача от физическа повърхности в действителната стая или виртуален робот, който може да мащабира физическите стени.

„Разбирането на сцени намалява триенето за разработчиците, като им позволява да изградят MR изживявания, които са възможно най-правдоподобни и потапящи с ефекти на оклузия и сблъсък в реално време“, добави Рей.

Пространствени котви за поставяне на виртуални обекти

Разработчиците могат лесно да създават първокласни изживявания със смесена реалност, използвайки Spatial Anchors, което е основна възможност на платформата Meta Quest Pro. Например, продуктов дизайнер може лесно да закотви множество 3D модели във физическо пространство, използвайки платформа като Gravity Sketch, за да създаде безпроблемна среда за своя продукт.

„Ако стереоскопичният цвят Passthrough и Scene Understanding вършат тежката работа, за да позволят на MR преживяванията да смесят физическия и виртуалния свят, нашите възможности за закотвяне осигуряват съединителната тъкан, която държи всичко заедно“, каза продуктовият мениджър на Meta Лаура Ону.

Заедно с модела на сцената, пространствените котви могат да се използват за създаване на богати и автоматични среди за различни преживявания и ситуации. Например, можете да създадете виртуална врата, която е свързана с физическа стена. Това би било огромна стъпка за компаниите, които търсят XR технологията за своите корпоративни решения в дигиталното побратимяване, автоматизацията на складовете и дори роботиката.

Засега изглежда, че Мета е по-фокусирана върху социалните преживявания. „Чрез комбиниране на Scene Understanding с Spatial Anchors, вие можете да смесите и адаптирате своите MR преживявания към средата на потребителя, за да създадете нов свят, пълен с възможности“, според Onu, който добавя: „Можете да станете таен агент в собствената си всекидневна , поставете виртуални мебели в стаята си или скицирайте разширение на дома си, създайте игри с физика и др. “

Споделени пространствени котви за съвместно разположени преживявания

Освен това Meta добави функцията Shared Spatial Anchors към платформата за присъствие. Това ви позволява да създавате местни мултиплейър изживявания, като споделяте вашите котви с други потребители в същото пространство. Това ще позволи на вас и други приятели да играете VR настолна игра върху физическа маса по същия начин, по който Tilt Five предоставя техните игрови изживявания.

Печеливша комбинация за смесена реалност

Комбинацията от Spatial Anchors, Passthrough и Scene Understanding може да помогне за създаването на богата и интерактивна среда, която е проектирана да изглежда и да се чувства като реалния свят. Авинав Пашине, продуктов мениджър на Meta Quest Pro, отбеляза, че има много компромиси, включени в създаването на страхотна и удобна среда за смесена реалност за потребителите.

Бъдещето на Meta Reality все още се развива, тъй като компанията непрекъснато подобрява платформата чрез софтуерни актуализации и хардуерни иновации, които ще бъдат доставени в следващото поколение на техните продукти. Силвейра Кабрал, продуктов мениджър на Meta Quest Pro, отбеляза, че първият продукт на компанията е важна стъпка в еволюцията на Meta Reality.

„Искаме да се учим заедно с разработчиците, докато изграждат завладяващи изживявания, които предефинират какво е възможно с VR слушалки. Тази история все още не е завършена - това е само първа страница.