Meta dévoile son système de réalité mixte Meta Reality

La transmission stéréoscopique des couleurs, l'ancrage spatial et la compréhension de la scène offriront des expériences de réalité mixte plus réalistes.

Selon Sarthak Ray, chef de produit chez Meta, la possibilité de voir et d'interagir avec le monde qui vous entoure à travers la réalité mixte ouvre de nouvelles opportunités pour la réalité virtuelle. "Vous pouvez jouer avec des amis dans la même salle physique ou vivre des expériences de productivité qui combinent d'énormes moniteurs virtuels avec des outils physiques, et c'est une étape vers notre vision à plus long terme de la réalité augmentée. "

Contrairement à la croyance populaire, une expérience de réalité mixte est plus efficace si l'appareil VR/AR peut mélanger de manière convaincante les mondes physique et virtuel. Cela signifie que le casque doit faire plus que simplement fournir un flux vidéo 2D, selon un récent article de blog sur Oculus. com.

Pour poursuivre son engagement à développer des technologies VR de pointe, Meta a annoncé le lancement de Meta Reality, un nouveau système de réalité mixte qui offre un aperçu de ce qui se passe dans la création d'une expérience exceptionnelle.

Intercommunication stéréoscopique des couleurs pour une meilleure connaissance de l'espace

Meta reconnaît l'importance de la couleur passthrough et de la technologie 3D stéréoscopique lorsqu'il s'agit de fournir des expériences de réalité mixte confortables et immersives.

"Meta Quest Pro combine deux vues de caméra pour reconstruire une profondeur réaliste, ce qui garantit que les expériences de réalité mixte construites à l'aide de la couleur Passthrough sont confortables pour les gens", a expliqué Ricardo Silveira Cabral, responsable de l'ingénierie Meta Computer Vision. "Mais aussi, les signaux de texture stéréo permettent au cerveau de l'utilisateur de faire le reste et de déduire la profondeur même lorsque la reconstruction de la profondeur n'est pas parfaite ou dépasse la portée du système. "

Par exemple, lorsque vous utilisez Passthrough, votre cerveau apprend que la tasse de café est à peu près aussi éloignée de votre main que du stylo qui est assis juste à côté de vous.

Oculus Insight, qui ne pouvait capturer que 100 points d'intérêt pour déterminer la position du casque dans une pièce, était une technologie qui a fourni le premier système de suivi autonome pour un appareil VR grand public. Il a depuis été mis à niveau pour permettre la détection en profondeur. À titre de comparaison, Meta Quest Pro peut produire jusqu'à 10 000 points d'intérêt par seconde dans différentes conditions d'éclairage, vous permettant de créer une représentation 3D améliorée de votre espace physique en temps réel.

Grâce à ce processus, Meta est capable de créer un modèle 3D du monde physique qui est continuellement mis à jour. Vous pouvez ensuite utiliser ces données pour créer un cadre de rendu prédictif qui peut produire des images de votre environnement réel. Pour compenser la latence du rendu, les reconstructions sont ajustées aux vues des yeux gauche et droit des utilisateurs via l'algorithme Asynchronous TimeWarp.

Selon Silveira Cabral, l'utilisation d'une caméra stéréoscopique couleur permet à l'équipe de fournir une interprétation plus réaliste du monde réel.

Compréhension de la scène pour intégrer le contenu virtuel dans le monde physique

Le composant Scene Understanding de Presence Platform a été présenté lors de l'événement Connect 2021. Cette technologie permet aux développeurs de créer des expériences de réalité mixte complexes et sensibles à la scène. Selon Wei Lyu, chef de produit de Meta Quest Pro, le composant Scene Understanding de la société a été conçu pour aider les développeurs à se concentrer sur la création de leurs entreprises et de leurs expériences.

"Nous avons introduit Scene Understanding en tant que solution système", a déclaré Lyu.

Scene Understanding est divisé en trois domaines :

• Modèle de scène - Une représentation unique, complète, à jour et gérée par le système de l'environnement composée d'informations géométriques et sémantiques. Les éléments fondamentaux d'un modèle de scène sont les ancres. Chaque ancre peut être attachée à divers composants. Par exemple, le salon d'un utilisateur est organisé autour d'ancres individuelles avec des étiquettes sémantiques, telles que le sol, le plafond, les murs, le bureau et le canapé. Les ancres sont attachées avec une représentation géométrique simple : une frontière 2D ou une boîte englobante 3D.
• Capture de scène – Un flux guidé par le système qui permet aux utilisateurs de se déplacer et de capturer l'architecture et les meubles de leur pièce pour générer un modèle de scène. À l'avenir, l'objectif sera de fournir une version automatisée de Scene Capture qui n'oblige pas les gens à capturer manuellement leur environnement.
• API de scène - Une interface que les applications peuvent utiliser pour accéder aux informations spatiales dans le modèle de scène pour divers cas d'utilisation, y compris le placement de contenu, la physique, la navigation, etc. Avec l'API de scène, les développeurs peuvent utiliser le modèle de scène pour faire rebondir une balle virtuelle sur des objets physiques. surfaces dans la pièce réelle ou un robot virtuel qui peut escalader les murs physiques.

"Scene Understanding réduit les frictions pour les développeurs, leur permettant de créer des expériences MR aussi crédibles et immersives que possible avec des effets d'occlusion et de collision en temps réel", a ajouté Ray.

Ancres spatiales pour le placement d'objets virtuels

Les développeurs peuvent facilement créer des expériences de réalité mixte de première classe à l'aide des ancres spatiales, qui est une capacité essentielle de la plate-forme Meta Quest Pro. Par exemple, un concepteur de produit peut facilement ancrer plusieurs modèles 3D dans un espace physique à l'aide d'une plate-forme comme Gravity Sketch pour créer un environnement homogène pour son produit.

« Si la couleur stéréoscopique Passthrough et Scene Understanding font le gros du travail pour permettre aux expériences MR de mélanger le monde physique et virtuel, nos capacités d'ancrage fournissent le tissu conjonctif qui maintient le tout », a déclaré Laura Onu, Meta Product Manager.

Avec le modèle de scène, les ancres spatiales peuvent être utilisées pour créer des environnements riches et automatiques pour une variété d'expériences et de situations. Par exemple, vous pouvez créer une porte virtuelle connectée à un mur physique. Ce serait un grand pas en avant pour les entreprises qui envisagent la technologie XR pour leurs solutions d'entreprise dans le domaine du jumelage numérique, de l'automatisation des entrepôts et même de la robotique.

Pour l'instant, il semble que Meta se concentre davantage sur les expériences sociales. "En combinant Scene Understanding avec Spatial Anchors, vous pouvez mélanger et adapter vos expériences MR à l'environnement de l'utilisateur pour créer un nouveau monde plein de possibilités", selon Onu, qui ajoute : "Vous pouvez devenir un agent secret dans votre propre salon , placez des meubles virtuels dans votre chambre ou dessinez une extension de votre maison, créez des jeux de physique, et plus encore.

Ancres spatiales partagées pour des expériences colocalisées

De plus, Meta a ajouté la fonctionnalité d'ancrages spatiaux partagés à la plate-forme de présence. Cela vous permet de créer des expériences multijoueurs locales en partageant vos ancres avec d'autres utilisateurs dans le même espace. Cela vous permettrait, à vous et à d'autres amis, de jouer à un jeu de société VR sur une table physique de la même manière que Tilt Five offre ses expériences de jeu.

Une combinaison gagnante pour la réalité mixte

La combinaison des ancres spatiales, du passage et de la compréhension de la scène peut aider à créer un environnement riche et interactif conçu pour ressembler au monde réel. Avinav Pashine, chef de produit de Meta Quest Pro, a noté qu'il existe de nombreux compromis impliqués dans la création d'un environnement de réalité mixte agréable et confortable pour les utilisateurs.

L'avenir de Meta Reality continue d'évoluer car la société améliore continuellement la plate-forme grâce à des mises à jour logicielles et aux innovations matérielles qui seront livrées dans la prochaine génération de leurs produits. Silveira Cabral, chef de produit de Meta Quest Pro, a noté que le premier produit de la société est une étape importante dans l'évolution de Meta Reality.

"Nous voulons apprendre avec les développeurs alors qu'ils créent des expériences fascinantes qui redéfinissent ce qui est possible avec un casque VR. Cette histoire n'est pas encore terminée, ce n'est que la première page.