Eye-tracking est un changeur de jeu pour la réalité virtuelle qui va bien au-delà du rendu fovéal

Le suivi oculaire - la capacité de mesurer rapidement et précisément la direction dans laquelle un utilisateur regarde à l'intérieur d'un casque VR - est souvent évoqué dans le contexte du rendu fovéal et de la manière dont il pourrait réduire les exigences de performances de la VR. Et bien que le rendu fovéal soit un cas d'utilisation passionnant pour le suivi oculaire dans les casques VR, le suivi oculaire apporte beaucoup plus à la table.

On parle depuis de nombreuses années de suivi oculaire en ce qui concerne la réalité virtuelle en tant que technologie distante, mais le matériel devient enfin de plus en plus disponible pour les développeurs et les clients. PSVR 2 et Quest Pro sont les derniers exemples de casques avec suivi oculaire intégré, ainsi que Varjo Aero, Vive Pro Eye et plus encore.

Avec cet élan, en quelques années seulement, nous pourrions voir le suivi oculaire devenir un élément standard des casques VR grand public. Lorsque cela se produit, il existe un large éventail de fonctionnalités que la technologie peut activer pour améliorer considérablement l'expérience VR.

Rendu fovéal

Commençons d'abord par celui que beaucoup de gens connaissent déjà. Le rendu Foveated vise à réduire la puissance de calcul requise pour afficher des scènes VR exigeantes. Le nom vient de la «fovéa» - une petite fosse au centre de la rétine humaine qui est densément remplie de photorécepteurs. C'est la fovéa qui nous donne une vision haute résolution au centre de notre champ de vision ; pendant ce temps, notre vision périphérique est en fait très mauvaise pour capter les détails et les couleurs, et est mieux adaptée pour repérer les mouvements et les contrastes que pour voir les détails. Vous pouvez le considérer comme un appareil photo doté d'un grand capteur avec seulement quelques mégapixels et d'un autre capteur plus petit au milieu avec beaucoup de mégapixels.

La région de votre vision dans laquelle vous pouvez voir en détail est en réalité beaucoup plus petite que ce que la plupart des gens pensent - à peine quelques degrés au centre de votre vue. La différence de pouvoir de résolution entre la fovéa et le reste de la rétine est si drastique que sans votre fovéa, vous ne pourriez pas distinguer le texte de cette page. Vous pouvez le voir facilement par vous-même : si vous gardez vos yeux concentrés sur ce mot et essayez de lire seulement deux phrases ci-dessous, vous constaterez qu'il est presque impossible de comprendre ce que disent les mots, même si vous pouvez voir quelque chose qui ressemble à des mots. La raison pour laquelle les gens surestiment la région fovéale de leur vision semble être parce que le cerveau fait beaucoup d'interprétations et de prédictions inconscientes pour construire un modèle de la façon dont nous croyons que le monde est.

Le rendu fovéa vise à exploiter cette bizarrerie de notre vision en rendant la scène virtuelle en haute résolution uniquement dans la région que la fovéa voit, puis en réduisant considérablement la complexité de la scène dans notre vision périphérique où le détail ne peut pas être résolu de toute façon . Cela nous permet de concentrer la majeure partie de la puissance de traitement là où elle contribue le plus aux détails, tout en économisant des ressources de traitement ailleurs. Cela peut ne pas sembler énorme, mais à mesure que la résolution d'affichage des casques VR et le champ de vision augmentent, la puissance nécessaire pour rendre des scènes complexes augmente à un rythme presque exponentiel.

Le suivi oculaire entre bien sûr en jeu car nous devons savoir où se trouve le centre du regard de l'utilisateur à tout moment, rapidement et avec une grande précision afin d'obtenir un rendu fovéal. On pense que cette illusion pourrait être réalisée d'une manière totalement invisible pour l'utilisateur; pour l'anecdote, j'ai vu des démos récentes où c'était le cas.

Détection et réglage automatiques de l'utilisateur

En plus de détecter les mouvements, l'oculométrie peut également être utilisée comme identifiant biométrique. Cela fait du suivi oculaire un excellent candidat pour plusieurs profils d'utilisateurs sur un seul casque. Lorsque je mets le casque, le système peut m'identifier instantanément en tant qu'utilisateur unique et appeler mon environnement personnalisé, ma bibliothèque de contenu, ma progression dans le jeu et mes paramètres. Lorsqu'un ami met le casque, le système peut charger ses préférences et les données enregistrées.

Le suivi oculaire peut également être utilisé pour mesurer avec précision l'IPD, la distance entre les yeux. Connaître votre IPD est important en réalité virtuelle, car il est nécessaire de déplacer les lentilles et les écrans dans la position optimale pour le confort et la qualité visuelle. Malheureusement, beaucoup de gens ne savent pas quelle est leur IPD (vous pouvez obtenir une mesure approximative si vous demandez à quelqu'un de tenir une règle devant vos yeux ou demandez à votre ophtalmologiste).

Avec le suivi oculaire, il serait facile de mesurer instantanément l'IPD de chaque utilisateur, puis de demander au logiciel du casque d'aider l'utilisateur à ajuster la correspondance IPD du casque ou d'avertir les utilisateurs que leur IPD est en dehors de la plage prise en charge par le casque.

Dans les casques plus avancés, ce processus pourrait être invisible et automatique - l'IPD pourrait être mesuré de manière invisible, et le casque pourrait avoir un réglage IPD motorisé qui déplacerait automatiquement les lentilles dans la bonne position sans que l'utilisateur ait besoin d'en être conscient .

Écrans à focale variable

Les systèmes optiques utilisés dans les casques VR d'aujourd'hui fonctionnent plutôt bien, mais ils sont en fait assez simples et ne prennent pas en charge une fonction importante de la vision humaine : la mise au point dynamique. En effet, l'affichage dans un casque VR est toujours à la même distance de nos yeux, même lorsque la profondeur stéréoscopique suggère le contraire. Cela conduit à un problème appelé conflit vergence-accommodation. Si vous souhaitez en savoir un peu plus en profondeur, consultez notre introduction ci-dessous :

Abécédaire : Conflit Vergence-Accommodation (cliquer pour développer)

Hébergement

Dans le monde réel, pour se concentrer sur un objet proche, la lentille de votre œil se plie pour que la lumière de l'objet frappe le bon endroit sur votre rétine, vous donnant une vue nette de l'objet. Pour un objet plus éloigné, la lumière se déplace sous différents angles dans votre œil et la lentille doit à nouveau se plier pour s'assurer que la lumière est focalisée sur votre rétine. C'est pourquoi, si vous fermez un œil et que vous vous concentrez sur votre doigt à quelques centimètres de votre visage, le monde derrière votre doigt est flou. À l'inverse, si vous vous concentrez sur le monde derrière votre doigt, votre doigt devient flou. C'est ce qu'on appelle l'hébergement.

vergence

Ensuite, il y a la vergence, c'est-à-dire lorsque chacun de vos yeux tourne vers l'intérieur pour "converger" les vues séparées de chaque œil en une seule image qui se chevauche. Pour les objets très éloignés, vos yeux sont presque parallèles, car la distance entre eux est si petite par rapport à la distance de l'objet (ce qui signifie que chaque œil voit une partie presque identique de l'objet). Pour les objets très proches, vos yeux doivent pivoter vers l'intérieur pour aligner la perspective de chaque œil. Vous pouvez également le voir avec notre petit tour du doigt comme ci-dessus : cette fois, en utilisant les deux yeux, maintenez votre doigt à quelques centimètres de votre visage et regardez-le. Remarquez que vous voyez des images doubles d'objets loin derrière votre doigt. Lorsque vous vous concentrez ensuite sur ces objets derrière votre doigt, vous voyez maintenant une image à deux doigts.

Le conflit

Avec des instruments suffisamment précis, vous pouvez utiliser la vergence ou l'accommodation pour savoir à quelle distance se trouve un objet qu'une personne regarde. Mais le fait est que l'accommodation et la vergence se produisent automatiquement dans votre œil. Et ils ne se produisent pas simplement en même temps - il existe une corrélation directe entre la vergence et l'accommodation, de sorte que pour toute mesure donnée de vergence, il existe un niveau d'accommodation directement correspondant (et vice versa). Depuis que vous êtes un petit bébé, votre cerveau et vos yeux ont formé une mémoire musculaire pour que ces deux choses se produisent ensemble, sans réfléchir, chaque fois que vous regardez quelque chose.

Mais lorsqu'il s'agit de la plupart des casques AR et VR d'aujourd'hui, la vergence et l'accommodation ne sont pas synchronisées en raison des limites inhérentes à la conception optique.

Dans un casque AR ou VR de base, il y a un écran (qui est, disons, à 3″ de votre œil) qui affiche la scène virtuelle, et une lentille qui concentre la lumière de l'écran sur votre œil (tout comme la lentille dans votre œil focaliserait normalement la lumière du monde sur votre rétine). Mais comme l'écran est à une distance statique de votre œil et que la forme de l'objectif est statique, la lumière provenant de tous les objets affichés sur cet écran provient de la même distance. Donc, même s'il y a une montagne virtuelle à huit kilomètres et une tasse de café sur une table à cinq pouces, la lumière des deux objets pénètre dans l'œil sous le même angle (ce qui signifie que votre logement - la courbure de la lentille dans votre œil - ne change jamais ).

Cela entre en conflit avec la vergence de ces casques qui, car nous pouvons montrer une image différente à chaque œil, est variable. Pouvoir ajuster l'image indépendamment pour chaque œil, de sorte que nos yeux doivent converger vers des objets à différentes profondeurs, est essentiellement ce qui donne la stéréoscopie des casques AR et VR d'aujourd'hui.

Mais l'affichage le plus réaliste (et sans doute le plus confortable) que nous pourrions créer éliminerait le problème de l'adaptation à la vergence et laisserait les deux fonctionner en synchronisation, comme nous en avons l'habitude dans le monde réel.

Les écrans varifocal - ceux qui peuvent modifier dynamiquement leur profondeur focale - sont proposés comme solution à ce problème. Il existe un certain nombre d'approches pour les écrans à focale variable, dont la plus simple est peut-être un système optique dans lequel l'écran est physiquement déplacé d'avant en arrière par rapport à l'objectif afin de modifier la profondeur focale à la volée.

La réalisation d'un tel affichage varifocal actionné nécessite un suivi oculaire car le système doit savoir précisément où dans la scène l'utilisateur regarde. En traçant un chemin dans la scène virtuelle à partir de chacun des yeux de l'utilisateur, le système peut trouver le point où ces chemins se croisent, établissant le plan focal approprié que l'utilisateur regarde. Ces informations sont ensuite envoyées à l'écran pour s'ajuster en conséquence, en définissant la profondeur focale pour correspondre à la distance virtuelle entre l'œil de l'utilisateur et l'objet.

Un affichage varifocal bien implémenté pourrait non seulement éliminer le conflit vergence-accommodation, mais également permettre aux utilisateurs de se concentrer sur des objets virtuels beaucoup plus proches d'eux que dans les casques existants.

Et bien avant que nous mettions des écrans à focale variable dans les casques VR, le suivi oculaire pourrait être utilisé pour la profondeur de champ simulée, ce qui pourrait se rapprocher du flou des objets en dehors du plan focal des yeux de l'utilisateur.

Présentoirs Fovés

Alors que le rendu fovéal vise à mieux répartir la puissance de rendu entre la partie de notre vision où nous pouvons voir clairement et notre vision périphérique peu détaillée, quelque chose de similaire peut être réalisé pour le nombre réel de pixels.

Plutôt que de simplement changer les détails du rendu sur certaines parties de l'écran par rapport à d'autres, les écrans fovéatisés sont ceux qui sont déplacés physiquement pour rester devant le regard de l'utilisateur, peu importe où il regarde.

Les écrans Foveated ouvrent la porte à une résolution beaucoup plus élevée dans les casques VR sans forcer brutalement le problème en essayant de caser des pixels à une résolution plus élevée sur tout notre champ de vision. Cela serait non seulement coûteux, mais se heurterait également à des contraintes de puissance difficiles à mesure que le nombre de pixels approche de la résolution rétinienne. Au lieu de cela, les écrans fovéal déplaceraient un écran plus petit et dense en pixels là où l'utilisateur regarde en fonction des données de suivi oculaire. Cette approche pourrait même conduire à des champs de vision plus élevés que ceux qui pourraient autrement être obtenus avec un seul écran plat.

Varjo est une entreprise qui travaille sur un système d'affichage fovéal. Ils utilisent un écran typique qui couvre un large champ de vision (mais qui n'est pas très dense en pixels), puis superposent un micro-écran beaucoup plus dense en pixels. La combinaison des deux signifie que l'utilisateur obtient à la fois un large champ de vision pour sa vision périphérique et une région de très haute résolution pour sa vision fovéale.

Les derniers prototypes de Varjo ne déplacent pas actuellement l'écran plus petit (il traîne juste au centre de l'objectif), mais la société a envisagé un certain nombre de méthodes pour déplacer l'écran afin de garantir que la zone haute résolution est toujours au centre de votre regard.

Suite à la page 2 »