Виртуална реалност
Eye-tracking е промяна на играта за VR, която отива далеч отвъд Foveated Rendering
Проследяването на очите – способността за бързо и прецизно измерване на посоката, в която гледа потребителят, докато е вътре в VR слушалка – често се говори в контекста на фовеатното изобразяване и как може да намали изискванията за производителност на VR. И докато фовеатното изобразяване е вълнуващ случай на използване за проследяване на очите във VR слушалки, проследяването на очите може да донесе много повече на масата.
За проследяването на очите се говори по отношение на VR като далечна технология от много години, но хардуерът най-накрая става все по-достъпен за разработчици и клиенти. PSVR 2 и Quest Pro са най-новите примери за слушалки с вградено проследяване на очите, заедно с такива като Varjo Aero, Vive Pro Eye и други.
С тази инерция само след няколко години можем да видим проследяването на очите да се превърне в стандартна част от потребителските VR слушалки. Когато това се случи, има широка гама от функции, които технологията може да активира, за да подобри драстично VR изживяването.
Foveated Rendering
Нека първо започнем с този, с който много хора вече са запознати. Foveated rendering има за цел да намали изчислителната мощност, необходима за показване на взискателни VR сцени. Името идва от „фовеята“ – малка ямка в центъра на човешката ретина, която е гъсто натъпкана с фоторецептори. Това е фовеята, която ни дава зрение с висока разделителна способност в центъра на нашето зрително поле; междувременно нашето периферно зрение всъщност е много лошо при улавянето на детайли и цвят и е по-добре настроено за забелязване на движение и контраст, отколкото за виждане на детайли. Можете да мислите за това като за камера, която има голям сензор само с няколко мегапиксела и друг по-малък сензор в средата с много мегапиксели.
Областта на вашето зрение, в която можете да виждате с високи детайли, всъщност е много по-малка, отколкото повечето си мислят - само няколко градуса в центъра на вашия изглед. Разликата в разделителната способност между фовеята и останалата част от ретината е толкова драстична, че без фовеята ви не бихте могли да различите текста на тази страница. Можете лесно да видите това сами: ако държите очите си фокусирани върху тази дума и се опитате да прочетете само две изречения по-долу, ще откриете, че е почти невъзможно да разберете какво казват думите, въпреки че можете да видите нещо, наподобяващо думи. Причината, поради която хората надценяват фовеалната област на своето зрение, изглежда е, че мозъкът прави много несъзнателни интерпретации и прогнози, за да изгради модел за това какъв според нас е светът.
Foveated rendering има за цел да използва тази странност на нашето зрение, като рендира виртуалната сцена с висока разделителна способност само в областта, която фовеята вижда, и след това драстично намали сложността на сцената в нашето периферно зрение, където детайлите така или иначе не могат да бъдат разрешени . Това ни позволява да съсредоточим по-голямата част от мощността за обработка там, където тя допринася най-много за детайлите, като същевременно спестяваме ресурси за обработка другаде. Това може да не звучи като голяма сделка, но с увеличаването на разделителната способност на дисплея на VR слушалките и зрителното поле мощността, необходима за изобразяване на сложни сцени, нараства с почти експоненциална скорост.
Проследяването на погледа, разбира се, влиза в игра, защото ние трябва да знаем къде е центърът на погледа на потребителя по всяко време бързо и с висока точност, за да постигнем изобразяване с фове. Смята се, че тази илюзия може да се направи по начин, който е напълно невидим за потребителя; анекдотично, виждал съм скорошни демонстрации, където това беше случаят.
Автоматично разпознаване и настройка на потребителя
В допълнение към откриването на движение, проследяването на очите може да се използва и като биометричен идентификатор. Това прави проследяването на очите чудесен кандидат за множество потребителски профили в една слушалка – когато сложа слушалките, системата може незабавно да ме идентифицира като уникален потребител и да извика моята персонализирана среда, библиотека със съдържание, прогрес на играта и настройки. Когато приятел сложи слушалките, системата може да зареди техните предпочитания и запазени данни.
Проследяването на очите може да се използва и за прецизно измерване на IPD, разстоянието между очите. Познаването на вашия IPD е важно във VR, защото е необходимо за преместване на лещите и дисплеите в оптимална позиция както за комфорт, така и за визуално качество. За съжаление много хора не знаят какво е тяхното IPD (можете да получите грубо измерване, ако помолите някого да доближи линийка до очите ви или попитайте вашия очен лекар).
С проследяването на очите би било лесно незабавно да се измери IPD на всеки потребител и след това софтуерът на слушалките да помогне на потребителя да коригира съответствието на IPD на слушалките или да предупреди потребителите, че техният IPD е извън обхвата, поддържан от слушалките.
В по-усъвършенствани слушалки този процес може да бъде невидим и автоматичен - IPD може да се измерва невидимо и слушалките могат да имат моторизирана настройка на IPD, която автоматично ще премества лещите в правилната позиция, без потребителят да е наясно с това .
Варифокални дисплеи
Оптичните системи, използвани в днешните VR слушалки, работят доста добре, но всъщност са доста прости и не поддържат важна функция на човешкото зрение: динамичен фокус. Това е така, защото дисплеят в VR слушалки винаги е на същото разстояние от очите ни, дори когато стереоскопичната дълбочина предполага друго. Това води до проблем, наречен конфликт на вергенция-приспособяване. Ако искате да научите малко повече в дълбочина, разгледайте нашия буквар по-долу:
Primer: Vergence-Accommodation Conflict (щракнете за разширяване)
Настаняване
В реалния свят, за да фокусирате върху близък обект, лещата на окото ви се огъва, за да накара светлината от обекта да удари правилното място на ретината ви, като ви дава остър изглед на обекта. За обект, който е по-далеч, светлината се движи под различни ъгли в окото ви и лещата отново трябва да се огъне, за да гарантира, че светлината е фокусирана върху ретината ви. Ето защо, ако затворите едното си око и фокусирате пръста си на няколко сантиметра от лицето си, светът зад пръста ви е замъглен. Обратно, ако се фокусирате върху света зад пръста си, пръстът ви се замъглява. Това се нарича настаняване.
Vergence
След това има вергенция, която е, когато всяко от очите ви се завърта навътре, за да „конвергира“ отделните изгледи от всяко око в едно припокриващо се изображение. За много отдалечени обекти очите ви са почти успоредни, тъй като разстоянието между тях е толкова малко в сравнение с разстоянието на обекта (което означава, че всяко око вижда почти идентична част от обекта). За много близки обекти очите ви трябва да се завъртят навътре, за да изравните перспективата на всяко око. Можете да видите това също с нашия трик с малкия пръст, както по-горе: този път, като използвате и двете си очи, дръжте пръста си на няколко сантиметра от лицето си и го погледнете. Забележете, че виждате двойни изображения на обекти далеч зад пръста си. Когато след това се фокусирате върху тези обекти зад пръста си, сега виждате изображение на двоен пръст.
Конфликтът
С достатъчно прецизни инструменти можете да използвате вергенция или акомодация, за да разберете колко далеч е обектът, който човек гледа. Но работата е там, че и акомодацията, и вергенцията се случват в окото ви заедно, автоматично. И те не се случват просто по едно и също време – има пряка връзка между вергенцията и акомодацията, така че за всяко дадено измерване на вергенцията има пряко съответстващо ниво на акомодация (и обратното). Откакто сте били малко бебе, мозъкът и очите ви са формирали мускулна памет, за да направят тези две неща да се случват заедно, без да мислите, всеки път, когато погледнете нещо.
Но когато става въпрос за повечето днешни слушалки за AR и VR, граничността и адаптацията не са синхронизирани поради присъщите ограничения на оптичния дизайн.
В базовите AR или VR слушалки има дисплей (който е, да кажем, на 3 инча от окото ви), който показва виртуалната сцена, и леща, която фокусира светлината от дисплея върху окото ви (точно като лещата в окото ви обикновено би фокусирало светлината от света върху ретината ви). Но тъй като дисплеят е на статично разстояние от окото ви и формата на лещата е статична, светлината, идваща от всички обекти, показани на този дисплей, идва от същото разстояние. Така че дори ако има виртуална планина на пет мили и чаша за кафе на маса на пет инча, светлината и от двата обекта влиза в окото под същия ъгъл (което означава, че акомодацията ви – огъването на лещата в окото ви – никога не се променя ).
Това влиза в конфликт с вергенцията в такива слушалки, която – тъй като можем да покажем различно изображение на всяко око – е променлива. Способността да регулираме въображението независимо за всяко око, така че очите ни да се сближават с обекти на различни дълбочини, е по същество това, което дава на днешните AR и VR слушалки стереоскопия.
Но най-реалистичният (и може би най-удобният) дисплей, който бихме могли да създадем, ще елиминира проблема с граничното приспособяване и ще позволи на двете да работят в синхрон, точно както сме свикнали в реалния свят.
Варифокалните дисплеи - тези, които могат динамично да променят своята фокусна дълбочина - се предлагат като решение на този проблем. Има редица подходи към варифокалните дисплеи, може би най-простият от които е оптична система, при която дисплеят се движи физически напред и назад от обектива, за да се промени фокусната дълбочина в движение.
Постигането на такъв задействан варифокален дисплей изисква проследяване на очите, тъй като системата трябва да знае точно къде в сцената гледа потребителят. Чрез проследяване на пътя във виртуалната сцена от всяко от очите на потребителя, системата може да намери точката, в която тези пътища се пресичат, установявайки правилната фокална равнина, която потребителят гледа. След това тази информация се изпраща на дисплея, за да се коригира съответно, като се задава фокусната дълбочина да съответства на виртуалното разстояние от окото на потребителя до обекта.
Един добре реализиран варифокален дисплей може не само да елиминира конфликта между вергенция и настаняване, но и да позволи на потребителите да се фокусират върху виртуални обекти, много по-близо до тях, отколкото в съществуващите слушалки.
И много преди да поставим варифокални дисплеи в VR слушалки, проследяването на очите може да се използва за симулирана дълбочина на полето, което може да се доближи до замъгляването на обекти извън фокалната равнина на очите на потребителя.
Foveated дисплеи
Докато фовеатното изобразяване има за цел да разпредели по-добре силата на изобразяване между частта от нашето зрение, където можем да виждаме рязко, и нашето периферно зрение с ниски детайли, нещо подобно може да се постигне за действителния брой пиксели.
Вместо просто да променят детайлите на изобразяването на определени части на дисплея спрямо други, фовеираните дисплеи са тези, които са физически преместени, за да останат пред погледа на потребителя, независимо къде гледа.
Foveated дисплеите отварят вратата за постигане на много по-висока разделителна способност в слушалките за VR, без грубо налагане на проблема, като се опитваме да натъпчем пиксели с по-висока разделителна способност в цялото ни зрително поле. Това не само ще бъде скъпо, но и ще се натъкне на предизвикателни ограничения на мощността, тъй като броят на пикселите се доближава до разделителната способност на ретината. Вместо това фовеираните дисплеи биха преместили по-малък дисплей с плътност на пикселите, където потребителят гледа, въз основа на данни за проследяване на очите. Този подход може дори да доведе до по-високи зрителни полета, отколкото иначе би могло да се постигне с един плосък дисплей.
Varjo е една компания, която работи върху система за фовеатиран дисплей. Те използват типичен дисплей, който покрива широко зрително поле (но не е много плътен на пикселите), и след това наслагват върху него микродисплей, който е с много по-голяма плътност на пикселите. Комбинацията от двете означава, че потребителят получава както широко зрително поле за периферното си зрение, така и област с много висока разделителна способност за фовеалното си зрение.
Най-новите прототипи на Varjo в момента не преместват по-малкия дисплей (той просто виси в центъра на обектива), но компанията е обмислила редица методи за преместване на дисплея, за да гарантира, че областта с висока разделителна способност винаги е в центъра на вашия поглед.
