Soizumitelj HoloLens Avi Bar-Zeev deli: pot do očal AR za vse vremenske razmere

Pot do očal XR za vse vremenske razmere

Več kot 30 let delam na področju XR, metaverse in prostorskega računalništva, vključno s pomočjo ali svetovanjem pri 10 različnih projektih slušalk XR. Imel sem veliko srečo, da sem zgodaj prispeval k vrsti projektov, večinoma z dokazovanjem ali zavračanjem zahtev in definiranjem ključnih uporabniških izkušenj, preden ekipe porabijo milijardo dolarjev za njihovo gradnjo. Na tej poti sem se naučil lekcij o tem, kaj deluje in kaj ne. Včasih je pravilen odgovor "še ni zrel".

Ne bom razkril nobenih informacij, ki jih moj prejšnji delodajalec še vedno šteje za lastne. Posredoval bom povezave do objavljenih patentov, ki nam lahko dajo nekaj vpogleda. To je dejanski namen patentov, če verjamete ali ne. Seveda bi se izogibal patentom, za katere menim, da bi spodbujali špekulacije.

Pomembno je biti previden, da ničesar, kar rečem ali napišem, ne jemljete kot dokaz proizvodnih načrtov katerega koli podjetja ali celo kakršno koli kritiko prizadevanj kogar koli. To sploh ni bil moj namen.

Za ozadje, prva prava XR izkušnja, ki sem jo zgradil, je bila CAVE. Takrat sem si sposodil 250 $000 računalnika in ogromnega projektorja ter vložil še 30 $000 v surovine. Disneyjeve slušalke VR za 100 $000, ki so bile izdelane v 90. letih prejšnjega stoletja, niso nikoli prišle na komercialni trg. Za prenašanje teže so potrebni kabli, ki visijo s stropa, vendar jih je poskusilo na sto tisoče.

Upam, da bomo do januarja 2010 pripravljeni začeti razvijati potrošniška očala XR, pripravljena za uporabo. Čas je, da naredimo velik met na tem počasi razvijajočem se področju. Poleg tega sta se približno istočasno pojavila Google Glass in Magic Leap. Na srečo je bila ena od nalog, ki smo jih prejeli v Microsoftovi inkubacijski skupini, iskanje novih zamisli za naslednjo generacijo XBoxa.

"Bodite agresivni in nas celo prisilite, da rečemo 'to je noro'," je takrat dejal izvršni direktor Xboxa.

Vsekakor imam "radikalne" ideje. Naša majhna ekipa je kmalu začela delati na novem konceptu izdelka "Screen Zero": zamenjava vseh zaslonov z enim zaslonom. Bil sem zadolžen za tehnično raziskovanje in pomagal opredeliti izkušnje v prvem letniku. Moji razlogi za odhod niso vredni prostora v tem članku. Toda po več kot tisoč ljudeh je HoloLens lansiran leta 2016.

To je prelomna oprema. Vendar še vedno ni primerna za uporabo v vseh vremenskih razmerah. Nič od današnjih Magic Leap 2, Snap Spectacles, Varjo ali Quest.

Torej, kaj točno je potrebno, da dosežemo očala AR, ki jih lahko nosimo ves dan?

1. Maksimalizem in minimalizem

Maksimalistični pristop, kot je tisti, ki ga je sčasoma sprejel HoloLens, se nanaša na konsolidacijo številnih senzorjev, algoritmov in moči v vrhunski sistem. Ko imamo urejeno inženirsko in uporabniško izkušnjo, jo lahko teoretično zožimo. Toda to zahteva več časa in lahko traja do desetletja, da določena elektronika sama optimizira moč.

Cambria in podobne naprave so podobno maksimalistične, tako zelo, da simulirajo AR z ogromnim neprozornim zaslonom VR in več kamerami, z natančnim nadzorom slikovne pike nad mešanico realnosti in simulacije. Maksimalizem je najboljši za vrhunske aplikacije in temeljne raziskave in razvoj. Nekateri trdijo, da so aplikacije, čeprav so bolj industrijske, trenutno edino orodje, ki deluje.

Vendar pa tudi najdražjih naprav na trgu danes ni mogoče nositi ves dan in jih ni mogoče uporabljati za običajne socialne interakcije ali celo za varno hojo po ulicah. Maksimalistične funkcije, kot so holografski ali svetlobni zasloni, še niso zrele.

Po drugi strani pa naprave z minimalističnim pristopom vključujejo Amazon Echo Frames, Snap Spectacles in Ray-Ban Stories, če naštejemo le nekatere. Uporabljajo samo tehnologijo, ki ustreza trenutnim omejitvam faktorja oblike nosljivih očal, pri čemer pogosto popolnoma opustijo zaslone.

Še vedno, ali lahko očala brez zaslona štejejo za XR?

Če izboljša perspektivo situacije, bi rekel da. Podcast ali glasbena mešanica ni XR, ker še vedno ne zazna vas ali vašega trenutnega okolja. Aplikacije za navigacijo GPS se nekoliko ujemajo, vendar ne dovolj. Dodajanje prostorskega zvoka in kamer za AI in natančno določanje položaja zagotovo šteje kot XR, tudi brez zaslona.

Minimalistični pristopi lahko kratkoročno prodajo več izdelkov in se običajno osredotočajo na določen vidik in postanejo najboljša rešitev v razredu. Če lahko to storite pravilno, kot Walkman in iPhone, lahko prodate za milijarde dolarjev. Vendar ne mislite, da je minimalizem enostaven, saj ga je v mnogih pogledih težko narediti dobro.

2. Najboljša metoda

Upal sem, da je XBoxov Screen Zero hibrid med minimalističnimi očali in maksimalistično konzolo. Očala AR naj bodo po velikosti podobna očalom Oakley ali manjša. Naslednji gostitelj bo opravil večino težkega dela za do štiri pare očal v isti sobi.

3. Ergonomija, poraba energije in toplota

Zakaj ločeno? Gre za porabo energije ali natančneje: toplote.

Vse delo računalnika se konča v obliki toplote, drugo pa lahko vključuje fotone in/ali mehanske pogone, kot je zvok. Koliko toplote? Par lahkih očal AR lahko proizvede približno en vat energije.

Tipičen pametni telefon lahko ustvari približno 10 vatov in se nato segreje. Gostitelj ali osebni računalnik lahko porabi 10-100-krat več energije kot pametni telefon in s tem 100-1000-krat več energije kot očala. Pomislite na majhne LED svetilke in velikanske sušilnike perila. To je velika razlika v porabi energije.

Za uravnoteženje porabe energije potrebujemo rešitve, podobne tistim, na katerih delam od leta 2010, kot so fuzija podatkov, razdeljeno upodabljanje, optimizirani tokovi upodabljanja. Pri nižjih pasovnih širinah upodabljanje s časovnim ukrivljanjem na podlagi sledenja očem deluje dobro in pokriva komunikacijske zakasnitve.

CPE, kamera, zaslon in RAM porabijo veliko energije in proizvajajo veliko toplote. Torej, skrivnost je v tem, da jih v večini primerov uporabljate zmerno. Pomislite na strojno opremo po meri z nizko porabo energije: novi kontekstualni senzorji, zasloni z izjemno nizko porabo energije in algoritmi, ki se premeteno "prebudijo".

Za rešitev tega bo potreben čas. Na primer, če vaša optična miška in gostiteljski krmilnik nista v stanju pripravljenosti, se njuni bateriji izpraznita, zato začneta s privezano rešitvijo. Danes lahko optična miška z majhno baterijo zdrži več mesecev.

4. Zunaj dnevne sobe

Za podporo najrazličnejšim primerom uporabe morajo optično pregledni sistemi AR idealno blokirati svetlobo iz svetlih okolij (celo osvetlitev oken ali dnevnih sob), bolje personalizirati in mešati prostorski zvok z resničnostjo, prilagoditi optični fokus, zajeti in reproducirati virtualne holograme drugih in več.

Tudi če je naprava razdeljena na glavno enoto in slušalke, je v naši glavi še vedno preveč "stvari". Velik ergonomski izziv je, da se znebite ogromnih trakov, ki jih še vedno uporablja večina naprav XR, zaradi katerih so slušalke videti kot hrošči, ki objemajo obraz.

Kakršni koli trakovi, ki jih je treba zategniti, bodo omejili raznolikost uporabniške baze (glede na razlike v velikosti glave in dovzetnost za zmešane lase) in zmanjšali verjetnost nošenja očal. To pomeni, da mora biti oprema za vse vremenske razmere izjemno lahka in se na splošno prilega tako dobro kot običajna očala.

Doseganje velikosti očal Oakley ali manjših pogosto pomeni premik večjega dela sistema v sponko ali daljinski upravljalnik. Magic Leap ponuja tak posnetek. Opazil sem, da naprave XR uporabljajo nastavitev ovratnega traku, kar pomeni obešanje računalniških komponent okoli vratu potrošnika. Pri tej deljeni zasnovi je več ločenega dela opravljenega, lažji je lahko sklop oko/glava.

Leta 2010 me je osebno bolj zanimal biceps, ker je bil sidrišče in kratka linija, če je bilo potrebno. To drži težje in bolj vroče komponente stran od glave in vratu in ima veliko površine za odvajanje toplote. Biosenzorji, ki se nahajajo na roki, lahko zaznajo tudi kretnje, podobno kot Meta uporablja napravo Control plus Labs za branje gibov z zapestja. Na ta način lahko oblikovalci izdelkov še vedno rečejo "brez kablov".

5. Osredotočite se

Ker mora veliko število odraslih popraviti vid na blizu in daleč, mora celodnevno nosljiva oblika namesto nas pogosto povečati in izostriti resnični svet. To najmanj pomeni, da morajo leče podpirati optiko parametrov vida po meri. Podjetje za valovode, ki ga je prej kupil Snap, je napovedalo načrte za vgradnjo povezane optike v funkcionalne vidne leče, vendar je bilo to težko.

Toda ali je en parameter vida dovolj? Mnogi odrasli potrebujejo očala samo za branje ali vožnjo (daljnovidnost), kar pomeni, da potrebujejo očala, da lahko preklopijo v različna stanja. Torej, ali potrebujemo dva ali tri pare dragih očal? Ali bifokali, trifokali, ki ustrezno ukrivijo svetlobo glede na to, kam gledate? (Praktično, vendar ne idealno)

Ena rešitev, za katero se zavzemam, je dinamična optična prilagoditev, ki omogoča, da isti par očal podpira branje ali vožnjo ter celo poveča drobni tisk in znake na daljavo. To omogoča tudi več prijateljem, da ga enostavno preizkusijo. Predstavljajte si, da vaš XBox podpira samo igre za enega igralca in imate dva ali tri prijatelje v sobi? Nekako zanič.

Trenutno najboljše metode dinamičnega ostrenja vključujejo Alvarez (mehanski drsnik) in nastavljive leče, napolnjene s tekočino. Mehanske rešitve ponavadi zmanjšajo zanesljivost. Obstaja precejšnja količina raziskav in razvoja, ki gredo v zlaganje posebnih LCD-jev in elektronsko spreminjanje fokusa. Mega je kupila podjetje, ki je prevzelo nalogo.

Potem je tu še problem ostrenja navidezne slike na podlagi trenutnega vidnega polja. Avegant in Magic Leap sta nam pokazala, kako hitro preklapljati med dvema goriščnima razdaljama in simulirati preprost prikaz svetlobnega polja, kar je pomembno za krmarjenje po "virtualnih predmetih" pri ustrezni goriščni razdalji znotraj razpona kril. Prej sem preučil več načinov neprekinjenega skeniranja goriščne razdalje, vendar komercialni monitorji v praksi niso dovolj hitri.

Sledenje vašim očem lahko pomaga pri obdelavi, zmanjša računalniško obremenitev in zagotovi bolj naraven uporabniški vnos. Zelo sem seznanjen s problemom sledenja očem in odločevalce že zgodaj opozarjam na tveganja.

Nazadnje, na poslovni strani Luxottica zasluži veliko denarja s prodajo nizkocenovnih in dragih očal. Danes prevladuje na trgu in večini znamk očal, ki jih poznate. Podjetja, ki proizvajajo očala XR, morajo sodelovati z njimi ali proti njim, nobeden ni lahka izbira. Meta se je odločila za sodelovanje z njimi pri razvoju očal Ray-Ban. Med konkurenti podjetja so Warby Parke in drugi manjši igralci. Ne morete prodajati dobrih novih izdelkov brez dobrih distribucijskih kanalov in partnerjev.

6. Kontrast

Magic Leap 2 ponuja način za selektivno zameglitev naravnega sveta. S tem problemom se ukvarjam že od leta 2010, vendar še vedno ni popolne rešitve. Vrsta optičnih inženirjev se ni zdela potrebna. Razlogi so naslednji:

Na splošno je razumljivo, zakaj prozorni "aditivni" zasloni ne morejo prikazati "črne". RGB{{0}},0,0 za črno, ki pravzaprav ne doda ničesar in ni vidna v obstoječi svetlobi. Vendar pa vas zlahka pretentamo, da zaznate črne in sence, tako da se približate svetlejšim območjem.

Resnično težavna težava se pojavi, ko vzamete očala XR na prosto in pogledate steno, osvetljeno z močno sončno svetlobo, verjetno v bližini temnega ali senčnega območja. Nekatera področja so lahko 1000- do 10000-krat svetlejša od drugih. Kontrast je v zaprtih prostorih tako izrazit, da so vizualni elementi AR videti naravnost strašljivi. Optični inženirji pogosto trdijo, da morate za premagovanje tega oddajati več svetlobe. Njihova optika je običajno samo 1-odstotna -10-odstotna učinkovitost, kar pomeni, da večina svetlobe sploh ne pride v vaše oči in samo dodaja več toplote. Ne pozabite, da ne morete načrtovati sistema samo okoli optike, ker je toplota eden največjih omejevalnih dejavnikov.

Resničnost je taka, da mora kateri koli par prozornih očal AR ali videa, ki prosojijo skozi video, pri vizualnih izboljšavah upoštevati realno sceno. V primeru prosojnosti je treba stekla pogosto odšteti od prave osvetlitve, da dobimo želeno končno barvo. V primeru video perspektive lahko zaslon nadomesti celotno slikovno piko, vendar je treba morebitno prosojnost v virtualnem 3D prizoru še vedno zmešati z barvo ozadja, prebrano iz kamere. Torej, kar v bistvu gledate, je visokoenergijska kamera in vezje, ki je prozorno ali neprozorno. To je velika oblikovalska omejitev, saj dodaja energijo in težo, hkrati pa blokira oči.

Na prvi pogled je selektivno senčenje s prozornimi očali cenejše kot dodajanje moči zaslona ali dodajanje kamere. Leta 2010 sem postavil preprost enobarvni LCD pred valovod. Deluje po pričakovanjih in upodablja trdne 3D predmete z mehkimi črnimi obrisi. Vendar ima pomanjkljivosti, vključno s potrebo po dinamični kalibraciji, LCD popači pravo svetlobo (predvsem lom krmilnih žic). Sam ima slab dinamični razpon. Na prostem včasih potrebujete skoraj 100-odstotno motnost. V zaprtih prostorih, zlasti v družabnih situacijah in teleprisotnosti, želite biti bolj pregledni, da vidite ljudi neposredno v oči.

Glavni ugovor temu pristopu je, da LCD-ji ali drugi modulatorji prostorske svetlobe pogosto niso izostreni, palec od očesa. Toda popačenje je takšno, da lahko vaša sončna očala s pravimi plus in minus preglednimi zasloni AR in nekaterimi hitrimi senzorji z nizko porabo blokirajo sončno svetlobo, bleščanje ali žaromete, ne da bi zatemnili vaš vid drugje. Svet lahko subtilno zatemnite in priporočene knjige naredite bleščeče. Z naprednejšim odštevanjem (filtriranjem) lahko očala celo prebarvajo svet, izboljšajo nočni vid in celo zagotovijo biometrične povratne informacije, ko ste nemirni ali raztreseni.

Naredil sem različne demo stvari in dolgo časa iskal boljši način. Toda vsi imajo določene pomanjkljivosti. Vendar mi izvedba Magic Leap 2 daje upanje, da bodo glavne težave rešene.

7. Omrežje

Radijski sprejemniki prav tako potrebujejo energijo, zato je pri razdeljenem sistemu vedno kompromis. Najbolj obetavna prihodnost je uporaba višjih radijskih frekvenc za doseganje nižje moči in večje pasovne širine kot danes. Toda glavni izziv je, da ta frekvenca ne more preiti skozi kožo ali stene (v dobrem ali slabem). Zato mora biti rešitev zelo pametna, saj se radijski valovi odbijajo in širijo okoli prostorov in ljudi, zato bo morda treba uporabiti več oddajnikov, kot jih je danes. Očitno to povečuje stroške in zapletenost.

Za ves dan nosljive naprave zahteva tudi, da je omrežje na voljo pred prodajo izdelkov, ki so odvisni od njega. Ta omejitev je največji razlog, zakaj podjetja nikoli ne izdajo rešitve za deljeno upodabljanje, ki jo zagovarjam. 5G je bližje temu, kar potrebujemo, vendar vsaj v ZDA to večinoma rešuje problem nižje latence in več ljudi, ki uporabljajo omrežje hkrati. Potrebujemo več kot 5G, vendar je to dober začetek.

Da se znebimo prvotnega "gostitelja" (ali podobnega) v sobi, hkrati pa ohranimo majhno in lahko obliko, potrebujemo način za "robno" računalništvo, združeno na način, ki ne posega v našo zasebnost. Pošiljanje podatkov njihovih biometričnih senzorjev v katero koli rešitev roba ali oblaka je zelo zaskrbljujoče za vsakogar, ker se lahko zlahka zlorabi.

8. Kamera

Postavljanje kamere na očala je težavno. Google Glass je naredil veliko napak pri družbenem sprejemanju in je bil deležen širokih napadov. Toda zdi se, da ima Snap v zvezi s tem nekaj težav. Istočasno si Facebook prizadeva zajeti podrobnosti življenja vseh, verjetno zato, da bi prikazal bolj prilagojene oglase, če nam je to všeč ali ne.

Nekatere kamere so energetsko intenzivne, na primer digitalizacija 3D prizorov in digitalna okluzija ljudi ali predmetov. Za pravilno umestitev 3D grafike je potrebno stalno spremljanje glave v prostoru, kamere pa so še vedno vodilna rešitev. Z uporabo senzorjev IMU povečujemo porabo energije.

Snemanje fotografij ali videoposnetkov je dokaj priljubljen primer uporabe, še posebej, če je bolj naraven in priročen kot druge naprave. Vendar pa bo zaradi omejitev velikosti in moči kakovost fotografij nižja od kakovosti običajnega pametnega telefona. Zagotavljanje majhne bele svetlobe v okvirju ni dovolj za rešitev kompleksnega problema družbenega odobravanja.

Razumevanje prizorov si je lažje predstavljati kot glavno značilnost očal za kamero, deloma zato, ker ni treba fotografirati drugih ljudi, še pomembneje pa je, da odpira najpomembnejši nov primer uporabe za celodnevno nošenje očal: razumevanje situacije.

9. Izkušnje

V letu 2010 so raziskave in razvoj, za katere najbolj upam, da jih bom razvil, očala AR, ki podpirajo zmogljive zmožnosti sledenja očem in telesu ter raziskujejo bolj naraven prostorski računalniški uporabniški vmesnik, ki presega tradicionalni "pravokotnik v pravokotniku" osebnih računalnikov in miši. Medtem ko ima strojna oprema gotovo svoje omejitve, široko sprejetje XR zahteva nekoga, ki bi se lotil izkustvenega vprašanja, "kako" komunicirati v prihodnosti? "3D škatla v škatli" očitno ni. Čaka nas torej še veliko dela.

Medtem ko Meta svoja prizadevanja za VR osredotoča na uspešnost tako imenovanega "Visual Turing Testa", morajo biti očala XR, ki jih lahko nosite ves dan, bolj uporabna kot druga. Mnogi si predstavljajo, da sloji ali kanali AR prežemajo našo resničnost, označujejo vse, kar vidimo, dodajajo informacije, pripovedujejo prostorske zgodbe v 3D in prerisujejo svet. Čeprav bo to verjetno na zahtevo, to ni vsakodnevna izkušnja, ki bi jo pričakoval.

Večino časa si ljudje želijo izboljšati to, kar pogosto počnejo: komunicirati, krmariti, odkrivati ​​svet okoli nas, razumeti in celo spremeniti kraj, nakupovati, izkusiti vsebino in zaslužiti z delom. Da bi bila uspešna, morajo očala XR delovati bolje kot mi s pametnimi telefoni ali drugimi napravami.

Evo, česa pametni telefon ne zmore. Predstavljajte si par normalnih očal, ki dinamično prilagajajo ostrenje in selektivno blokirajo svetlobo. Z vami se lahko pogovarjajo proaktivno in zasebno, ne da bi morali vnašati besedilo ali ustno vprašati. Samo to bi bil izdelek vreden milijardo dolarjev. Takšna očala vam lahko pomagajo zapomniti stvari ali nudijo zaupanja vredna priporočila kot del vaše dnevne izkušnje (v primerjavi s potisnimi oglasi).

Najpomembnejša raziskava, ki sem jo opravil na tem področju, je asinhrona komunikacija z uporabo nevizualnih očal XR. Glasovne in besedilne zmogljivosti pametnih telefonov so danes dovolj dobre, toda ali vedo, kdaj se težko osredotočite? Ali vam lahko pomagajo zamenjati kontekst ob pravem času, da bo delo ali zabava potekala? Tukaj je opisano, kje lahko očala zasijejo (ob predpostavki, da lahko zaupamo proizvajalcu).

Vse, kar sem opisal, je zelo težko, ustrezne tehnologije pa skorajda ni. Ni še na minimalistični poti, a to je zato, ker mu nismo dali prednosti pred miniaturizacijo optike in maksimiziranjem vidnega polja. Toda če se vprašate: Kakšna očala XR lahko uspejo tam, kjer druga niso? Še vedno mislim, da vam bo vse, kar sem naštel zgoraj, pomagalo ustvariti odličen izdelek.