Els plans de realitat mixta de Microsoft van molt més enllà dels hololens

Quan Microsoft va anunciar la sorpresa d’un nou producte de realitat augmentada (AR) en un esdeveniment de Windows 10 a principis del 2015, els auriculars de Microsoft HoloLens no van ser el primer que va veure el públic. Quan va donar a conèixer la nova tecnologia al món, Alex Kipman de Microsoft -creador tant del controlador de moviment Microsoft Kinect com de l’HoloLens-, en canvi, va mostrar un logotip per a Windows Holographic, la plataforma de programari Windows 10 alineada amb les ambicions AR de Microsoft.

Més de dos anys més tard, el programari que potencia l’ecosistema de dispositius AR creixent de Microsoft continua sent el millor indicador d’on es troba la companyia que té previst adoptar el seu futur de “realitat mixta”. Ara té un nom diferent; Microsoft va tornar a marcar Windows Holographic a Windows Mixed Reality, però l'objectiu no ha canviat. Microsoft vol crear una xarxa interoperable de auriculars AR, VR i combinats de realitat mixta de diferents fabricants, tots parlant entre ells i executant Windows 10 Universal Apps.

Hi ha tres avantatges en aquest enfocament: el hardware de primera part de Microsoft (HoloLens), la pila de programari en evolució que es troba dins de la plataforma Windows Mixta Realitat i les associacions de maquinari de tercers amb Acer, Asus, Dell, HP i Lenovo per construir 299 dòlars. Els auriculars de realitat mixta que utilitzen Windows 10. El primer d’aquests, els auriculars Acer Windows Mixed Reality Development Edition, ja s’envia als desenvolupadors.

Què és la realitat mixta?

Microsoft no és l’única empresa AR que ha començat a utilitzar el terme realitat mixta per diferenciar diferents punts de l’espectre AR / VR. En un costat, teniu les ulleres monoculars que veieu d’empreses com Vuzix i l’AR basada en telèfons intel·ligents popularitzada per aplicacions com Pokemon Go.

De l’altra, hi ha les experiències binoculars més immersives en capçal (visualitzacions als dos ulls amb un camp de visió de 360 ​​graus) de dispositius com HoloLens, les ulleres ODG R-9 o l’encara no visible Magic Leap. En termes simplificats excessivament, podeu pensar en AR com afegir informació sobreposada o objectes virtuals de manera bidimensional a més del que hi ha al davant.

Però el continu en què existeixen aquest tipus de tecnologies és més profund que això. Si imagineu un espectre amb el món físic per una banda i la veritable realitat virtual per l’altra, quedaria així:

Món físic -> Realitat augmentada -> Realitat mixta <- Virtualitat augmentada <- Realitat virtual

(No us preocupeu massa per la virtualitat augmentada ara mateix. No hi som encara).

En aquest moment, la indústria té una confusió terminològica, però la separació de l'argot és important no només per comprendre l'ecosistema, sinó per identificar tots els punts en els quals Microsoft planeja connectar-s'hi. Si es produeix la visió del gegant tecnològic, el programari de realitat mixta de Microsoft podria funcionar amb uns auriculars que oscil·len entre 299 i 3.000 dòlars, incrustats en experiències de consum i empreses a través de jocs, comerç electrònic, disseny i fabricació industrials, visualitzacions de dades interactives de les empreses, medicina i més enllà.

Com es pot crear un sistema operatiu de realitat mixta

Durant una recent sessió d'informació amb Microsoft, PCMag va tenir l'oportunitat de fer una ullada breu als auriculars socis d'Acer. També hem obtingut un desglossament de la pila de programari de Windows Mixed Reality, incloent una visió detallada de com Microsoft treballa amb els fabricants OEM per crear els auriculars de 299 dòlars, i la recent actualització de Windows 10 Creators per a aplicacions de Windows de realitat mixta en diversos dispositius informàtics.

La plataforma de realitat mixta de Windows es desglossa en diverses capes diferents. A la part superior de la pila, teniu la pantalla muntada al capçal (HMD) amb sis graus de llibertat (6DoF), que representen el nivell de moviment tridimensional i el seguiment de posició. HoloLens utilitza allò que Microsoft anomena 6DoF de dins, és a dir, el seguiment de posició que combina dades de diversos sensors d’entrada i càmeres amb algoritmes per mantenir l’experiència fluida.

Per context, els auriculars VR sense connexió que utilitzen una pantalla de telèfons intel ligents que inclou Samsung Gear VR i Google Daydream View actualment admeten 3DoF, de vegades conegut com a pitch-yaw-roll. Els auriculars VR amb tetera, com Oculus Rift i HTC Vive, tenen un seguiment de posició 6DoF.

L’actualització de Windows 10 Creators inclou suport per al control de moviment 6DoF als Acer i altres auriculars OEM propers. L’Acer Windows Mixed Reality Development Edition inclou dues càmeres de seguiment de posició frontals i visualitzacions dobles, en comparació amb les quatre càmeres que trobareu a les HoloLens més cares (les dues càmeres HoloLens afegides s’utilitzen per al mapatge espacial), però les cinc sòcies sòcies. els auriculars suportaran 6DoF. Una actualització que s’aconseguirà a finals d’aquest any afegirà suport per a xips gràfics integrats en auriculars de realitat mixta, tot i que el maquinari necessitarà un xip d’Intel de generació relativament recent per obtenir-ne l’actualització.

Les següents capes de la pila de realitat mixta de Windows gestionen l’entrada, el middleware i les interfícies de programació d’aplicacions (API) per a la realitat mixta i la percepció espacial. La capa d'entrada processa totes les dades d'entrada visuals, giroscòpiques, de veu i espacials que recopila un dispositiu AR / VR en un moment donat. Pot incloure dades de fonts, com ara sistemes de coordinació, mirada i direccionalitat, gestos, entrada de veu, so espacial i mapeig espacial.

Les capes de middleware i API són claus per comprendre com la plataforma comença a connectar-se a la resta de l'ecosistema de programari AR / VR. La documentació per a desenvolupadors de Windows Mixed Reality ja inclou instruccions per crear aplicacions hologràfiques mitjançant plataformes populars, com ara Unity (motor de desenvolupament multiplataforma), Vuforia (plataforma de desenvolupament AR) i un protocol de programari mitjà per crear aplicacions MR mitjançant el temps d'execució de Microsoft DirectX.

La plataforma no està oberta, de per si, heu de jugar segons les regles universals de l'aplicació Windows de Microsoft, però Microsoft ofereix diverses opcions per connectar-vos a la pila de programari MR. Un exemple d’això són els audiòfons Project Alloy VR d’Intel, previst a finals d’any, que funcionen una versió del programari de Windows Mixt de realitat.

Les capes finals de la pila afegeixen una interfície d’usuari personalitzada (IU) que Microsoft denomina "shell", juntament amb serveis al núvol com ara l’autenticació i sincronització de Xbox Live i la missatgeria col·laborativa a través de serveis com Skype. A l’edició de desenvolupament de realitat mixta d’Acer Windows que vam fer un breu cop d’ull, el “shell” era essencialment un sistema operatiu disposat com a habitacions d’una casa.

L'usuari podrà teletransportar-se a diferents sales i llançar diverses aplicacions que es mostren com a icones flotants o ocupant un rajolí en una paret. Es poden tractar d’aplicacions senzilles com ara Fotos, pel·lícules i TV, un Microsoft Edge o, fins i tot, un menú d’inici de Windows 10 d’inici que podeu navegar dins de l’experiència, que funcionava amb un controlador Xbox. Per descomptat, també hi ha algunes funcions de modelatge interactiu en 3D divertides, com passa amb HoloLens. Exemples de demostració van des d'elefants i tigres itinerants fins a un astronauta ondulant que podeu col·locar a la sala i una aplicació que us llançarà a un sistema solar 3D. Aquests són només alguns exemples, tenint en compte que els auriculars OEM poden executar qualsevol aplicació universal de Windows. Des d'una perspectiva de programari, Microsoft veu tots aquests dispositius com a ordinadors Windows 10 per al vostre cap.

L’empresa pot alliberar una especificació de maquinari de realitat mixta estàndard en algun moment de la carretera, però, de moment, Microsoft s’està centrant en la pila de programari i coenginyent la propera onada d’uns auriculars associats. Si feu una ullada més a prop del llançament d'aniversari de Windows 10 (i a la suite comercial de HoloLens dins d'aquesta), també podeu veure les funcions del programari que Microsoft ha estat afegint sota la caputxa per fer que HoloLens sigui més atractiu per al desplegament empresarial principal.

La HoloLens Commercial Suite reforça el conjunt de funcions bàsiques de l’edició de desenvolupament de HoloLens, permetent a les empreses tractar els auriculars de realitat mixta com un altre dispositiu de la seva xarxa informàtica corporativa. Microsoft va llançar HoloLens Commercial Suite l’agost passat per un preu de 5.000 dòlars, i per a 2 K $ addicionals, obteniu funcions que inclouen una gestió més profunda de dispositius mòbils (MDM) amb Microsoft Intune juntament amb Kiosk Mode, que llançarà HoloLens directament a una aplicació específica. experiència amb els objectius d'una demostració en botiga en un entorn minorista.

La suite comercial també inclou xifratge BitLocker Drive Microsoft i accés a la protecció de xarxa privada virtual (VPN), que ara és més important que mai. El brillant maquinari sempre cridarà més atenció, especialment quan Asus, Dell, HP i Lenovo llançaran els seus propis auriculars socis en els propers mesos. Però, per obtenir la imatge més clara de cap a on es dirigeix ​​l'estratègia de realitat mixta de Microsoft, vigileu el programa.