L’interior de sumeri, l’aposta gran d’Amazon per la realitat augmentada i virtual

Amazon està fent una gran entrada a l'espai de realitat augmentada i virtual amb Sumerian, una plataforma de desenvolupament tot en un que pot crear aplicacions AR i VR per a telèfons intel·ligents i auriculars i, aviat, amb aplicacions AR / VR que funcionaran correctament. al navegador

Dins d'aquestes experiències, Sumèria pot crear mons virtuals immersius poblats per "amfitrions" -3D personatges donats a la vida per la mateixa tecnologia d’intel·ligència artificial que fa poder a Alexa.

El sumeri és una plataforma agnòstica. En lloc de desenvolupar el seu propi dispositiu de marca o auriculars, Amazon va optar per la integració amb les ofertes existents. Sumèria es basa en estàndards web oberts i admet tant l’ARKit d’Apple com l’ARCore de Google, cosa que significa que els creadors d’aplicacions poden crear una aplicació sumèria que funciona amb Android, iOS, Oculus Rift, HTC Vive i altres versions.

Com a nova incorporació a Amazon Web Services, Sumerian té un preu utilitzant el model basat en l'ús d'aquest servei en lloc d'una subscripció i es connecta a altres serveis AWS.

Amazon va publicar una previsualització sumèria al novembre quan es va anunciar per primera vegada, però abans del seu previst llançament de maig, PCMag va tenir un aspecte exclusiu a Sumèria i algunes aplicacions primeres per als clients.

Kyle Roche, director general d'Amazonia Sumèria, em va portar a través d'una demostració de la plataforma de creació d'aplicacions 3D. Vaig fer un recorregut per l’editor d’aplicacions arrossegables i soltants de Sumeri i la biblioteca d’objectes 3D, la seva Visual State Machine per escriure escenes automatitzades complexes i vaig entrar dins del procés de creació d’amfitrions artificialment intel·ligents, que podeu tenir converses completes amb aquestes experiències virtuals..

També vaig parlar amb Marco Argenti, un VP que supervisa no només AR / VR, sinó també les divisions AWS Mobile, Informàtica sense servidor i IoT. Amazon té plans ambiciosos per a sumeris, i una visió encara més àmplia del paper de la realitat augmentada i virtual combinada amb IA jugarà en el nostre futur connectat.

• Per què Amazon aposta per AR / VR

  El fet d’afegir-se a una indústria o un camp completament nou no ha parat mai Amazon abans. Mireu Whole Foods, Amazon Video o els seus esforços a la indústria sanitària i farmacèutica.

  Roche va bromejar que el nom de Sumeri prové del llibre de ciència-ficció Snow Crash (que Amazon està adaptant com a sèrie) i la idea per a "amfitrions" provenia de Westworld de HBO. Però, segons Argenti, la decisió d’Amazon d’introduir l’espai AR / VR es va reduir a tres factors clau: l’aparició de la realitat augmentada basada en telèfons intel·ligents; oportunitats de VR sense aprofitar al mercat B2B (business-to-business); i ajudar els clients d’AWS a resoldre els punts de dolor amb coses que ja intentaven fer.

  "Aquests senyals eren prou forts perquè comencem a entrar en el procés de disseny de sumeris. De la manera clàssica d'Amazon, vam començar a treballar enrere en els casos d'ús del client i, finalment, vam finançar un equip de desenvolupament per construir el producte", va explicar Argenti.

  Les aplicacions B2B inclouen escenaris com la senyalització digital interactiva (penseu que els anuncis hologràfics parlants gegants de Blade Runner: 2049 ), formació virtual i una infinitat d’internet industrial de les coses utilitzen casos, com ara utilitzar sensors per crear bessons digitals i simulacions complexes. Argenti també va subratllar la importància que els AR basats en telèfons intel·ligents arribin a un punt d'inflexió mitjançant ARKit i ARCore.

  "La càmera s'està convertint en una eina molt potent per interactuar amb la realitat i explorar el món que l'envolta", va dir. "Els processadors gràfics ràpids poden sobreposar informació en temps real i els sensors poden ajudar a construir una realitat 3D. La idea és que tinguis un sensor d'alta qualitat, d'alta definició i conscient del context, en mans de milers de persones."



Com Amazon va construir el sumeri

Amazon va començar a pensar en què serien els AR i VR per als clients d’AWS a finals del 2016, i una previsualització es va estrenar a AWS re: Invent un any després. Per mig, van passar algunes coses.

Primer, Amazon va comprar una startup sueca fallida anomenada Goo Technologies; el seu entorn de creació 3D, Goo Create, es va convertir en la base de l’entorn de desenvolupament integrat de Sumèria (IDE).

El modelatge visual visual de Goo Create també va ser un servei de núvol basat en web, però Amazon va donar un pas més enllà traslladant el back-end a AWS. Hi ha molts avantatges per construir una infraestructura de núvol escalable que ja teniu, però una gran és la reducció dramàtica de la latència. Roche va dir que un dels punts més venuts de Sumèria és que, malgrat el potent que sigui l'editor, no hi ha res per descarregar ni instal·lar. Durant la demostració, el sumeri es va carregar des d’un URL del navegador en segons. Fins i tot, fer processament de llenguatge natural (NLP) en temps real i proporcionar animacions elaborades no va alentir gaire.

Igual que amb les plataformes de desenvolupament de codi baix, el sumeri es pot utilitzar a un nivell bàsic sense gairebé experiència de desenvolupadors. No obstant això, els codificadors i científics de dades poden aprofundir amb les API programables i la interfície de línia de comandes de Sumeri per personalitzar escenes i escriure lògica d'aplicacions complexes.

"Volem una experiència on feu clic i estigueu immediatament en escena", va dir Argenti. "A continuació, teniu eines gràfiques en 3D on podeu arrossegar i deixar anar objectes. El sumeri és una eina visual que pot associar el que passa quan es produeixen accions o esdeveniments, possiblement sense escriure una línia de codi."



Creació d'aplicacions sumerianes en 3D

La filosofia de disseny més àmplia que va seguir Amazon amb Sumèria és consolidar el màxim possible l'experiència de creació. Roche va dir que la idea era emmascarar moltes de les tasques de desenvolupament repetitives, per la qual cosa el procés bàsic per crear una aplicació sumèria és el mateix, independentment de les plataformes AR i VR en les quals finalment es publiqui.

Comença per escollir una plantilla o saltar directament a crear una nova escena. Algunes de les plantilles predeterminades de Sumèria inclouen escenes com espais d’oficines, sales d’entrenament i magatzems, un vaixell de càrrega i una foguera a l’aire lliure. L'editor principal admet WebGL i WebVR, i es descriu de la mateixa manera que moltes de les eines de codi baix que hem provat.

A l’esquerra hi ha un tauler d’entitats. Una entitat és essencialment una taula d'una base de dades que us ajuda a gestionar les dades que s'introdueixen a l'aplicació. A sota, hi ha la finestra d’actius, que és on podeu cercar els objectes que voleu introduir en una escena o obrir la biblioteca completa d’actius de tots els models 3D de Sumèria. Roche va dir que Sumeri utilitza diverses biblioteques d'objectes de codi obert i s'integra amb l'API Sketchfab. Amazon ha interessat també a integrar-se amb plataformes com TurboSquid i la biblioteca d’objectes Poly AR / VR de Google. També podeu importar els vostres propis actius a sumeris i deixar-los en escena.

"El plafó d'actius pot servir de zona de sortida per a una canalització d'ajust", va explicar Roche. "Podeu arrossegar els formats de fitxers 3D més habituals; els convertirem, optimitzarem i els emmagatzemarem per a vosaltres. Una de les coses que fem al fons és si utilitzeu el mateix recurs en diverses escenes, nosaltres En realitat crearé un enllaç de referència per a vostè."

A la meitat de la pantalla es troba el llenç principal, on podeu arrossegar i deixar anar actius i models 3D en una escena. A la cantonada del llenç hi ha un botó per llançar una vista prèvia del WebVR de la vostra escena.

A sota hi ha l'editor de línia de temps, que funciona de manera similar a les eines d'edició de vídeo. A mesura que feu animacions i sons a fotogrames i utilitzeu la Visual State Machine per crear accions, comportaments d’amfitrió i progressions d’esdeveniments, tot apareixerà en la línia de temps, on podreu ajustar les transicions d’un estat a un altre.

La columna de la dreta es mostra al tauler d'inspector, que mostra els detalls sobre els components que esteu veient i com podeu personalitzar-los. Per a un model que potser té un centenar de variacions diferents, podeu ajustar coses com atributs i textures sense haver de tocar realment l'escena.



Estratègia d'Amazon: integrar-se amb tothom

Sumèria no només juga a l’espai de desenvolupament 3D amb plataformes com Unity, Unreal Engine i Vuforia, sinó també a l’ecosistema més ampli AR / VR juntament amb ARKit, ARCore i Windows Mixed Reality. Roche va dir que Sumeri aplica la filosofia "construir una vegada, executar-se en qualsevol lloc" a les aplicacions AR / VR i especialment per als desenvolupadors empresarials.

"Els desenvolupadors de Pro 3D o els animadors professionals tenen un estudi que treballa amb ells. Però la majoria són desenvolupadors web o mòbils que aprenen una cosa com Unity en aquest lloc", va dir Roche. "La unitat és fantàstica, però per ser realment bona, és significativament més difícil que no pas amb les habilitats que tenen, com si fossin bons a JavaScript, i us facilitessin el format 3D. Així, doncs, vam decidir centrar-nos en això part del mercat."

Sumèria admet diversos estàndards oberts bàsics: WebGL, WebAR, WebVR i el proper marc WebXR que portarà aplicacions AR / VR a tots els dispositius i navegadors de les plataformes. El World Wide Web Consortium (W3C) votarà per ratificar WebXR en els propers mesos. En aquest moment, les aplicacions sumerianes podran executar-se directament en navegadors.

Entre WebGL, WebVR i WebXR, Sumerian és totalment agnòstic de plataforma i Sumerian va publicar embolcalls natius per integrar-se directament amb ARKit i ARCore per a aplicacions AR basades en telèfons intel·ligents. Roche va dir que Sumerian pot crear aplicacions per a qualsevol plataforma que admeti WebVR, és a dir, no només Oculus Rift i HTC Vive, sinó també Samsung Gear VR, Google Daydream View i altres. Sumèria també col·labora estretament amb l’equip de Google Chrome a WebXR per a aplicacions basades en navegadors.

L’altre actor principal de la sala és Microsoft. Si bé Amazon no va arribar a dir que Sumèria s’integraria amb l’ecosistema de Windows Mixed Reality, Roche va dir que l’última versió RS4 de Microsoft HoloLens inclou suport WebAR, cosa que significa que Sumeri pot executar escenes de HoloLens. Amazon també observa altres auriculars d’empreses com Magic Leap i Meta, però el seu enfocament proporciona a Sumèria el benefici de la flexibilitat.

"Hem escollit. Podríem haver recorregut un camí per fer el nostre propi producte i impulsar els desenvolupadors cap a això", va dir Argenti. "En canvi, el que hem decidit és ser el més ampli possible per donar suport al que creiem que serà un mercat massiu. Un cop tot es traslladi a WebXR, tot l'ecosistema de dispositius arriba amb ell. Anem després de la base subjacent".

• Els amfitrions AI de Sumeri són un canvi de joc

  Els amfitrions són un dels punts de venda més singulars de Sumèria. Un amfitrió és un personatge animat en 3D que podeu inserir en una escena AR o VR. Els usuaris poden fer preguntes als amfitrions i els desenvolupadors poden escriure un conjunt complex d’accions, comportaments, gestos i moviments que un host pot realitzar mentre tenen converses i passegen per escenes. Amazon va inspirar-se per als amfitrions de tot tipus de llocs, inclosos jocs en línia com Second Life i The Sims, va dir Roche.

  Sumeri actualment té dos amfitrions per defecte, Cristine i Preston, però en el llarg d’aquest any llançaran tota una sèrie d’amfitrions. Amazon va incorporar molts matisos en aquests personatges AI. Roche em va mostrar una demostració de Cristine on va arrossegar l’amfitrió a l’escena i va obrir el quadre d’inspectors per personalitzar les seves emocions, expressions facials i gestos. Amazon generarà automàticament gestos a mesura que l'amfitrió conversi basat en el processament de llenguatge natural de la conversa. Així que si Cristine diu "Hola", podria provocar un gest ondulant.

  Amb quelcom anomenat sistema de punt d’interès, podeu marcar una casella a l’editor perquè els ulls de l’amfitrió sempre estiguin atents a la càmera. Per tant, si utilitzeu un HTC Vive Pro caminant per un espai de 360 ​​graus, l'amfitrió us pot seguir. Si es tracta d’una aplicació AR connectada a la càmera del vostre telèfon intel·ligent, Roche ha explicat que el sistema d’aprenentatge profund Rekognition d’Amazon pot realitzar anàlisis facials tant d’on us trobeu com de la vostra cara en el marc per fer que l’amfitrió estigui mirant enrere a la pantalla. directament a tu. Et proporciona la il·lusió del contacte visual.

  Els clients també poden crear els seus propis amfitrions personalitzats des de zero mitjançant el Mayk SDK d'Amazon, però Amazon proporciona l'esquelet bàsic a partir del qual podeu ajustar l'aparença, el dialecte i les flexions de l'amfitrió, el llenguatge i molt més. A llarg termini, Amazon està pensant en maneres de facilitar la creació d’amfitrions. Argenti va parlar de la idea d’un generador d’amfitrió per a avatars en primera persona o d’utilitzar el reconeixement facial per combinar els personatges representats amb persones reals.

  "Juntament amb Rekognition, si generem procedimentalment el major nombre d'aquests personatges possibles, podem intentar fer-ne coincidir amb l'avatar més proper. Farem la teva foto i realitzarem el reconeixement facial invers i la coincidirem amb un personatge aleatori que us ofereix. un servidor que us sembla una versió ".

  Argenti va explicar que la integració d'altres serveis AWS com el servei de processament de llenguatges naturals d'Amazon Comprehend podria fer que els amfitrions siguin encara més realistes. Comprehend analitza text per extreure metadades de coses com l'anàlisi de l'estat d'ànim i el sentiment. De manera que un amfitrió podria tenir una expressió o manera facial diferent o en funció de l'estat d'ànim de la persona amb qui interaccionen.

  "Si estan enfadats, potser l'amfitrió els calma", va dir Argenti. "Hi ha una evolució no només en la manera de transmetre informació, sinó en la manera en què la presentem encara que es faci una anàlisi del sentiment profund".



Tirant als serveis de veu darrere d’Alexa

Els amfitrions no són gaire bons si no saben parlar. No podeu dir "Hola Alexa" en una aplicació sumèria de la mateixa manera que podeu activar Cortana en Windows Mixt. En canvi, Amazon utilitza les API de reconeixement automàtic de la parla i comprensió del llenguatge natural que hi ha darrere d’Alexa per permetre que els amfitrions tinguin converses.

Sumèria està integrada amb Amazon Lex i Amazon Polly. Polly és un servei de text a veu que converteix el text en scripts que un amfitrió pot parlar. Lex és un motor NLP per crear interfícies de conversa, de manera que els amfitrions poden entendre i respondre al que diuen els usuaris dins d’una aplicació AR o VR. El sumeri actualment admet més de dues dotzenes de llengües a través de Polly, i hi ha una característica de sincronització de llavis que ajusta els moviments de la boca de l'amfitrió a la cadència del llenguatge o de la parla.

"La veu és un mitjà que té sentit quan estàs immers en AR o VR", va dir Argenti. "Vull parlar amb un personatge si puc veure-ho dempeus. Així que vam agafar dues d'aquestes eines del grup de l'AI i vam intentar personificar-les realment. Volem que l'escena pugui escoltar-nos i respondre'ns. Així que podeu agafar tot un flux Lex com ho faríeu per a un xat i simplement arrossegar-lo al personatge. De moltes maneres, és molt més fàcil que construir una habilitat d'Alexa."



Lògica de guió en mons immersius

La màquina Visual State de Sumèria és on podeu presentar seqüències complexes i simulacions virtuals. Amb l’editor de línia de temps visual o la interfície completa de JavaScript, els creadors d’aplicacions i els desenvolupadors poden escriure la lògica controlant com els host o altres objectes de les vostres escenes responen a diferents accions. Per exemple, Sumeri inclou un objecte drone volador que podríeu escriure per volar.

Tot això es complica quan s’introdueixen objectes del món real en l’equació. Com que Argenti també supervisa les divisions d’informàtica sense servidor i IoT a AWS, va parlar de com la connexió sumèria a serveis AWS com Lambda i Greengrass pot obrir més possibilitats per a simulacions complexes. Greengrass és una manera perquè els models d’aprenentatge de màquines s’executin localment en dispositius IoT mateixos. Penseu en un entrenament del model ML sobre les dades que s’obté d’una màquina en un pis de fàbrica i, a continuació, tireu aquest algorisme a Sumèria per simular aquesta mateixa màquina utilitzant AI.

"Realment podria haver-hi un món simulat en AR i VR on cada personatge o objecte sigui intel·ligent des de l'entrenament d'aprenentatge automàtic en el món real", va dir Argenti. "En última instància, vols intentar tornar a crear la realitat de la forma més realista possible. Avui podem aproximar-nos, però encara no hi ha des d'un punt de vista comportamental fins a simular el funcionament de les coses".



Meteoròleg simulat de Weatherbug

Quan Amazon em va portar a través d’unes quantes demostracions de clients de Sumèria, al principi em va sorprendre quan la primera va ser una aplicació meteorològica.

Però, tal com va explicar el director general de WeatherBug, Olivier Vincent, la realitat virtual té molt més sentit per a les dades meteorològiques del que pensaria. Com que la gent ha començat a comprovar el seu temps a les aplicacions, a diferència de veure les previsions a la televisió, Vincent va dir que els informes meteorològics han perdut un dels seus millors tocs: el vostre meteorològic local davant d'una pantalla verda.

"El temps vol dir-vos què passa en un moment donat en un lloc determinat. Podeu fer-ho de manera agradable en 2D a la vostra aplicació per obtenir una ullada ràpida, però sabíem com han estat els populars meteorològics i les dones al llarg dels anys". va dir Vincent. "Així que la idea és reintroduir aquesta persona del temps dins d'una experiència més immersiva a l'aplicació".

WeatherBug va construir una escena sumèria amb un estudi de notícies virtual amb un taulell d'ancoratge i pantalles verdes, i va ocupar l'amfitrió predeterminada d'Amazon, Cristine, com a meteoròleg. L’aplicació recull les dades meteorològiques actuals de la vostra ubicació que l’amfitrió us llegirà de seguida com a part d’una previsió meteorològica personalitzada. Des de l’aplicació principal WeatherBug, Vincent va llançar el visualitzador VR que va fer zoom a través d’un model 3D de Manhattan tal com Cristine va donar la previsió, completa amb temperatures altes i baixes, i caient flocs de neu.



Addison, el cuidador virtual

Electronic Caregiver, basada a Mèxic, té una experiència sumèrica molt diferent.

L’empresa ofereix tecnologia per a gent gran com una indumentària amb un botó d’ajuda mèdica, però també va crear una solució anomenada Addision Care, que redueix els costos d’atenció domiciliària i utilitza la IA conversacional per avaluar els riscos de caigudes dels pacients grans. La companyia està llançant un quiosc a farmàcies, hospitals i clínics que analitza la marxa d'un pacient mitjançant l'aprenentatge automàtic. El programari també utilitza Addison, un host sumeri personalitzat, per passejar els usuaris mitjançant un qüestionari verbal sobre la seva història de caigudes.

"No és tan fàcil aconseguir que els adults de gent gran adoptin tecnologia", va dir Bryan Chasko, de la CTO Electronic Caregiver. "A mesura que vagi millorant, la tecnologia de veu interaccionarà aquest mercat. Mai no els aconseguiràs asseure's davant d'un teclat i un ratolí, però amb Addison només poden tenir una conversa."

Electronic Caregiver treballa des de fa anys a Addison desenvolupant el personatge 3D mitjançant Amazon Lex i Polly. L’empresa és un dels clients d’AWS que va ajudar a Amazon a conceptualitzar els punts de dolor que podria resoldre amb Sumèria i com automatitzar el pipeline de creació d’aplicacions AR / VR.

Judah Tveito, desenvolupador virtual de Electronic Caregiver, va dir que Sumeri va assumir els processos que havien estat treballant des de feia mesos i que ho va convertir en uns clics. La companyia també treballa en una aplicació per a mòbils Addison.

Electronic Caregiver preveu finalment que Addison sigui un cuidador virtual a casa seva, va dir Chasko. Per als usuaris majors que visquin pel seu compte, l'AI podria fer coses com recordar-los que prenguin medicaments o trucar automàticament al 911 si hi ha alguna caiguda o una altra emergència mèdica.

"Un dels principals problemes que sentim que pot abordar és l'aïllament que senten els majors quan viuen sols", va dir Chasko. "Realment volem tenir un entorn permanent 24/7 per a la llar on, quan no parleu amb Addison, esteu al bany i us caieu, només poder cridar, 'necessito ajuda' us pot salvar moltes vides ".



The Moneymakers: B2B i IoT

Amazon va parlar molt sobre com podrien viure les aplicacions sumerianes en la senyalització digital interactiva. Imagineu-vos que algú camina per un vestíbul d’un hotel, un centre comercial o un estadi i veieu a un amfitrió caminant al seu costat per una pantalla. Pot semblar una mica esgarrifós, però els amfitrions també poden processar informació contextual, com ara la ubicació, per convertir l'anunci en una conversa personalitzada. Argenti considera els amfitrions com a extensions virtuals de la marca d’una empresa que podrien canviar d’acord amb el que necessita un negoci.

"Si publiqueu aquestes aplicacions en algun lloc amb una càmera, podeu imaginar un personatge en 3D amb vosaltres personalment: sabent qui sou, potser la darrera vegada que vau ser al local o fins i tot l'últim que vau encarregar", va dir Argenti.

"Un vaixell de creuer és un bon exemple. L'amfitrió podria dir" Hola, en funció de on estiguis en aquest moment, la teva reserva d'aquí a 20 minuts, no la faràs. Voleu que la repulsi. 15 minuts? També hi ha un aspecte visual de les experiències que creeu de nou. Un amfitrió que us parli sobre viatges tindrà un aspecte diferent del que us parli de les vostres estratègies financeres. es troben; la manera de vestir i la manera de moure's, les inflexions que tenen ".

Amazon està explorant una sèrie d'aplicacions B2B i IoT per a clients sumeris. Des del punt de vista industrial, Argenti va dir que Nokia va crear un sistema amb sensors i visualitzacions per controlar l’entorn dins dels contenidors d’enviament per mesurar coses com la temperatura interior i l’absorció de xocs sense obrir-los realment.

"Podeu imaginar un món d'AR on estem connectant milions de dispositius a AWS i obtenint moltes dades sensorials que provenen del món real", va dir. "Aleshores podrem utilitzar AR amb triangulació per identificar un objecte i mostrar informació rellevant al damunt. Hi ha una enorme aplicabilitat en qualsevol cosa que va des del servei i la reparació fins a la vigilància, seguretat, etc.".

També hi ha àmplies possibilitats de comerç electrònic quan treballeu amb actius virtuals. Qualsevol model 3D en sumeri que provingui del catàleg de compres d'Amazon té el potencial de guanyar taxes de derivació per als desenvolupadors si l'afegiu a una escena AR / VR. És una manera que tant les empreses com les empreses més petites i els desenvolupadors independents de AWS monetitzin les seves aplicacions sumerianes.

Argenti preveu moltes oportunitats de creuament entre la divisió minorista sumèria i amazònica.

"Podem solucionar part del treball que fa el nostre equip de venda de mobles per a la llar, electrònica per a la llar i altres articles de gran valor per crear models 3D", va dir. "Aleshores, podeu utilitzar-les per a un passatge foto-realista d'un espai. Com puc muntar un altell? Quin tipus de mobiliari organitzem?"



Tot torna a AWS

Construir ponts per a tots els dispositius i plataformes AR / VR, és una manera intel·ligent de reduir la barrera a l’entrada al desenvolupament AR / VR, no només per a les empreses B2B, sinó els desenvolupadors en general. Al mateix temps, l’incentiu empresarial més convincent que hi ha darrere de Sumèria és com a eina per impulsar l’ús més ampli de AWS. Això és cert tant per als clients existents que proven el nou servei, com per als nous usuaris sumeris que comencen a utilitzar els serveis d’emmagatzematge, càlcul, processament, AI i altres serveis d’Amazon, ja que estan integrats a l’experiència. El model de preus també és atractiu, ja que Amazon no imposa cap comissió anticipada. AWS només cobra per allò que utilitzeu.

Tot forma part del que Amazon veu com un bucle més gran on tot flueix a través de AWS. Les dades provenen d’un dispositiu IoT, són processats per una funció Lambda AWS, desplegada a AWS Greengrass per arribar a AWS IoT on entrena un mòdul d’aprenentatge de màquines i, finalment, s’arrossega com a model 3D a una visualització AR en sumeri.



La visió d'Amazon pel nostre futur AR / VR

Amazon espera que Sumèria pugui participar en impulsar la indústria per fabricar productes de mercat en massa en 3D i disminuir el cost. Pel costat AR, Argenti va dir que els habilitadors bàsics estan vigents gràcies a ARKit i ARCore. Va dir que el punt d’inversió arribarà quan hi hagi prou aplicacions i contingut de vídeo per part dels desenvolupadors. Pel que fa a VR, els grans canvis que Amazon espera tenir en compte són que el maquinari baixa en el preu, es fa menys maldestre i es passa sense fils.

"Quan això passi i puguis portar una experiència de VR com un parell d'ulleres, VR s'enlairarà realment", va dir Argenti. "Crec que ha de ser tan natural com veure un vídeo en una tauleta o encendre un televisor abans que estigui a punt per al consum mainstream al mateix nivell que les altres pantalles que tenim actualment. És com fer-ho desenvolupar tot un ecosistema entorn de creadors de contingut, anunciants, usuaris finals i empreses que atenen aquells usuaris."

Argenti també va destacar la importància de la immersió en experiències de realitat virtual i mixta. Un altre dels casos d’ús d’Amazon per a aplicacions sumèries per a aplicacions sumèries és l’educació i la formació. Tant si s’està aprenent a utilitzar un dispositiu mèdic, com a servei d’un vehicle o a aprendre un idioma nou, va dir que es tracta d’abandonar-te en un entorn que se senti el més visceralment possible com el món real.

"Podries seure en un bistrot francès i aprendre l'idioma sense ser-hi realment", va dir. “Els avatars amfitrions us parlen francès. Els menús són en francès. Aleshores, dins d'aquesta realitat, potser podríeu tocar automàticament un menú i veure'l traduir, passant el dit a sobre d'un element per veure que les paraules canvien a un idioma diferent. Tanta educació és contextual i, com una eina d’aprenentatge, tenir experiència amb tots els teus sentits és potent ”.