Com la unitat està construint el seu futur en ar, vr i ai

Unity és la plataforma de desenvolupament 3D més utilitzada al món. Potencia el 40 per cent dels 1.000 millors jocs mòbils i més de la meitat de tots els nous jocs mòbils, segons la companyia d’analítica d’aplicacions Apptopia. Juntament amb Unreal Engine, els dos motors populars de jocs són els que fonamenten la majoria de les experiències de joc a la xarxa.

Tanmateix, l’espai de desenvolupament 3D és molt més concorregut del que hi havia abans, particularment quan es tracta d’un desenvolupament de realitat virtual augmentada i virtual.

Unity serveix com a blocs de construcció o s’integra amb la majoria de plataformes AR / VR més recents, inclosa l’ARKit d’Apple i l’ARCore de Google, però ara també s’ocupa de la competència del gust d’Amazon Sumeria i d’altres interfícies d’arrossegament i gota que busquen simplificar l’experiència per creadors menys tècnics.

Per mantenir-se al capdavant de la competència i evolucionar la seva plataforma cap a un ecosistema creixent de nous dispositius i experiències 3D, Unity impulsa una estratègia de dos punts dirigida per les seves divisions AR / VR i AI. PCMag va parlar amb Tony Parisi, responsable global de Solucions de marca VR / AR de Unity, i Danny Lange, vicepresidenta d’AI i Machine Learning d’Unity, per aprofundir en el futur d’Unity i com la plataforma –i els jocs que crea– són cada cop més intel·ligents sense fins i tot te n’adones.

Vista d'un paisatge del paisatge AR / VR

IDC preveu que la despesa en productes i serveis AR / VR arribarà a 27 mil milions de dòlars aquest any, i el mercat només creix a partir d'aquí. Parisi va dir que Unity pretén donar suport a totes les plataformes de l’espai.

"Fa tres o quatre anys, abans que m'incorporés, Unity va començar a fer inversions importants en el mercat de VR emergent (l'Oculus Rift, HTC Vive, Samsung Gear VR, etc.) amb l'objectiu de crear una mena de sistema complet per a desenvolupadors. de manera que no han de reflexionar sobre els detalls de baix nivell de com donar suport a aquestes plataformes ", va dir Parisi. "Hem arribat al punt on escriviu la majoria de les vostres aplicacions una vegada i podeu portar-lo a aquests dispositius."

Això no és universalment cert, va dir, perquè una aplicació que creeu per a un audiòfon per a visualitzadors mòbils es dissenyarà una mica diferent a una aplicació optimitzada per a una experiència basada en PC. Però, segons les mètriques internes d’Unity, la plataforma potencia actualment el 69 per cent de les experiències d’Oculus Rift, el 74 per cent a HTC Vive, el 87 per cent de Gear VR i el 91% de les experiències de realitat mixta (MR) de Microsoft HoloLens.

• Treballar amb un ecosistema en creixement

  Parisi treballa en AR / VR des de mitjan anys 90 treballant en visualització en 3D. Va co-crear el format de fitxer VRML i altres especificacions subjacents a WebGL, i va fundar i treballar per a altres empreses de VR. A finals de 2016 es va unir a Unity per encapçalar publicitat, màrqueting i estratègia en AR, VR, MR i el paraigua de la realitat més estesa (XR).

  "immediatament després del boom de Pokemon Go, que era una mena de RA simplista, més sobre la ubicació, anar en algun lloc i trobar un Pokémon, a més d'una mica de la càmera. Això és un factor que seguim augmentant. Es tracta tant de la ubicació com de la mateixa es tracta de la immersió ", va dir Parisi.

  Al front AR, Parisi va parlar de com Facebook i Snap usen les seves plataformes de desenvolupadors Camera Effects i Lens Studio per evolucionar el que podeu fer amb les càmeres de telèfons intel·ligents per assenyalar l'entorn que l'envolta. Els telèfons intel·ligents i AR basats en auriculars són experiències com el joc Star Wars: Jedi Challenges, que també va ser creat amb Unity i funciona amb un telèfon intel·ligent combinat amb els auriculars Mirage AR de Lenovo.

  La següent onada són els telèfons amb suport per al sistema operatiu AR a través de l’ARKit d’Apple i l’ARCore de Google, va dir Parisi. Igual que amb Amazon Sumerian, Unity s’associa amb Apple i Google per crear contingut d’AR mitjançant eines 3D. Unity també serveix com a base per a eines de codi obert de Google com Tilt Brush i Blocks. Parisi preveu un món augmentat compartit que abasta sistemes operatius mòbils.

  "Apple i Google són els dos grans socis. Tenim relacions profundes amb ells per desenvolupar i recolzar aquestes experiències i contingut de XR a través de les eines 3D d'Unity", va dir Parisi. "Hi ha moltes eines de creació democratitzades que no són per a codificadors ni desenvolupadors o dissenyadors professionals. El que és millor és que pugueu prendre models Blocks o Tilt Brush art i portar-los a altres aplicacions Unity com qualsevol altre programari. això entra a la Unitat ".

  Des del punt de mira MR i VR, els grans reproductors de dispositius i programari són Oculus, HTC i, per descomptat, Microsoft i el seu ecosistema de Windows Mixt. Unity construeix aplicacions 3D per a totes elles, però Microsoft va desdibuixant una mica les línies entre la realitat mixta i la virtual, va dir Parisi. HoloLens és un dispositiu de realitat mixta, però els auriculars de Windows Mixed Reality són VR.

  "La indústria continua arribant a un problema amb el que hauríem de dir tot això", va dir Parisi. "En funció de si esteu dissenyant contingut que barreja digital amb el món real versus cap a un món completament immersiu, teniu diferents reptes. En VR, els reptes de rendiment són més alts. Heu de crear un món completament sintètic. Això vol dir PC: els auriculars VR basats en 90 fotogrames per segon i volen el rendiment. La realitat mixta és menys intensa, però també s'ha d'ajustar en temps real a tot l'entorn que està processant."

• Evolució de la creació de contingut 3D

  Unity és una eina de creació 3D democratitzada per desenvolupar contingut immersiu. Hi ha versions de Free, Plus i Pro que podeu adquirir per les despeses de subscripció mensual, i no estan lliures de drets. Així que el que creeu amb Unity és vostre. Actualment, Unity admet la creació de prop de 30 plataformes diferents, des de telèfons intel·ligents i sistemes operatius de PC fins a diversos sistemes de jocs, televisions intel·ligents i auriculars VR.

  Recentment, Unity s'ha utilitzat per crear una àmplia gamma de contingut i experiències immersives. Aquests van des d'una sèrie del Festival de Cinema de Sundance anomenada Spheres, que permet als espectadors explorar una col·lisió còsmica de dos forats negres en VR, fins al joc CocoVR de Disney, que utilitza projeccions de 360 ​​graus per transportar jugadors a la terra dels morts de la pel·lícula Pixar.

  Parisi també ha parlat d'utilitzar Unity per crear divertits jocs de VR com Beat Saber i experiències augmentades, inclosa l'aplicació MLB At Bat AR, que permet als espectadors de beisbol apuntar els seus telèfons intel·ligents al joc i veure les estadístiques a la pantalla per sobre dels jugadors.

  Unity pot crear tot aquest tipus d'aplicacions, però hi ha molts matisos a considerar en el disseny. Les experiències basades en PC són més potents, permetent models 3D més grans en entorns més rics i auriculars com l’Oculus Rift i l’HTC Vive també us ofereixen controladors d’entrada juntament amb el seguiment posicional i a escala d’habitació. Parisi va dir que heu de dissenyar per a aquest tipus d’aplicacions diferent de la que faríeu per a una experiència de visualització de 3 graus de llibertat en un auricular com el Google Daydream View. No és tan fàcil com prémer un botó, però Unity ha treballat per garantir que el contingut en 3D que creeu pot passar d’un dispositiu a un altre sense massa codificació.

  Més enllà de les aplicacions de jocs i entreteniment per a experiències AR / VR, una de les qüestions que Unity ha tractat darrerament és com millorar el seu entorn de creació 3D per satisfer diferents indústries, nivells d’habilitats i casos d’ús. Igual que amb les eines de desenvolupament de codis baixos destinades a satisfer tant codificadors greus com usuaris no tècnics, Unity està descobrint maneres de fer que la seva interfície, el magatzem d’actius i la resta de la seva plataforma treballin per a diferents tipus d’empreses i usuaris per expandir el seu client. base

  "Hem mirat aquestes diferents indústries en què creixen AR i VR. Podria ser automoció, cinema, arquitectura, serveis mèdics o altres organitzacions on distribuïu programari a centenars de milers de seients", va dir Parisi. "Es tracta de mons completament diferents, empreses diferents, antecedents i eines de producció diferents. Ens vam centrar inicialment en les indústries de mòbils i jocs perquè allà va ser el creixement, però ara la roda ha girat i el moment és adequat per agafar el llibre de joc i portar-lo. a algunes d’aquestes altres indústries ara perquè el món va B2B ".



Limitacions AR / VR actuals

Actualment, el principal obstacle per a l'adopció de MR i VR més estesa no és la falta de contingut, sinó les limitacions del maquinari quan es tracta de comoditat i portabilitat enfront del poder informàtic, va dir Parisi. El farcit del proper audiòfon Magic Leap serveix com a estudi de casos de llibre de text per intentar convertir un processador prou potent com un factor de forma prou reduït per al consum massiu.

"És un repte crear una experiència de realitat mixta que funcioni caminant per la vostra sala d'estar i no navegant per carrers oberts", va dir Parisi. "Estem en un lloc on encara estem passant per iteracions en el maquinari per trobar el punt més dolç entre la potència de la computació i la portabilitat. Amb un audiòfon VR, podeu moure't fins que sentiu aquest embussament del fil. Necessitem un altre La manera de transmetre aquestes dades. Aquest filferro és un dolor; es trenca la immersió. Vaig estar en un altre lloc durant un minut, però després em vaig embolicar al peu."

Pel costat AR, les limitacions són diferents; es tracta molt més sobre la visió de l’ordinador i la potència de processament de gràfics en 3D en temps real. Quan es tracta de visió per ordinador i que utilitza diferents tipus d’aprenentatge automàtic (ML) per omplir els buits i fer que les experiències AR / VR siguin més intel·ligents i perfectes, és allà on arriba el creixent departament d’AI d’unitat.

• Estratègia d'AI de Unity

  Unity utilitza AI de diverses maneres, des de millorar el joc i el disseny del motor fins al seguiment del comportament dels usuaris i canviar la manera en què els desenvolupadors de jocs poden generar monetització de les seves aplicacions. L’equip d’AI, que compta amb més de 100 empleats a tot el món, està dirigit per Danny Lange, la vicepresidenta d’AI i Machine Learning de Unity.

  Lange es va incorporar a Unity fa uns 18 mesos després d’haver ocupat funcions com a responsable d’aprenentatge automàtic a Uber i director general d’Amazon Machine Learning. També ha treballat a IBM i Microsoft. Va arribar al món dels jocs amb una perspectiva diferent sobre ML i ha ajudat a convertir els tradicionals esforços de ML d’Unity en projectes més ambiciosos.

  "Empreses com Amazon i Uber porten tant l'aprenentatge automàtic. Procedent d'un món d'automòbils en aquest entorn de jocs 3D, voleu buscar el lloc perfecte per impulsar el límit de la intel·ligència artificial", va dir Lange.

  "Quan vaig venir, hi va haver una gran quantitat d'esforços d'aprenentatge automàtic on vaig aprofitar l'experiència amb l'aprenentatge de reforç i sistemes dinàmics on bàsicament millores el comportament", va continuar Lange. "Això és el que vam fer molt a Amazon i a Uber. Tant si envieu llibres com si esteu optimitzant per a una recollida sense fricció per a Uber, tot allò no és gent que estigui asseguda i dissenyant-la, sinó que els sistemes informàtics aprenen on dir-los. el lloc on coneixeu el vostre conductor d’Uber. I quan vaig venir a Unity vaig veure una enorme oportunitat de portar aquestes idees al món dels jocs."

  Tal com va explicar Lange, els projectes de ML d’Unity comprenen des del joc fins a la monetització. En un cas, l’equip busca grups d’usuaris que tinguin determinats patrons de despesa que els desenvolupadors d’Unity volen monetitzar mitjançant publicitat o compres integrades a l’aplicació. A continuació, Unity deixa aquests resultats als desenvolupadors per obtenir un compromís més eficaç a llarg termini.

  L’empresa també aplica ML per millorar la jugabilitat, el disseny del motor i l’ajuda en el procés d’autorització de contingut. L’estratègia general d’Unity es divideix fonamentalment entre el costat del desenvolupament en ML més a nivell de servei i la recerca més avançada d’aprenentatge profund en l’àmbit acadèmic. Lange va dir que això també s’interessa en el que està fent el departament de Parisi amb el desenvolupament de XR, on Unity proporciona als investigadors un entorn gràfic en 3D per provar nous algoritmes de ML.

  "L'AR i la VR són dominis fantàstics per a l'aprenentatge de màquines i la IA. Sovint penso en la IA com a realitat millorada i la realitat és difícil de tractar", va dir Lange. "És difícil trobar algoritmes fixos que entenen tot en una habitació i poden sobreposar-se a aquesta habitació. En realitat no es pot codificar. Heu d'utilitzar l'aprenentatge automàtic i la IA per posar objectes virtuals en una habitació que reconegui que una taula és una superfície, i si la poseu a la vora d'una taula, caurà. Són zones en què l'aprenentatge automàtic té un paper molt important a causa d'aquest comportament dinàmic del món real; entendre la profunditat i les dimensions dels espais virtuals. amb l’objectiu de treure l’avantguarda de l’aprenentatge profund per revolucionar la manera com es creen i es comporten aquests jocs."



Aprenentatge automàtic darrere de les escenes

Des del punt de vista del joc i el joc, Lange va treure el teló de la manera com Unity teixix els algoritmes ML en l'experiència per automatitzar el procés de creació i iteració.

"Captenem moltes dades de comportament: quan comença un joc, durant quant temps heu jugat, per quines escenes es passa", va dir Lange. "En aquest sentit, estem utilitzant l'aprenentatge automàtic i les analítiques de dades en un context similar al que fan Amazon o Google: recopilar dades de comportament i retornar-les al desenvolupador de jocs. És una espècie de l'equivalent a les analítiques web, proporcionant-vos dades actuables. utilitzar de seguida per veure quins nivells s’estan enganxant els jugadors, quines escenes no funcionen, etc."

Aquestes dades es poden utilitzar per optimitzar per a factors com les compres i la publicitat en aplicacions, però Lange va dir que els algoritmes ajuden a trobar un equilibri entre mostrar el contingut que els interessa i guanyar diners fins als extrems. A nivell macro, va explicar que es tracta més que de crear un bucle autoperpetuïdor de dades de comportament per ajudar els jocs a evolucionar orgànicament, traient l'equació del treball manual dels desenvolupadors.

"L'aprenentatge automàtic és on podeu agafar dades i començar a fer connexions", va dir Lange. "Quan ho poseu en un bucle, com el que veieu sovint en un joc, les dades condueixen a prediccions del joc i els jugadors. Això crea més dades de comportament, i ara teniu un sistema amb el qual podeu interactuar i aprendre. Un dels nostres grans esforços és utilitzar la tecnologia AI per crear més jocs orgànics que evolucionin amb l'ús ".

• Agents d'aprenentatge automàtic

  La manera més important de fer Unity és mitjançant ML Agents, una iniciativa beta de codi obert que converteix jocs i simulacions 3D en terrenys d’entrenament d’agents intel·ligents autònoms. Essencialment, Unity permet als desenvolupadors desplegar aquests agents ML flexibles en qualsevol escenari i actuaran com una esponja: aprenent i evolucionant de manera personalitzada en funció de qualsevol entorn virtual on els aboquis.

  "La meva definició d'aprenentatge automàtic vers l'AI és que amb l'aprenentatge automàtic recopileu dades, entreneu el sistema i això és", va explicar Lange. "L’AI és quan el sistema es torna a refermar constantment i es fa cada vegada millor. Volem que els jocs puguin evolucionar, i una de les nostres iniciatives públiques per promoure això és els agents d’aprenentatge automàtic".

  Unity té diversos públics objectiu per als seus agents ML. Un dels escenaris és per als desenvolupadors, que permet que aquests personatges automatitzats es desplacin i interactuïn amb els jugadors. En lloc de codificar les seves accions, els agents de ML aprenen a través del reforç, ja que simulen diferents nivells i ajuden els desenvolupadors a provar ràpidament jocs que actuen com a jugadors virtuals provant milers de nivells de joc en paral·lel.

  Un altre cas d’ús per a ML Agents se centra al voltant de la narrativa. Lange va dir que Unity està provant els agents intentant esbrinar què farà un jugador després i després seguir-los cada cop més. La idea és comprendre què fan els jugadors humans i com compensarà el joc aquestes decisions en l'esquema més ampli de la narració. En els jocs on milions de jugadors estan actius, els agents de ML poden aprendre i modificar els nivells o les històries d'un joc a gran escala.

  En la simulació "Goodboy" anterior, l'equip de Lange va crear un joc mòbil senzill mitjançant un model d'aprenentatge automàtic del conjunt d'eines ML-Agents d'Unity. En el joc, el petit corgi agafa un pal amb moviments simpàtics, tot sense codificar. En canvi, les seves accions i comportaments són controlats per ML agents. Unity té previst treballar amb els socis de la plataforma per ampliar els agents de ML a totes les plataformes compatibles amb Unity.

  "Si penseu en aquest tipus de capacitats dins d'un joc a allò que anomenem nivell narratiu, no els personatges es mouen al joc necessàriament, sinó el joc en si mateix. Així doncs, bàsicament teniu el joc intentant reproduir-vos en alguns. carreteres molt emocionants. Així que podeu triar una marxa cap a l’esquerra o a la dreta per un camí i el joc bàsicament orquestrarà diversos esdeveniments en funció del que preveu que fareu, cinc, 10 i 15 moviments a partir d’ara ". va dir Lange.

  "T'imagines com pot funcionar això en un joc multijugador", va continuar. "Un dels exemples clàssics: a la primera part d'un partit, dos individus es troben. Un roba tot l'or d'un altre jugador, i després es separen amb sang dolenta entre ells. Així, el joc garanteix una narració on acabi cada jugador. Junts en un lloc on sobreviure, hauran de treballar junts, han de creuar un pont i només ho poden fer junts, en cas contrari, estan fora del joc. Seria molt difícil codificar el seu camí amb una extensa simulacions, però amb ML Agents, el joc pot crear dinàmicament aquest tipus de simulacions."

• Construint mons virtuals assistits per AI

  La demostració "Piràmides" anterior és un entorn que mostra les troballes d'un projecte d'aprenentatge de reforç anomenat Curiosity, on els Agents ML exploren ràpidament un món per descobrir els beneficis ocults al mapa.

  Un altre aspecte de les operacions d’IU d’Unity consisteix en utilitzar ML per crear escenes i textures més immersives quan es generi contingut en 3D. Lange va dir que es tracta d’un camp més nou però molt prometedor, on els sistemes autònoms dins d’un joc poden generar contingut controlat pel moviment i omplir moviments naturals, aprenent com es mou un personatge, un humà o un animal, i després imitar aquesta animació en un joc.

  "Tenim milers de desenvolupadors provant això", va dir Lange. "En el vessant acadèmic, hem començat a veure molts estudiants i doctorats de la NASA al MIT i a l'Institut Paul Allen de Seattle que publiquen coses sobre Unity. Acabo de trobar-me amb desenvolupadors de Londres que busquen això per al desenvolupament de NPC, que realment estan pressionant el limitar el rendiment gràfic amb iPhones i dispositius Android."

  Unity també té un motor anomenat IA extrema per associar personalitats a personatges, similar a com Amazon Sumeri construeix "amfitrions" infusats amb IA. Per als personatges no jugables d’un joc, Unity ha començat a experimentar amb això per a una simulació més natural en l’últim any o dos, va dir Lange.

  "Així que si voleu construir un robot o un cotxe auto-conduït o dissenyar una casa, podeu fer-ho a Unity i poblar aquesta casa amb NPCs", va dir Lange. "Podeu simular 1.000 famílies que viuen a la casa i recollir informació sobre com es mouen els personatges. Les portes s'obren de la manera correcta? Hi ha molta llum a les habitacions? Si ho feu al núvol, podríeu tenir 1.000 cases diferents amb 1.000 famílies diferents. Això pot semblar ser un camí fora dels jocs en si mateix, però, tot això, es basa la tecnologia de jocs ".

• El futur de les aplicacions immersives

  A mesura que les ambicions d’AR / VR i intel·ligència artificial s’amplien, Unity busca més enllà del joc una nova generació d’aplicacions 3D. Un exemple és la indústria de l’automoció, per la qual Unity ha creat recentment un equip dedicat per ajudar a crear contingut d’AR / VR per a clients com Audi, Toyota, Lexus i Volkswagen. Parisi va dir que Unity busca aplicar el poder del seu ecosistema de desenvolupadors multiplataforma per portar la creació d'aplicacions AR / VR a les noves indústries.

  "Estem canviant la manera com dissenyes cotxes, fas pel·lícules; com fas totes aquestes coses com a empresa que sap vendre als desenvolupadors de jocs", va dir Parisi. "Com a exemple, diguem que Ford vol crear una aplicació al seu laboratori d'innovació. Tenen maquinari i programari de gamma alta. Aleshores, el Rift surt i decideixen fer-ho en un PC de jocs. Van publicar un anunci. i és probable que algú a la zona de Detroit sigui un programador Unity. Que una persona comenci a fer prototips, es converteixi en un equip d’innovació de tres persones, i després comencen a desenvolupar noves maneres de fer disseny de cotxes per substituir prototips físics ".

  Parisi també té molt potencial per reduir la fricció quan es tracta d’AR i de comerç electrònic. El punt d’inflexió més gran és la ratificació del WebXR del World Wide Web Consortium (W3C), un nou estàndard que permetrà que les experiències AR i VR funcionin com a aplicacions web directament en navegadors d’escriptori i mòbils.

  Imagineu veure un anunci d’un aparell de cuina nou al vostre feed social i, tot seguit, arrossegueu aquest model 3D a un entorn de realitat mixta vinculat a la vostra càmera per veure com es veu a la cuina. Perquè aquest tipus de tecnologia publicitària 3D funcioni a gran escala, Parisi va dir que l’experiència web ha de ser perfecta. Si heu d’instal·lar una aplicació per veure tots els objectes 3D etiquetats amb informació virtual només per connectar-lo a la vostra càmera, el model no funciona, però Unity es veu com una eina juntament amb estàndards com WebXR que poden solucionar aquests buits de compatibilitat.

  Parisi preveu un futur en què el factor per a les experiències AR / VR sigui un dispositiu d'entreteniment autònom, ja sigui una experiència a casa, una aplicació basada en ubicacions o una simulació empresarial de formació. També va dir que la interfície d'usuari ha de tornar completament immersiva. La tecnologia encara no hi és, però no creu que estigui tan lluny com podrien pensar alguns.

  "Hi ha qui pensa que passarà dècades abans que puguem arribar a un auricular immersiu realment bo o unes ulleres amb prou potència informàtica", va dir Parisi. "Si tinguem en compte tots els avenços miraculosos de la miniaturització, tots aquests aspectes computacionals (CPU, GPU, xarxes 5G), en uns anys podríem ser capaços de traslladar part d'aquest processament cap al límit o fins al núvol. El factor forma podria sigui qualsevol cosa, però l'element comú és definitivament una interfície d'usuari immersiva on es pot prémer un botó i experimentar caràcters digitals o entorns en capes totalment realitzats barrejant el món digital i el real ".