Ibm watson ajuda els estudiants universitaris a aprendre mandarina

Les universitats han recorregut un llarg recorregut en els seus estudis d’idiomes, passant més enllà de les classes tradicionals en una sala de conferències i de les lliçons prèviament enregistrades sense interacció. Ara els estudiants tenen accés a tecnologies com la intel·ligència artificial (AI) i el processament del llenguatge natural (PNL) en un entorn d’aprenentatge immersiu. Això és el que està passant al Laboratori de Sistemes Cognitius i Immersius (CISL) de Troy, Nova York, campus del Rensselaer Polytechnic Institute (RPI). És aquí que l’institut s’ha unit amb IBM Research per crear la tecnologia per a un curs d’estiu de sis setmanes en què els estudiants interactuen amb agents d’AI en entorns que inclouen mercats ambulants i restaurants.

El curs, titulat "AI-Assisted Immersive Chinese", presenta un sistema panoràmic de 360 ​​graus d'escenes generades per ordinador a la sala d'immersió cognitiva del laboratori (CIR), que també s'anomena "Situacions Room". Les escenes virtuals tenen lloc a la Xina. Els estudiants conversen amb els avatars alimentats per Watson Assistant i es corregeixen en la seva parla i pronunciació. Al CIR, els estudiants utilitzen IA conversacional, generació narrativa, consciència de context espacial, i tecnologia de reconeixement facial i de gestos.

El CIR és un exemple de la gran varietat de potencials per a IBM Watson en diverses indústries, a més de l'educació. Aquestes indústries inclouen l’agricultura, els recursos humans (RR) i la gestió de flotes.

Al RPI, a més de Watson Assistant, els estudiants utilitzen Watson Speech to Text, Watson Text to Speech i Translator Language en els seus estudis.

Els estudiants aprenen mandarí mitjançant la IA al campus RPI. (Crèdit d'imatge: IBM Research / RPI)

Una experiència d’aprenentatge actiu

Per a Julian Wong, un jove al RPI, l’experiència d’IU immersiva va ser una manera atractiva d’aprendre mandarí perquè li proporciona una forma més activa d’aprendre. Com que el mandarí és un llenguatge tonal en què un canvi de to pot alterar el significat de les paraules, els avatars de l'experiència d'AI proporcionen comentaris sobre el to per assegurar-se que Wong i la resta d’estudiants obtinguin les pronunciacions correctes.

El treball amb IA al CIR proporciona un bon equilibri amb el temps regular de l’aula, segons Wong. "La reunió per parlar amb l'ordinador… sens dubte ajuda amb molts aspectes de l'aprenentatge de la llengua, especialment les habilitats verbals", va dir Wong.

La classe mandarina de Wong es reuneix quatre vegades a la setmana. Dilluns i divendres, assisteix a una classe en una aula tradicional amb Helen Zhou, professora associada del RPI. Allà aprèn vocabulari nou i fa una introducció a frases i estructures gramaticals. Dimarts i dijous, la classe es reuneix al CIR, on els estudiants duen converses amb agents virtuals. En un entorn de restauració, Wong va dir que els estudiants poden passar tot el procés d’asseure’s al restaurant, mirar un menú, demanar menjar, parlar amb un cambrer sobre com s’elabora el menjar i pagar la factura. Altres entorns inclouen un jardí, un mercat i un campus escolar.

Segons la classe de Zhou, la classe mandarina de l’aula immersiva difereix d’un entorn tradicional perquè proporciona una experiència multimodal de llenguatge i vídeo, segons Zhou. Va dir que una classe tradicional seria menys immersiva i interactiva. "En la simulació a l'aula immersiva, tenim dos agents per lluitar entre ells, per intentar persuadir els estudiants perquè comprin el producte", va dir Zhou. "Els estudiants ho entendrien per experiència personal en lloc de veure vídeos o escoltar només conferències. Crec que recollirien la cultura amb més facilitat que només aprenent de llibres de text o escoltant cintes".

Al CIR, els estudiants fan preguntes relacionades amb les escenes amb les quals han interactuat i aixequen la mà per donar les seves respostes. La tecnologia de visió informàtica des de les càmeres de la sala capta els seus gestos. L’assistent d’AI dóna un test relacionat amb l’escena i els estudiants han de respondre amb una frase en xinès.

"Si voleu seleccionar una de les finestres emergents que hi ha a la pantalla, podeu mantenir la mà oberta, la palma oberta i, a continuació, tanqueu la mà", va explicar Wong. "Seleccioneu el cursor que hi ha actualment. Per als petits qüestionaris, si sabeu quina és la resposta correcta, podeu traslladar la mà als caràcters que voleu seleccionar i tancar la mà per seleccionar-los. us avisarà si ho heu encertat o no ".

L’agent virtual entén els estudiants la majoria de les vegades, excepte quan poden no tenir el micròfon a prop de la boca. El sistema té diferents paràmetres de reconeixement de veu que recullen els estudiants si estan fora de la seva pronunciació. També proporciona informació immediata en una conversa si no teniu un professor present. Els estudiants de la classe mandarina van al seu propi temps per accedir a clips de veu per fer pràctiques.

Una característica excel·lent de l’experiència immersiva al RPI és la consciència del context espacial, en la qual diversos agents virtuals de la pantalla poden dir-los amb qui estàs contactat amb els ulls. "Si dius alguna cosa mentre mires un agent, aquest agent respondrà i no l'altre", va dir Wong.

Un estudiant utilitza la tecnologia de gestos i reconeixement facial d’IBM Watson com a part d’una classe mandarina a l’RPI. (Crèdit d'imatge: IBM Research / RPI )

Com es va desenvolupar l'experiència immersiva

L’experiència immersiva al RPI va venir es va crear quan els professors d’idiomes i els dissenyadors de jocs es van reunir per parlar d’una manera millor d’ensenyar l’idioma. Un pla per desenvolupar un joc de rol aviat es va engegar en una discussió sobre com ensenyar mandarí mitjançant una simulació d'escenaris de la vida real, segons Hui Su, que és alhora director de l'experiència d'usuaris cognitius d'IBM Research i director del CISL. IBM i el RPI van començar a desenvolupar el curs a finals del 2015 i van establir el laboratori conjunt en aquell moment. El CISL es va concretar poc després.

"El propòsit del laboratori és construir l'entorn cognitiu i immersiu per millorar les activitats del grup, augmentar la intel·ligència de grup en el context de l'aprenentatge i la presa de decisions", va dir Su. "També ens centrem en la creació de salons de reunions immersives cognitives… per mirar les dades d'una situació crítica i intentar donar sentit a la informació i crear decisions o recomanacions per als que prenguin decisions".

Com a part del programa d’aprenentatge d’idiomes d’AI, IBM i el RPI estan experimentant amb l’anàlisi del contorn de pitch. Su va descriure com funciona aquesta tecnologia. "Quan parles una síl·laba, quan pronuncies una síl·laba, la tecnologia subjacent captarà la veu i genera un contorn visual de com es pronuncia aquesta síl·laba", va dir Su. "Després utilitza aquest contorn visual i compara aquest contorn visual amb un contorn visual d'un parlant nadiu".

Els estudiants poden fer ajustaments en la seva pronunciació per assolir el to correcte. Aprendran que han de canviar les pronunciacions de certes síl·labes. Segons Su, el coneixement que guanya els estudiants en aprendre mandarí a l’aula immersiva mitjançant la tecnologia Watson tindrà més confiança per conversar a la vida real.

"La idea completa és proporcionar un context cultural suficient a través del nostre entorn immersiu i tecnologia AI per permetre als estudiants practicar un exercici", va dir Su. "Així no tindran pors com parlar amb la gent de la vida real".

Un estudiant practica el mandarí en un entorn de restaurant virtual mitjançant la tecnologia IBM Watson. (Crèdit d'imatge: IBM Research / RPI )

Un pont entre la indústria de la tècnica i l'Acadèmia

IBM i el RPI són capaços de construir un pont entre investigadors i membres del professorat d’IBM, amb IBM integrant un investigador al campus, concretament Su. Mentrestant, Zhou, el professor de la classe del RPI, també proporciona comentaris als dissenyadors, usuaris i professors sobre com millorar l’experiència immersiva a l’aula.

"He de donar-los comentaris immediats per depurar o millorar el disseny perquè puguem oferir una aula més natural als estudiants", va dir Zhou. "Així que hi ha molta feina, però val la pena".

El futur de l’aprenentatge d’idiomes

• El millor programari d’aprenentatge d’idiomes per al 2019 El millor software d’aprenentatge d’idiomes per al 2019
• IBM allibera eines de AI de Watson pretractades a diverses indústries IBM llança eines de AI de Watson pretractades a diverses indústries
• L’AI parla realment la nostra llengua? L’AI parla realment la nostra llengua?

Segons Zhou, aquest tipus d’ambients immersius és valuós per la capacitat de proporcionar un entorn de la vida realment aparent. "L'entorn immersiu de l'AI no només pot millorar la parla i l'escolta dels estudiants, sinó també la pragmàtica de l'ús d'aquest llenguatge en situacions de la vida real", va dir Zhou. "Per això, l'AI és més ideal per a mi com a instructor perquè els estudiants puguin tenir la idea d'utilitzar l'idioma des d'hora, fins i tot per als estudiants principiants, sense viatjar al país."

Els entorns d’aprenentatge multimodals com els que s’ofereixen al RPI ampliaran el paper de l’IA a l’aula. Amb l'experiència que proporciona AI mitjançant els agents virtuals, els estudiants estaran preparats per abordar diversos escenaris del món real amb les habilitats lingüístiques necessàries.