El trencaclosques de Google està intentant desintoxicar Internet

Internet pot sentir-se com un lloc tòxic. Els trolls baixen de seccions de comentaris i fils de les xarxes socials per provocar el discurs d’odi i l’assetjament, convertint debats potencialment il·luminadors en atacs ad hominem i pilotes de grups. L'expressió d'una opinió en línia no sembla sovint val la pena el vitriol resultant.

Massives plataformes socials, incloses Facebook, Twitter i YouTube, admeten que no poden controlar adequadament aquests problemes. Estan en una cursa d’armes amb bots, trolls i tots els indesitjables que s’abandonen pels filtres de contingut. Els humans no som físicament capaços de llegir tots els comentaris a la xarxa; els qui ho intenten sovint se’n penedeixen.

Els gegants tecnològics han experimentat amb diverses combinacions de moderació humana, algoritmes de IA i filtres per eliminar-se a través del diluvi de contingut que flueix a través dels seus feeds cada dia. El trencaclosques tracta de trobar un terreny mig. La filial i incubadora de tecnologia Alphabet, abans coneguda com Google Ideas, comença a demostrar que l’aprenentatge automàtic (ML) dissenyat en eines per a moderadors humans pot canviar la manera d’abordar el problema de toxicitat d’internet.

Perspective és una API desenvolupada per Jigsaw i l'equip de tecnologia Counter Abuse Technology de Google. Utilitza ML per detectar l’abús i l’assetjament en línia i anota comentaris en funció de l’impacte percebut que poden tenir en una conversa per intentar facilitar la vida dels moderadors humans.

Perspectiva enmig dels partits crits

La tecnologia de codi obert es va anunciar per primera vegada el 2017, tot i que el desenvolupament es va iniciar uns anys abans. Alguns dels primers llocs a experimentar amb Perspective han estat publicacions de notícies com The New York Times i llocs com Wikipedia. Però recentment, Perspective ha trobat una llar en llocs com Reddit i la plataforma de comentaris Disqus (que s’utilitza a PCMag.com.)

CJ Adams, responsable de producte de Perspective, va dir que el projecte vol examinar com es silencia la veu de les persones en línia. Jigsaw volia explorar com l'abús objectiu o l'atmosfera general d'assetjament poden generar un efecte esfereïdor, descoratjant a les persones fins al punt en què consideren que no val la pena el temps ni l'energia per afegir la seva veu a una discussió. Quantes vegades heu vist un tuit, publicació o comentari i heu triat no respondre perquè lluitar contra trolls i posar-se en línia en línia no val la pena agreujar-se?

"És molt fàcil arruïnar una conversa en línia", va dir Adams. "És fàcil saltar-hi, però una persona realment tòxica o tòxica pot expulsar altres veus. Potser 100 persones llegeixen un article o inicien un debat i, sovint, acabes sent les úniques veu més fortes de l'habitació, en una xarxa d’interès optimitzada per a gustos i accions, de manera que callau totes aquestes veus. Aleshores el que defineix el debat és només la veu més forta de la sala: el partit de crits."

Jigsaw i Google

Ha estat un any dur per a la companyia germana de Jigsaw, Google, que ha aferrat problemes de seguretat de dades, impuls dels empleats per la seva implicació en projectes per al Pentàgon i la Xina, i revelacions sobre la seva gestió d’assetjament sexual. Per no parlar d’una contenciós audiència del Congrés en la qual els consellers delegats, Sundar Pichai, van ser a la brasa.

A Jigsaw, la incubadora altruista de l'Alfabet, les coses han estat una mica menys dramàtiques. L’equip ha dedicat el seu temps a examinar formes de censura més tècniques, com la intoxicació amb DNS amb la seva aplicació Intra i els atacs DDoS amb Project Shield. Amb perspectiva, l’objectiu és més abstracte. En lloc d’utilitzar l’aprenentatge automàtic per determinar què està o no en contra d’un determinat conjunt de regles, el repte de Perspective és intensament subjectiu: classificar l’impacte emocional del llenguatge.

Per fer-ho, necessiteu el processament del llenguatge natural (PNL), que descompon una frase per identificar els patrons. L’equip de Perspectives s’enfronta a problemes com el biaix de confirmació, el pensament en grup i el comportament d’assetjament en un entorn on la tecnologia ha amplificat el seu abast i els fa més difícils de resoldre.



AI és "incorrecte i tonto"

La millora de les converses en línia amb l'aprenentatge automàtic no és una tasca senzilla. No deixa de ser un camp de recerca emergent. Els algorismes poden esbiaixar-se, els sistemes d’aprenentatge automàtic requereixen un perfeccionament sense fi i els problemes més difícils i importants encara no estan explorats.

El grup de recerca AI Conversation, que va crear Perspective, va començar per reunir-se amb diaris, editors i altres llocs on es van mantenir converses. Alguns dels primers llocs a experimentar amb la tecnologia van ser The New York Times , Wikipedia, The Guardian i The Economist .

L’any 2017, l’equip va obrir la demostració inicial de Perspectives a través d’un lloc web públic com a part d’una prova alfa, permetent a la gent escriure milions de comentaris falsos i abusius al lloc. Va ser com l’informat experiment de Microsoft chatbot Tay fallat de Microsoft, tret que en lloc d’enganyar el bot per respondre amb tuits racistes, Jigsaw va utilitzar la virulència multitudinària com a dades d’entrenament per alimentar els seus models, ajudant a identificar i categoritzar diferents tipus d’abusos en línia.

La prova pública inicial inicial no va ser correcta. El "Trolls Across America" ​​de Wired, que va disminuir la toxicitat al comentar a tot el país basat en la puntuació en perspectiva, va mostrar com l'algoritme discriminava inadvertidament els grups per raça, identitat de gènere o orientació sexual.

Adams era indiscutible pel fet que les proves inicials de Perspective revelessin importants punts cecs i biaix algorítmic. Igual que l’eina de reclutament desballestada d’Amazon, que es va formar en dècades de dades laborals defectuoses i va desenvolupar un biaix inherent contra les sol·licitants femenines, els primers models de perspectiva tenien defectes marcants a causa de les dades sobre les quals es va formar.

"A l'exemple de grups amb objectius freqüents, si us fixàveu en la distribució a través dels comentaris del conjunt de dades de formació, hi havia un nombre de comentaris cada vegada més reduït que incloïen la paraula" gai "o" feminista "i l'utilitzaven en positiu. ", va explicar Adams. "Els comentaris abusius utilitzen les paraules com a insults. Així doncs, la ML, mirant els patrons, diria:" Ei, la presència d'aquesta paraula és un bon pronòstic de si aquest sentiment és tòxic o no.

Per exemple, l'algoritme alfa podria haver etiquetat erròniament declaracions com "sóc un home gai orgullós" o "sóc feminista i transgènere" amb altes puntuacions de toxicitat. Però el procés d'entrenament públicament transparent, tot i que dolorós, va ser una lliçó inestimable per a Jigsaw sobre les conseqüències del biaix involuntari, va dir Adams.

Quan s’entrenen models d’aprenentatge automàtic sobre alguna cosa tan angoixant i personal com l’abús i l’assetjament en línia, l’existència de biaix algorítmic també posa de manifest el perquè de la IA no és la solució. Empreses socials com Facebook i YouTube han promogut les funcions de moderació de contingut de les seves plataformes només per fer un retrocés enmig de l'escàndol i la correcció correcta mitjançant la contractació de milers de moderadors humans.

El trencaclosques de Jigsaw és un híbrid dels dos. La perspectiva no és que els algoritmes de l'AI prenguin decisions al buit; l'API està integrada en les interfícies de gestió de comunitats i de moderació de contingut per servir com a eina d'assistència per a moderadors humans. Els enginyers de perspectiva descriuen la moderació del discurs d’odi amb i sense ML mitjançant una analogia de paller: AI ajuda automatitzant el procés d’ordenació, arruïnant grans prats de paller tot deixant la declaració final als humans sobre si un comentari es considera abusiu o assetjament.

"És aquesta nova capacitat de ML", va dir Adams. "La gent parla de la intel·ligència intel·ligent de l'AI, però sovint no parlen de totes les maneres de fer-se malament i tontes. Des del principi, sabíem que això equivocaria molt, i així vam dir:" Això L'eina és útil per a la moderació humana assistida per màquina, però no està disposada a prendre decisions automàtiques. " Però pot trigar l’agulla en un paller de paller en trobar aquest discurs tòxic i portar-lo a un grapat de fenc."



Què és un punt de toxicitat?

L’aspecte més divisiu del modelat de la perspectiva és el de posar els nombres a una variable tan subjectiva com la “toxicitat”. El primer que va assenyalar Adams és que les puntuacions de Perspective són una indicació de la probabilitat, no de la gravetat. Els nombres més alts representen una probabilitat més gran que els patrons del text s’assemblin als patrons dels comentaris que les persones han etiquetat com a tòxics.

Quant al que significa "tòxic", l'equip de Perspectives el defineix en general com "un comentari desagradable, irrespectuós o poc raonable que probablement us faci sortir d'una discussió". Però com això es manifesta pot ser subtil. El 2018, Jigsaw es va associar amb el Laboratori d’Intel·ligència Artificial de Rhodes (RAIL) per desenvolupar models de ML que puguin recollir formes més ambigües de discurs amenaçador o d’odi, com ara un comentari desconcertant, condescendent o sarcàstic que no és obertament hostil.

Fins a aquest punt, la majoria dels models de Perspective s’han format per demanar a la gent que puntui els comentaris d’internet en una escala de “molt tòxic” a “molt saludable”. Els desenvolupadors poden calibrar el model per marcar comentaris per sobre d'un determinat llindar, de 0, 0 a 1, 0. Una puntuació superior a 0, 9 indica una alta probabilitat de toxicitat i una puntuació de 0, 5 o inferior significa un grau molt inferior de certesa algorísmica. La perspectiva també utilitza el que s’anomena normalització de puntuació, cosa que proporciona als desenvolupadors una línia de base consistent a partir de la qual interpretar les puntuacions. Adams va explicar que, segons el fòrum o el lloc web, els desenvolupadors poden barrejar i combinar models. Per tant, quan una comunitat no li fa cas, es pot ponderar aquest atribut.

Adams em va mostrar una interfície de moderació de demostració integrada amb l’API de perspectiva. Al tauler d'administració, al costat de les opcions per ordenar comentaris per sobre, els més nous, els altres, hi ha una petita icona de bandera per ordenar la toxicitat. També hi ha un mecanisme de retroalimentació integrat perquè el moderador humà digui a Perspective que ha marcat un comentari incorrectament i millora el model amb el pas del temps.

Va fer clic a través d’una interfície de demostració per moderar els comentaris de la pàgina de conversa de Wikipedia anotats per diferents models de perspectiva i un gràfic d’histograma desglossant quins comentaris probablement suposin un atac a un autor de pàgina o un atac a un altre comentarista.

"Volem crear eines de moderació assistida per màquines per indicar les coses perquè un home revisi, però no volem que hi hagi una definició central o algú que digui què és bo i dolent", va dir Adams. "Així que si ordeno la toxicitat, veieu que els comentaris significatius arriben al capdamunt. Però, si us preocupa més, diguem-ne, atacs o amenaces d'identitat que mètriques com la juració, potser no faríeu servir un model de toxicitat general. ingredients que podeu barrejar. Els oferim i els desenvolupadors els pesen."

L’experiment RAIL està adoptant un enfocament més granular. Els estudiants de grau d’Oxford creen un conjunt de dades de desenes de milers de comentaris de la secció de comentaris del diari canadenc Globe and Mail i les pàgines de Wikipedia Talk. Demanen als "anotadors" humans que responguin preguntes sobre cada comentari relacionat amb cinc sub-atributs de "contingut poc saludable": hostils o insultants (trolls), descartables, condescendents o patrocinadores, sarcàstiques i generalitzacions injustes.

Incorporar-se en aquests atributs més subtils ha posat de manifest nous problemes complexos amb biaixos no desitjats cap a grups específics i falsos positius amb comentaris sarcàstics. Forma part dels dolors en creixement de l'AI, que alimenta cada vegada més models per ajudar-lo a comprendre els significats implicats i indirectes de la parla humana. L'equip continua combinant i anotant milers de comentaris i té previst llançar el conjunt de dades final a principis d'aquest any.

"El que volem treballar és una cosa en què la comunitat pugui fer un conjunt de comentaris i, a continuació, podem convertir-los en una combinació personalitzada de models de perspectiva que coincideixin", va dir Adams.



Curiós llit de proves de Reddit

Reddit és un microcosmos de tot el que és bo i terrible a Internet. Hi ha una comunitat subreditada per a cada tema i nínxol, un interès estrany en què es pot pensar. Jigsaw no funciona amb Reddit a nivell corporatiu, però un dels llocs més intrigants on s’està provant la moderació d’AI de Perspective es troba en un subreddit anomenat r / changemyview.

Sorprenentment, hi ha racons d’internet on encara hi ha debats i debats genuïns. Canvieu la vista, o CMV, no és com la majoria dels altres subredits. La idea és publicar una opinió que acceptes pot tenir una errada o estigui obert a haver canviat, per després escoltar i comprendre altres punts de vista per veure si poden canviar d’opinió sobre un problema. Els temes van des de temes mundans com ara l'ordre adequat de visualització de pel·lícules de Star Wars fins a debats seriosos sobre temes com racisme, política, control de pistoles i religió.

Canvieu la meva vista és un interessant llit de prova per a la perspectiva, perquè el subreddit té un propi conjunt detallat de regles per iniciar i moderar converses que inciten a argumentar i debilitar el debat per disseny. Kal Turnbull, que passa per u / Snorrrlax a Reddit, és el fundador i un dels moderadors de r / changemyview. Turnbull va dir a PCMag que l’API Perspective s’ajusta particularment bé amb la regla 2 de la sub, que bàsicament prohibeix el discurs groller o hostil.

"Sembla una norma senzilla, però hi ha molts matisos", va dir Turnbull, amb seu a Escòcia. "És difícil automatitzar aquesta regla sense ser intel·ligent en l'idioma. Reddit us ofereix això anomenat AutoModerator, on podeu configurar filtres i paraules clau per marcar. Però hi ha tants falsos positius, i pot ser difícil d’agafar, perquè algú pot dir una paraula dolenta sense insultar algú i també pot insultar algú sense utilitzar paraules dolentes. ”

Jigsaw va contactar Turnbull el març del 2018. La col·laboració va començar amb la Regla 2, però aviat l’equip va anar construint models de perspectiva per a altres regles. No es tracta d'una integració completa de l'API de perspectiva oberta, sinó d'un bot Reddit que permet als moderadors marcar comentaris sobre un llindar de toxicitat determinat.

Durant els darrers sis anys, Turnbull i la resta de modificacions han estat fent tot això manualment a partir de la cua dels informes AutoModerator (paraules clau marcades) i dels informes d’usuaris. Jigsaw va utilitzar anys de notes sobre infracció de regles dels moderadors, que van fer un seguiment a través d’una extensió del navegador i van crear models de perspectiva basats en aquestes dades combinats amb alguns dels models de toxicitat existents de Perspective. Al llarg del 2018, els mods CMV van donar comentaris sobre problemes com excés de falsos positius i Jigsaw va ajustar els llindars de puntuació mentre continuava modelant més de les regles de CMV.



Judicis complexos en debat en línia

(El bot Perspective integrat a la interfície del moderador Reddit.)

La perspectiva no és viva per a tota la moderació de les regles del subreddit. Algunes de les regles més complicades o abstractes encara estan fora de l’abast d’entendre aquest tipus de ML.

La regla 4, per exemple, regeix el sistema de punts Delta de la subdivisió, mentre que la regla B deixa que els usuaris juguin l'advocat del diable o utilitzin una publicació per a "caixa de sabó". Una moderació nua com aquesta requereix dades contextuals i una clara comprensió humana, per distingir si algú argumenta un punt per raons genuïnes o simplement trolling.

En el futur previsible, encara necessitarem modificacions humanes. Aquests escenaris de judici més complexos són on els moderadors CMV comencen a veure esquerdes en el modelat d’AI, i una automatització més intel·ligent podria determinar si tot això és escalable.

"Crec que la raó per la qual cosa és tan complicat és perquè és una combinació del nostre judici sobre la seva publicació original i les seves interaccions durant tota la conversa. Així, no és només un comentari que desencadeni un model", va dir Turnbull. "Si un argument va enrere i enrere, i al final es tracta d'un comentari que diu" gràcies "o un reconeixement, ho deixem anar fins i tot si es trencava una norma abans del fil. O bé una broma de llum que en context. pot semblar maleducat: és una petita cosa humana i això és el que el bot encara no té."

Change My View és l’únic subreddit que utilitza activament models de Perspective ML per moderació en aquest moment, tot i que Adams va dir que l’equip ha rebut sol·licituds d’accés d’altres altres. El conjunt de regles específic de CMV el convertia en un cas de prova ideal, però els models de perspectiva són maleables; cada subreddit individual pot personalitzar l'algorisme de puntuació perquè coincideixi amb les seves directrius de la comunitat.

Va dir que el següent pas per a Turnbull és treure CMV de Reddit perquè la comunitat la supera. En els darrers sis mesos, la recent formació dels moderadors ha estat treballant amb Jigsaw en un lloc dedicat amb una funcionalitat més profunda que la interfície de mod de Reddit i que els bots poden proporcionar.

El projecte només es troba en proves alfa, però Turnbull va parlar de funcions com les alertes proactives quan un usuari està escrivint un comentari que podria trencar una regla, informes integrats per donar als moderadors més context i dades històriques per prendre decisions. Turnbull va subratllar que no hi ha plans per tancar ni migrar el subreddit, però està entusiasmat amb el nou experiment.

• Tots els comentaris s’adapten a imprimir

  En funció del dia de la setmana, el lloc web de The New York Times arriba des dels 12.000 als més de 18.000 comentaris. Fins a mitjan 2017, les seccions de comentaris del paper estaven moderades per un personal de gestió de les comunitats a temps complet que llegia tots els comentaris i decidia si l’aprovava o el rebutjava.

  Bassey Etim, que fins aquest mes era l'editor de la comunitat del Times , va passar una dècada al taulell de la Comunitat i va ser el seu editor des del 2014. A l’altura d’un dia de la setmana, l’equip podria tenir algunes persones que moderin comentaris sobre històries d’opinió mentre que d’altres. abordaven notícies. Un full de càlcul es va dividir i va fer el seguiment de diferents responsabilitats, però l'equip d'aproximadament una dotzena de persones va ser constantment reassignat o desplaçat depenent de les principals novetats del moment. També van aportar publicacions dels comentaris que van enviar als periodistes sobre el pinso potencial.

  Amb el temps, va quedar clar que es podien gestionar més de 12 humans. Les seccions de comentaris sobre històries haurien de tancar-se després d’arribar a un nombre màxim de comentaris que l’equip podria moderar.

  El grup de desenvolupament d'audiència del diari ja havia experimentat l'aprenentatge automàtic per obtenir aprovacions bàsiques, òbvies de comentaris, però Etim va dir que no era especialment intel·ligent ni personalitzable. The Times va anunciar per primera vegada la seva associació amb Jigsaw el setembre del 2016. Des de llavors, les seves seccions de comentaris han passat des d’aparèixer en menys del 10 per cent de totes les històries fins al voltant d’un 30 per cent d’avui i escalar.

  Des de la perspectiva de Jigsaw, la incubadora va veure l’oportunitat d’alimentar dades anonimitzades de Perspective a partir de milions de comentaris al dia, moderats per professionals que podrien ajudar a perfeccionar el procés. A canvi de les dades de formació de ML anonimades, Jigsaw i Times van treballar junts per construir una plataforma anomenada Moderator, que es va llançar el juny del 2017.



Moderador interior, la interfície de comentaris de NYT

(Imatge cortesia de The New York Times )

Moderador combina els models de Perspective amb més de 16 milions de comentaris de Times moderats anonimats que es remunten al 2007.

El que l’equip de la comunitat realment veu a la interfície de Moderador és un quadre de comandament amb un gràfic d’histograma interactiu que visualitza el desglossament dels comentaris per sobre d’un determinat llindar. Poden arrossegar el control lliscant cap enrere i endavant, per exemple, per aprovar automàticament tots els comentaris amb només una puntuació de resum del 0 al 20 per cent, que es basa en la combinació del potencial de comentari per a obscenitat, toxicitat i probabilitat de rebutjar. A continuació, hi ha botons de moderació ràpida per aprovar o rebutjar un comentari, diferir-lo o etiquetar-lo per continuar millorant el model de Perspectiva.

"Per a cada secció del lloc web, vam analitzar els comentaris entrants i la manera com els marcaria la perspectiva. Hem utilitzat tant els models de perspectiva pública com els nostres propis models únics al New York Times ", va dir Etim. "Analitzaria els comentaris de cada secció i intentaria trobar el punt de tall on estiguéssim còmodes dient:" D'acord, tot això per sobre d'aquesta probabilitat utilitzant aquestes etiquetes de toxicitat específiques, com ara l'obscenitat, per exemple."

L’aprenentatge automàtic està aprovant un percentatge relativament reduït de comentaris (al voltant d’un 25 per cent més o menys, va dir Etim) a mesura que el Times treballa per publicar comentaris sobre més històries i, fins i tot, fins i tot per personalitzar com els models filtren i aproven comentaris per a diferents seccions del lloc. Els models només aproven comentaris; Els moderadors humans continuen sorgint totalment el rebuig.

Aquests retalls de comentaris manuals han desaparegut. Els comentaris acostumen a tancar-se sobre una història, ja sigui 24 hores després de publicar-la en línia o el dia següent de la publicació impresa, va dir Etim.

"No us tornem a substituir per màquines"

La següent fase és incorporar més funcions al sistema per ajudar els moderadors a prioritzar quins comentaris han de mirar primer. Cada vegada més, l’automatització del que sempre ha estat un procés manual ha permès als moderadors passar temps de manera proactiva amb els periodistes per respondre als comentaris. S'ha creat un bucle de retroalimentació en què els comentaris condueixen a informes de seguiment i històries addicionals: es poden desar i reassignar recursos per crear més periodisme.

"El moderador i la perspectiva han fet que el Times respongui molt més a les preocupacions dels lectors, perquè tenim recursos per fer-ho, ja sigui escrivint històries nosaltres mateixos o treballant amb periodistes per esbrinar històries", va dir Etim. "El més interessant d'aquest projecte és que no vàrem acomiadar ningú. No us substituïm les màquines. Simplement estem utilitzant els humans que tenim més eficient i per prendre decisions realment difícils".

El treball està obert a treballar amb altres publicacions per ajudar la resta de la indústria a implementar aquest tipus de tecnologia. Pot ajudar els punts de comunicació locals amb recursos limitats a mantenir seccions de comentaris sense un personal dedicat i a fer comentaris com ho fa el Times , per trobar possibles oportunitats i alimentar el periodisme tradicional.

L’etim va comparar la moderació assistida per l’AI per donar a l’agricultor un arat mecànic versus una pala. Podeu fer la feina molt millor amb un arat.

"Si la perspectiva pot evolucionar de la manera correcta, pot, pot ser, crear almenys un conjunt de directrius repetibles per als petits punts de venda", va dir. "És un joc llarg, però ja hem creat moltes bases per formar part d'aquesta experiència del lector. Aleshores potser aquests papers locals poden tornar a tenir comentaris i establir una mica de cap de platja contra els principals agents socials".



Cridant a l'abisme

Arribats a aquest punt, la majoria de nosaltres hem vist atacats o assetjats a les xarxes socials per expressar una opinió. Ningú vol que els passi, excepte els trolls que prosperen en aquest tipus de coses. I hem après que cridar a un foraster que mai no escoltarà un argument racional no és un ús valuós del nostre temps.

Perspective intenta augmentar aquesta dinàmica, però CJ Adams va dir que l'objectiu més ampli és publicar dades, investigacions i nous models de codi obert de codi obert per crear noves estructures de conversa, una tasca descoratjadora. Fer d’internet un lloc saludable que val la pena el temps de la gent significa ampliar aquests sistemes més enllà de les seccions i subreddits de comentaris de notícies. En última instància, les eines d'AI han de ser capaces de manejar les aplicacions i xarxes socials importants que dominen les nostres interaccions digitals quotidianes.

Deixant de banda el que estan fent interns Facebook, Twitter i altres gegants socials, la manera més directa de fer-ho és empènyer la tecnologia des dels moderadors als propis usuaris. Adams va assenyalar el projecte Coral per tenir una idea del que podria semblar.

El projecte Coral es va fundar inicialment com a col·laboració entre la Fundació Mozilla, The New York Times i el Washington Post. Coral està construint eines de codi obert, com la plataforma Talk per fomentar la discussió en línia i donar als llocs de notícies una alternativa a l’apagat de les seccions de comentaris. Actualment, Talk potenciar plataformes per a prop de 50 editors en línia, inclosos el Post , la revista de Nova York, el Wall Street Journal i The Intercept.

A principis d’aquest mes, Vox Media va adquirir el projecte Coral de la Fundació Mozilla; té previst "integrar-lo profundament" en Chorus, la seva plataforma de gestió de continguts i narració de contes.

Perspectiva té un connector per al projecte de corall que utilitza la mateixa tecnologia subjacent (puntuació de toxicitat basada en ML i llindars) per donar suggeriments proactius als usuaris mentre escriuen, va dir Adams. Així que quan un usuari escrigui un comentari que conté frases marcades com a abús o assetjament, pot aparèixer una notificació per a l'usuari que digui "Abans de publicar-ho, assegureu-vos de recordar les nostres directrius de la comunitat" o "L'idioma d'aquest comentari pot violar les nostres directrius de la comunitat. El nostre equip de moderació el revisarà en breu."

"Aquest petit toc pot ajudar la gent a prendre aquest segon moment a pensar, però tampoc no bloqueja ningú", va dir Adams. "No és aturar la discussió".

Es tracta d’un mecanisme que les plataformes de xat i streaming de videojocs s’han integrat per combatre l’abús i l’assetjament. Els usuaris de Twitter també podrien beneficiar-se clarament d’un sistema d’aquest tipus.

Es parla d'una idea que Andrew Lippmann, científic del investigador del MIT, va presentar en el futur tema de PCMag: va parlar de mecanismes integrats que permetrien aturar-se i pensar abans que compartissin alguna cosa en línia per ajudar a la propagació de la desinformació. El concepte s'aplica també a la discussió en línia. Hem creat sistemes de comunicació sense friccions capaços d’amplificar l’abast d’una declaració de forma exponencial en un instant, però de vegades pot ser una bona cosa la fricció, segons va dir Lippmann.

La perspectiva no és utilitzar AI com a solució manta. És una manera de modelar els models ML en eines per als humans per ajudar-los a curar les seves pròpies experiències. Però un contrapunt és que si faciliteu a la gent la sintonia del soroll en línia que no els agrada, Internet esdevindrà encara més una cambra de ressò del que ja és.

Preguntat sobre si eines com Perspective poden agreujar això, Adams va dir que creu que existeixen càmeres d’eco en línia perquè no hi ha mecanismes per acollir una discussió on la gent pugui discrepar significativament.

"El camí de la mínima resistència és" La gent lluita. Deixem que siguin d'acord amb ells mateixos en els seus propis racons. Que la gent s'enfonsi ", va dir. "Deixeu que la gent cridi a tots els altres fora de la sala o que tanqueu la discussió. Volem que la perspectiva creï una tercera opció."

Adams va exposar un exemple. Si pregunteu a una habitació de 1.000 persones, "Quants de vosaltres heu llegit alguna cosa que avui us importava?" la majoria d’usuaris d’Internet apunten a un article, un tuit, una publicació o alguna cosa que llegeixen en línia. Però si els pregunteu, "Quants de vosaltres vau pensar que valia la pena el vostre temps per comentar-lo o fer una discussió?" totes les mans de l'habitació baixaran.

"Per a molts de nosaltres, no val la pena esforçar-se. L'estructura de discussió que tenim ara significa només que és una responsabilitat. Si teniu un pensament raonable actual o alguna cosa que vulgueu compartir, per a la majoria de la gent, no us ho donem". No vull participar-hi ", va dir Adams. "Això vol dir que de les 1.000 persones que podrien estar a la sala, només teniu un grapat representat a la discussió; diguem-ne deu persones. Tinc la profunda fe que podem construir una estructura que permeti que altres 990 tornin a la discussió. i ho fa d’una manera que trobin que val la pena el seu temps ".