La fotografia computacional està a punt per al seu primer pla

Més de 87 milions de nord-americans van viatjar internacionalment el 2017, una xifra rècord segons l’Oficina Nacional de Turisme i Turisme dels Estats Units. Si estiguéssiu entre ells, potser heu visitat alguna destinació com Stonehenge, el Taj Mahal, la badia de Ha Long o la Gran Muralla de la Xina. I és possible que hagueu utilitzat el telèfon per filmar un panorama, potser fins i tot girant-vos tot arreu amb el telèfon per obtenir una vista del paisatge de 360 ​​graus super àmplia.

Si teníeu èxit, és a dir, que no hi havia seccions malignades, vinyeteria ni canvis de color, aleshores vau experimentar un exemple senzill però eficaç de fotografia computacional. Però, en els darrers anys, la fotografia computacional s’ha expandit més enllà d’uns usos tan estrets. No només ens pot donar una perspectiva diferent sobre la fotografia sinó també canviar la manera de veure el nostre món.

Què és la fotografia computacional?

Marc Levoy, professor d’informàtica (emèrit) de la Universitat de Stanford, enginyer principal a Google i un dels pioners en aquest camp emergent, ha definit la fotografia computacional com una varietat de “tècniques d’imatge computacional que milloren o amplien les capacitats de la fotografia digital. la sortida és una fotografia normal, però una que no hauria estat realitzada per una càmera tradicional ".

Segons Josh Haftel, director de producte principal d'Adobe, afegir elements computacionals a la fotografia tradicional permet noves oportunitats, particularment per a empreses d’imatge i programari: "La manera que veig la fotografia computacional és que ens dóna l’oportunitat de fer dues coses. Una de les és intentar disminuir moltes de les limitacions físiques que existeixen a les càmeres mòbils ".

Obtenir un telèfon intel·ligent per simular una poca profunditat de camp (DOF) -el distintiu d’una imatge d’aspecte professional, ja que separa visualment el tema del fons- és un bon exemple. El que impedeix que una càmera en un dispositiu molt prim, com un telèfon, sigui capaç de capturar una imatge amb un DOF poc profund són les lleis de la física.

"No es pot tenir poc profund "explica Haftel. Però un sensor gran requereix una lent gran. Com que la majoria de la gent vol que els telèfons siguin ultratin, un sensor gran combinat amb una lent gran voluminosa no és una opció. En canvi,, els telèfons estan construïts amb petites lents primeres i diminuts sensors, produint una gran profunditat de camp que fa que tots els subjectes estiguin molt enfocats.

Haftel diu que els fabricants de telèfons intel·ligents i càmeres senzilles poden compensar-ho mitjançant la utilització de la fotografia computacional per "enganyar simulant l'efecte de maneres que ens posin l'ull". En conseqüència, s'utilitzen algoritmes per determinar què es considera el fons i què es considera un subjecte en primer pla. A continuació, la càmera simula un DOF poc profund desdibuixant el fons.

La segona manera que Haftel diu que es pot fer servir la fotografia computacional és utilitzar nous processos i tècniques per ajudar els fotògrafs a fer coses que no són possibles mitjançant eines tradicionals. Haftel apunta a HDR (rang dinàmic alt) com a exemple.

"L'HDR és la possibilitat de prendre múltiples preses simultàniament o en successió ràpida i després fusionar-les per superar les limitacions de la capacitat natural del sensor." En efecte, la HDR, especialment en els dispositius mòbils, pot ampliar la gamma tonal més enllà del que el sensor d'imatge pot capturar de forma natural, permetent capturar més detalls en les ombres més clares i les més fosques.

Quan la fotografia computacional és curta

No totes les implementacions de fotografia computacional han tingut èxit. Dos càlids intents van ser les càmeres Lytro i Light L16: en lloc de barrejar funcions fotogràfiques tradicionals i computacionals (com iPhones, telèfons Android i algunes càmeres autònomes), el Lytro i el L16 light van intentar centrar-se únicament en la fotografia computacional.

El primer que va arribar al mercat va ser la càmera de camp de llum Lytro, el 2012, que va permetre ajustar el focus d'una foto després de capturar el tret. Això ho va fer gravant la direcció de la llum que entrava a la càmera, cosa que les càmeres tradicionals no fan. La tecnologia era intrigant, però la càmera tenia problemes, incloent una baixa resolució i una interfície difícil d’utilitzar.

També tenia un cas d’ús força estret. Tal com Dave Etchells, fundador, editor i redactor en cap d’Imaging Resource, va assenyalar: "Si bé es va poder concentrar després que el fet fos una característica fantàstica, l’obertura de la càmera era tan petita, no podríeu distingir realment les distàncies. tret que hi hagi alguna cosa molt a prop de la càmera ".

Per exemple, digueu que esteu disparant a un jugador de beisbol a un diamant de beisbol local. Podeu fer una foto a prop de la tanca i també capturar el jugador a través de la tanca, encara que estigui lluny. A continuació, podeu canviar fàcilment el focus de la tanca al jugador. Però com recorda Etchells, "Amb quina freqüència es dispara una foto així?"

Un dispositiu més recent que volia ser una càmera computacional autònoma va ser el Light L16, un intent de produir una càmera fina i portàtil amb qualitat d'imatge i rendiment a la vegada amb una càmera D-SLR de gamma alta o mirrorless. El L16 va ser dissenyat amb 16 mòduls diferents de lents i sensors en un sol cos de càmera. Potent el programari a bord construiria una imatge a partir dels diferents mòduls.

Etchells va quedar inicialment impressionat amb el concepte de la Light L16. Però, com a producte real, va dir, "tenia diversos problemes".

Per exemple, Light, la càmera i L'empresa de fotografia que fabrica Light L16 va afirmar que les dades de tots aquests petits sensors serien equivalents a tenir un gran sensor. "També van afirmar que anava a ser de qualitat D-SLR", diu Etchells. Però a les proves de camp, Imaging Resource va trobar que no va ser així.

Hi va haver altres problemes, incloent que certes zones de la foto tenien un soroll excessiu, "fins i tot en zones brillants de la imatge… I pràcticament no hi havia un rang dinàmic: Les ombres acaben de connectar-se immediatament", diu Etchells, cosa que significa que en certs casos. seccions de fotos, incloses les mostres de fotografies que l'empresa utilitzava per promocionar la càmera, gairebé no hi havia detalls a l'ombra.

"També va ser només un desastre a poca llum", diu Etchells. "No va ser una bona càmera, un període."

Que segueix?

Malgrat aquestes mancances, moltes empreses segueixen avançant amb les noves implementacions de fotografia computacional. En alguns casos, estan desdibuixant la línia entre allò que es considera fotografia i altres tipus de suports, com ara vídeo i VR (realitat virtual).

Per exemple, Google ampliarà l’aplicació Google Fotos amb AI (intel·ligència artificial) per a noves funcions, incloent-hi color en blanc i negre. Microsoft utilitza AI en la seva aplicació Pix per iOS perquè els usuaris puguin afegir targetes de visita a LinkedIn. Facebook publicarà aviat una funció 3D Photos, que és "un nou tipus de suports que permet capturar moments 3D en el temps mitjançant un telèfon intel·ligent per compartir a Facebook". I a l'aplicació Adobe Lightroom, els fotògrafs de dispositius mòbils poden utilitzar funcions HDR i capturar imatges en format de fitxer RAW.

Fotografia i fotografia computacional

Mentre que els dispositius mòbils i, fins i tot, càmeres autònomes utilitzen fotografia computacional de maneres intrigants, fins i tot més casos d'ús potents provenen del món de les plataformes de realitat ampliada, com ara VR i AR (realitat augmentada). Per a James George, director general i cofundador de Scatter, un estudi multimèdia immersiu a Nova York, fotografia computacional és obrint noves maneres perquè els artistes expressin la seva visió.

"A Scatter, veiem la fotografia computacional com la tecnologia habilitant fonamental de noves disciplines creatives que estem intentant ser pioners… L'afegit de la computació podria començar a sintetitzar i simular algunes de les mateixes coses que fan els nostres ulls amb les imatges que nosaltres. veure en el nostre cervell ", diu George.

Essencialment, es tracta de la intel·ligència. Utilitzem el nostre cervell per pensar i comprendre les imatges que percebem.

"Els ordinadors comencen a poder mirar al món i veure les coses i entendre el que són de la mateixa manera que podem", diu George. Així doncs, la fotografia computacional és "una capa afegida de síntesi i intel·ligència que va més enllà de la simple captura d'una foto, però en realitat comença a simular l'experiència humana de percebre alguna cosa".

La manera com Scatter s’utilitza fotografia computacional s’anomena fotografia volumètrica, que és un mètode d’enregistrament d’un subjecte des de diversos punts de vista i després d’utilitzar programari per analitzar i recrear tots aquells punts de vista en una representació tridimensional. (Tant les fotos com el vídeo poden ser volumètriques i apareixen com a hologrames de tipus 3D que es poden moure dins d'una experiència VR o AR.) "M’interessa especialment la capacitat de reconstruir les coses més que només de forma bidimensional, ", diu George. "En la nostra memòria, si ens endinsem un espai , en realitat podem recordar espacialment allà on les coses estaven relacionades entre elles."

George diu que Scatter és capaç d’extreure i crear una representació d’un espai que "és completament i lliurement navegable, de la manera que podríeu moure-hi com un videojoc o un holograma. És un mitjà nou que neix d’ell. la intersecció entre videojocs i realització de cine que permet la fotografia computacional i la realització de volums ".

Per ajudar els altres a produir proteccions de volumetricitat VR, Scatter ha desenvolupat DepthKit, una aplicació de programari que permet als realitzadors aprofitar el sensor de profunditat de càmeres com Microsoft Kinect com a accessori per a una càmera de vídeo HD. Per fer-ho, DepthKit, un híbrid CGI i de programari de vídeo, produeix formes 3D reals "adequades per a la reproducció en temps real en mons virtuals", afirma George.

Scatter ha produït diverses experiències de VR realitzades amb DepthKit mitjançant fotografia computacional i tècniques de realització de volums. El 2014, George va col·laborar amb Jonathan Minard per crear "Núvols", un documental que explora l'art del codi que incloïa un component interactiu. El 2017, Scatter va produir una adaptació VR basada en la pel·lícula Zero Days , utilitzant VR per proporcionar als públics una perspectiva única dins del món invisible de la guerra cibernètica: veure les coses des de la perspectiva del virus Stuxnet.

Un dels projectes més potents relacionats amb DepthKit és "Terminal 3", una experiència de realitat augmentada de l'artista pakistanès Asad J. Malik, que es va estrenar a principis d'aquest any al festival de cinema TriBeCa. L’experiència us permet practicar les sabates d’un oficial de patrulla de fronteres dels Estats Units a través d’un Microsoft HoloLens i interrogar un holograma volumètric en 3D similar a un fantasma d’algú que sembla ser musulmà (hi ha sis personatges totals que podeu entrevistar).

"Asad és un natural pakistanès que va emigrar als Estats Units per assistir a la universitat i va tenir algunes experiències força negatives en ser interrogat sobre els seus antecedents i per què va estar allà. Sorprès per aquesta experiència, va crear la Terminal 3", diu George.

Una de les claus del que fa que l’experiència sigui tan convincent és que l’equip de Malik a 1RIC, el seu estudi de realitat augmentada, va utilitzar DepthKit per convertir el vídeo en hologrames volumètrics, que després es poden importar a motors de videojocs en temps real com Unity o 3D. eines gràfiques com Maya i Cinema 4D. Si afegiu les dades del sensor de profunditat de Kinect al vídeo D-SLR per tal de posicionar correctament l'holograma dins de l'espai virtual AR, el programari DepthKit converteix el vídeo en computacional vídeo. Per calibrar el D-SLR i el Kinect s'utilitza un tauler de control en blanc i negre, ambdues càmeres es poden utilitzar simultàniament per capturar fotografies i vídeos volumètrics.

• 10 consells ràpids per arreglar les teves fotografies dolentes 10 consells ràpids per arreglar les teves fotografies dolentes
• 10 consells sobre fotografia digital més enllà dels bàsics 10 Consells sobre fotografia digital més enllà dels bàsics
• 10 trucs i trucs fàcils per a fotos millors per a telèfons intel·ligents 10 consells i trucs fàcils per a fotos millors per a telèfons intel·ligents

Com que aquestes experiències de creació creades amb DepthKit són similars a la manera de funcionar dels videojocs, una experiència com "Terminal 3" pot produir potents efectes interactius. Per exemple, George diu que Malik permet que els hologrames canviïn de forma a mesura que els interrogeu: Si durant l’interrogatori, les vostres preguntes es tornen acusatives, l’holograma es desmaterialitza i apareix menys humà. "Però a mesura que comenceu a invocar la biografia de la persona, les seves pròpies experiències i els seus valors", diu George, "l'holograma comença a omplir-se i esdevenir més fotorealista".

Segons creen aquest efecte subtil, podeu reflexionar sobre la percepció de l’interrogador i sobre com pot veure a una persona “com només un emblema en lloc d’una persona real amb una identitat i una singularitat veritables”. D’alguna manera, podria proporcionar als usuaris un major nivell d’entesa. "A través d'una sèrie de sol·licituds, on se li permet fer una pregunta o una altra", diu George, "et trobes davant dels teus propis prejudicis i, alhora, aquesta història individual".

Com la majoria de tecnologies emergents, la fotografia computacional està experimentant la seva participació tant d'èxits com de fracassos. Això significa que algunes característiques importants o tecnologies senceres poden tenir una vida útil curta. Tomeu el Lytro: el 2017, just abans que Google comprés l’empresa, Lytro va obsequiar images.lytro.com, de manera que ja no podríeu publicar imatges en llocs web o en xarxes socials. Per a aquells que el perdin, Panasonic té una funció d'enfocament similar al Lytro anomenada Post Focus, que ha inclòs en diverses càmeres de gamma alta mirrorless i puntes i dispars.

Les eines i característiques fotogràfiques computacionals que hem vist fins ara només són aquestes començar . Crec que aquestes eines seran molt més potents, dinàmiques i intuitives a mesura que els dispositius mòbils estiguin dissenyats amb càmeres i lents més versàtils i versàtils, processadors de bord més potents i capacitats de xarxa cel·lular més expansives. En un futur molt proper, podeu començar a veure els veritables colors de la fotografia computacional.