Výpočtová fotografia je masívnym pilierom, na ktorom stojí obrovský pokrok mobilnej fotografie v posledných rokoch. Pod týmto relatívne sucho pôsobiacim pomenovaním sa totiž ukrýva absolútny technologický zázrak, ktorý nielenže úplne definoval súčasnú podobu fotografovania, ale navyše preklenul aj zdanlivo nekonečnú priepasť optických limitov hardvéru. Príbeh pritom rozhodne nekončí a jeho cesta vedie do ešte magickejšieho sveta. Vitajte v ére zázrakov.
Rapídne zlepšovanie kvality smartfónovej fotografie v posledných rokoch si len málokto nevšimol. Aj keď laikovi by sa mohlo zdať, že ide o akýsi prirodzený dôsledok zdokonaľovania optickej výbavy a kvality obrazových čipov, teda fotografického hardvéru, realita je celkom iná a hlavným ťahúňom celého progresu je masívne zlepšovanie softvérových mechanizmov.
Ide o oblasť vývoja, známu pod označením Výpočtová fotografia (computational photography), ktorej kľúčové prvky začali byť konštruované v prvej dekáde 21. storočia. Najprv vo vedecko-výskumnej oblasti a v rámci univerzít a následne v trhovej praxi v rámci jednotlivých firiem. Veľmi rýchlo sa totiž ukázalo, že fotoaparát a jeho schopnosti sú jedným z najväčších faktorov, ktorý presviedča ľudí k nákupu stále nových a lepších smartfónov.
Tieto veľké komerčné vplyvy viedli spoločne s rýchlym technologickým pokrokom k vzniku úplne novej generácie „softvérom definovaných“ fotoaparátov, v rámci ktorých sa výsledné fotografie formujú bleskurýchlym zážihom/sériovou dávkou veľkého množstva snímok, ktoré sa na pozadí rôznymi formami zarovnávajú a kombinujú do jedného celku.
Dôsledkom tohto prístupu bola disrupcia a revolúcia na fotografickom trhu, ktorá prakticky nemá v histórii obdobu. Miliardy ľudí neprestajne nosia vo svojom vrecku naozaj špičkový fotoaparát a neustále ho používajú. Jediným stlačením tlačidla môže dnes úplne každý človek vytvoriť skvelú fotografiu, bez ohľadu na svoje schopnosti. Technologická „beštia“, ktorá v tejto súvislosti vyklíčila, sa pritom ešte len chystá do svojho masívneho a dominantného rozpuku.
PREKLENUTIE ZDANLIVO NEPREKONATEĽNEJ PRIEPASTI OPTIKY
Smartfóny v základe nemôžu fotiť dobre. Majú úbohé desať milimetrov dlhé optické sústavy zložené často z plastových šošoviek, menších ako zrnká šošovice, na konci ktorých je svetelný senzor, len o málo väčší ako hlavička zápalky. Podľa neúprosných zákonov fyziky a optiky nám nemohli priniesť nič iné než obrazové utrpenie.
A presne taká bola aj realita, na počiatkoch éry mobilnej a smartfónovej fotografie v prvej dekáde 21. storočia. Nebolo a ani nie je pred tým úniku. Fotografovanie je zachytávanie svetla a nie je žiadnym prekvapením, že z hľadiska histórie bol fotoaparát vždy dedikovaným zariadením, ktorého tvar sa podľa tohto faktu formoval.
Z nevzhľadnej drevenej škatule sa s pokrokom vedy, techniky a hlavne materiálovej výroby stalo zariadenie, ktoré dnes vidíte v rámci profesionálnych DLSR a MILC fotoaparátov. Toto je vrchol, ako fotoaparát definovaný optikou môže vyzerať. Zástup precízne vybrúsených a špičkových šošoviek, ktoré perfektne lámu svetlo na základe požiadaviek fotografa. Po stlačení spúšte sa na preddefinovanú dobu otvorí mechanická uzávierka a osvetlí dôkladne pripravenú emulziu fotografického filmu alebo rovnako veľký špičkový digitálny senzor, ktorý dopadnuté fotóny premení na elektrické signály, reprezentujúce pixely s rozličným stupňom jasu a farby.
Čím precíznejšia a väčšia optická a detekčná sústava je, tým detailnejšie a lepšie môžeme so svetlom manipulovať a zaznamenávať ho. A nie je možné to oklamať. Mobilný telefón a neskôr smartfón s hrúbkou tela okolo jedného centimetra, skrátka nemá tieto kvalitné prvky z hľadiska veľkosti a ani hmotnosti kam umiestniť a musí používať ich veľmi zmenšenú a chatrnú podobu.
Je tu ale jeden podstatný rozdiel. V blízkosti tejto smiešne nedokonalej optiky sa v rámci tela smartfónu vyskytuje ešte niečo iné. Plnohodnotný a z pohľadu histórie aj extrémne výkonný počítač. A k tomu je tá celá nedostačujúca optika a senzor neustále pripojená.
Spracovanie digitálnej obrazovej informácie vďaka tomu dostalo celkom inú podobu. Tu nešlo len o jednoduché signálové obvody, ktoré zvládli spracovávať zaznamenaný jas, spočítať farbu a urobiť pár základných transformácií. Plnohodnotný počítač mohol robiť ďaleko viac, pričom nešlo len o rýchlosť a objem spracovávania dát, ale hlavne o možnosť vykonávať komplexné matematické operácie a prevádzkovať vysoko pokročilé, precízne vyladené a neustále vylepšované algoritmy.
Pomyslite napríklad na to, ako enormne môžete dodatočne ovplyvniť podobu vizuálnej informácie v programoch ako Photoshop či iných. Túto ideu softvérovej sily, ktorá je okrem iného dostupná aj vďaka výkonnému procesoru, veľkému objemu RAM a rýchlym NAND flash úložiskám, je možné realizovať aj automaticky a v reálnom čase, pričom postupom času začal v celom procese pomáhať aj zástup špecifických dedikovaných obvodov, určených na konkrétne algoritmické operácie a napokon aj na prevádzku mechanizmov umelej inteligencie, založených na pokročilých hlbokých neurónových sieťach.
Kým z pohľadu optického hardvéru mali smartfóny vždy zhruba o dva rády horšiu výbavu ako profesionálne fotoaparáty, z hľadiska výpočtových schopností boli na tom naopak o viac ako dva rády lepšie. A pri pohľade na tieto vlastnosti pred nás vystupuje celkom jasná a priamočiara idea: ak teda nemôžeme na smartfóne perfektnú fotografiu zaznamenať opticky, skúsme ju nejako spočítať.
ČO TO VÝPOČTOVÁ FOTOGRAFIA VLASTNE JE A AKO SA DNES POUŽÍVA
Všetky existujúce smartfóny na trhu používajú výpočtovú fotografiu v masívnej miere. Na mnohých miestach sa môžete stretnúť s bezduchou a predovšetkým celkom bezcennou definíciou tohto pojmu, že ide o spôsob záznamu a spracovávania obrazu s použitím digitálnych výpočtov, náhradou za optický proces. Je to akoby sa vás niekto so záujmom opýtal, čo je to počítač a vy by ste mávli rukou a povedali, že je to zariadenie na spracovávanie informácie.
V realite je to omnoho zaujímavejšie. Výpočtová fotografia je čoraz viac zlepšujúci a rozširujúci sa súbor rôznych softvérových techník, ktoré nám umožňujú rozšíriť schopnosti klasickej digitálnej fotografie a zároveň ísť ďaleko za hranicu toho, čoho je optický hardvér schopný. Jej výsledkom je fotografia, ktorú by nebolo možné zachytiť tradičným typom fotoaparátu.
Základným stavebným kameňom procesu je tzv. vrstvenie (stacking), pri ktorom sa umiestňuje na seba zástup fotografií vytvorených v rýchlom časovom slede.
Moderné elektronické zariadenia nemajú žiadny problém zachytiť desiatky fotografií v zlomku sekundy, pretože v základe neexistuje mechanický spomaľovač celého procesu. Apertúra optickej sústavy je fixná, clona a uzávierka fyzicky neprítomná. Všetko prebieha elektronickým príkazom. Procesor skrátka inštruuje senzor o tom, koľko milisekúnd má zaznamenávať fotóny, ktoré naň dopadajú a následne si prevezme výsledok, zatiaľ čo senzor je pripravený všetko robiť znova.
Smartfón neprestajne fotí od okamihu, ako spustíte jeho fotoaparát. Inak by ste pravdaže nemohli na jeho displeji vidieť pohyblivý obraz scény pred sebou, na ktorú ho máte namierený.
V rámci tohto procesu ukladá fotografie vo vysokom rozlíšení do prstencového bufferu, resp. cyklického zásobníka v operačnej pamäti, kde sú uložené po dobu niekoľkých sekúnd. Akonáhle stlačíte spúšť, väčšina dát vašej budúcej fotky je už v tej dobe obvykle zaznamenaná. Softvér v momente stlačenia spúšte len načahuje svoju ruku do bufferu a vyberá celú sériu zhruba desiatich fotiek z posledného zlomku sekundy, pričom celý zástup prekryje na seba a začne ich podrobne analyzovať a ich informáciu priemerovať.
Idea prevziať fotografické dáta ešte predtým, než sa ich používateľ rozhodne zaznamenať, sa označuje ako Nulové oneskorenie uzávierky, skrátene ZSL (zero shutter lag). Softvér určí jednu z posledných fotiek, ktorá je blízko vášmu stlačeniu (obvykle tú najostrejšiu) za základný vzor, ktorý ďalej vylepšuje. Používa okolité fotografie pred ňou aj za ňou, v rámci celého fotografického zážihu, pričom sleduje ich hodnoty a vytvára dátové priemery pomáhajúce zlepšiť obrazové vlastnosti dát základového snímku.
Ide o značnú výpočtovú úlohu, pretože fotografie nie sú nikdy úplne rovnaké. V priebehu zlomku sekundy sa informácia pohybujúcich sa objektov môže meniť, pričom bez pohybu nie je ani vaša ruka, v ktorej smartfón držíte. Pixely totožného objektu tak už nie sú na totožnom mieste a softvér musí miniatúrne posuny medzi fotografiami korigovať a správne zarovnávať. Akonáhle je to hotové, začne túto viacnásobnú informáciu používať na zlepšenie ostrosti, zníženie šumu a zvýšenie dynamického rozsahu. V základe ide o extrakciu precíznejšej informácie z veľkého množstva menej detailných dát.
Veľké zvýšenie dynamického rozsahu, známe aj pod skratkou HDR (high dynamic range), patrí k najstarším a najviac známym princípom výpočtovej fotografie. Používalo sa aj pred érou smartfónov, pričom v tej dobe sa robilo dodatočne a manuálne.
Dynamický rozsah fotografie je v základe limitovaný expozíciou, teda osvitom detekčného čipu (či v minulosti filmu). Pri krátkej expozícii je možné odfotiť dobrý detail tých veľmi jasných častí, ale objekty v tieni zostanú tmavé tak, že na nich nie je nič vidieť. Pri dlhšej expozícii sa tie tmavé časti ukážu v dobrom detaile, avšak tie jasné sa prežiaria až do biela. Riešením je vytvoriť dve fotografie, jednu s dlhšou a druhú s kratšou expozíciou, ktoré sa následne softvérovým výpočtom skombinujú do spoločného celku, v ktorom zachováme z oboch tie „lepšie polovice“. Dostávame tak fotografiu s veľkým rozsahom jasu a farieb, ktorú by fotoaparát nebol schopný v jeden moment zachytiť.
V rámci smartfónovej výpočtovej fotografie, ktorá operuje s fotografickým zážihom, je celý proces značne komplexnejší, nakoľko čas expozície je definovaný pre celú sériu snímok. Ak svetlo na čipe zachytávame v sérii desiatich po sebe idúcich fotografií, každú s expozíciou 60 milisekúnd, môžeme ich pri zlučovaní považovať aj za zdroj informácie o 600 ms uzávierke. Softvér algoritmicky rozpoznáva veľmi a málo svetelné časti a kombináciou nazbieranej svetelnej informácie a jej priemerov získava vysoký dynamický rozsah, ktorý používa na zmeny v základovom snímku. Ten tak môže dostať podobu, ktorá je celkom za hranicami toho, čo hardvér dokáže odfotiť.
Samotná schopnosť nazbierať viac svetla formou kombinácie snímok otvára dvere k obrovskému výpočtovému zlepšovaniu obrazovej kvality. Veľmi významné je to pri filtrovaní šumu (denoising), respektíve jeho odstraňovaní a utlmovaní, pričom sa obraz fotografie príjemne vyhladzuje. Maličký senzor smartfónového fotoaparátu má nevyhnutne veľmi malé pixely, z čoho vyplýva jeho výrazne väčšia náchylnosť na šum, takže tento prvok výpočtovej fotografie mal vždy veľký význam. Zatiaľ čo na začiatku éry smartfónov sa ešte na tento účel používali rôzne klasické algoritmy, ako napr. K-SVD, NCSR a BM3R, počas druhej dekády tohto storočia, predovšetkým po roku 2015, začali týmto úlohám dominovať vytrénované konvolučné hlboké neurónové siete systémov umelej inteligencie, ktorým už žiadne klasické algoritmy nemohli v úspechu stačiť.
Výhodou konštruovanej fotografie je, že objem šumu defacto klesá druhou odmocninou počtu fotografií, ktoré kombinujeme. To otvorilo priestor na tvorbu čoraz lepších nočných fotografií, pričom použitie extrémne dobre vytrénovaných systémov umelej inteligencie umožnilo dokonca aj to, že smartfónom je dnes možné vykonať aj astrofotografiu, čo ešte pred dekádou znelo ako absolútny nezmysel, ktorý by vyvolal v odborných kruhoch záchvaty smiechu.
V rámci nočného fotenia prebieha samotný mnohosnímkový zážih nielen časovo dozadu, ale aj dopredu, teda aj po stlačení spúšte, čo sa označuje ako Pozitívne oneskorenie uzávierky, skrátene PSL (positive shutter lag). V rámci toho sa buduje veľmi veľký zástup fotografií, v snahe vytvoriť dlhý čas zberu svetla, čo má pri nočnom fotení kľúčový význam. Veľký surový výpočtový výkon a systémy umelej inteligencie sú v tomto mimoriadne nápomocné, pretože softvér musí korigovať vaše trasenie ruky a potláčať a likvidovať vznik rozmazania. Smartfóny posledných rokov to riešia vytváraním modelu vášho trasenia, ktorý je neprestajne aktualizovaný tesne pred stlačením spúšte a podľa toho predvída nasledujúci pohyb scény a upravuje podľa toho čas digitálnej uzávierky.
Veľkým pomocníkom výpočtovej fotografie sa v posledných rokoch stali aj viacnásobné optické a detekčné sústavy. Ide o súčasné osádzanie viacerých fotoaparátov do jedného smartfónu, v rozličných optických, detekčných a softvérových konfiguráciách, ktoré sa následne používajú spoločne. Tieto fotoaparáty majú síce rovnako tragické optické a iné vlastnosti, takže sami o sebe nemôžu poskytnúť nijak lepšiu snímku, avšak je ich možné použiť ako cenný zdroj mierne odlišných dát, čo má pri výpočtovej fotografii obrovský význam.
Smartfón má vďaka tomu k dispozícii zážih fotografií z viacerých zdrojov, ktoré sa líšia nielen vlastnosťami optiky ako takej, ale mierne aj svojou polohou, čo je možné použiť na 3D výpočet a teda pochopenie toho, ktoré objekty sú bližšie a ktoré nie, podobne ako to robí náš mozog s informáciou z dvoch očí. Samotnú priestorovú informáciu je tak možné extrahovať lepšie, rýchlejšie a presnejšie, ako s jedným fotoaparátom, v rámci ktorého si výpočtová fotografia musela vystačiť len s trasením vašej ruky (bližšie nehybné objekty sa v obraze posúvali viac ako tie vzdialenejšie). Daňou za to je masívne komplexnejší, a teda aj hardvérovo náročnejší výpočet, k čomu pravdaže museli smartfóny z hľadiska svojho dostupného surového výkonu v priebehu rokov najprv dospieť.
KEĎ VÝPOČTOVÁ FOTOGRAFIA IMITUJE, DOHÁŇA, PREKONÁVA A DOMINUJE
Či už ide o nočnú fotografiu, portréty, vysoký dynamický rozsah alebo doostrovanie, tónovanie či iné prvky, progres vo výpočtovej fotografii, ktorý neustále vidíme s každým pribúdajúcim rokom je naozaj dych berúci. Výsledkom masívneho pokroku za poslednú dekádu je nepopierateľné dosiahnutie dvoch základných cieľov smartfónovej fotografie.
Tým prvým cieľom bolo umožniť používateľovi, aby vytvoril výbornú fotografiu bez akýchkoľvek znalostí nastavenia optiky, uzávierky a režimu fotenia. Kým v ére dedikovaných fotoaparátov sa používateľ musel na vlastných omyloch naučiť, ako zariadenie nastaviť pri konkrétnych druhoch fotografií, alebo skrátka musel len akceptovať neoptimálne nastavenie, v ktorom záznam vykonal, v ére smartfónov a výpočtovej fotografie táto ťarcha zosadla z jeho bedier.
Druhým cieľom bola obrazová kvalita, v rámci ktorej bežný používateľ fotí snímky, ktoré nie sú diametrálne odlišné od dedikovaných fotoaparátov. Výpočtová fotografia sa pomerne rýchlo dostala ďaleko za hranicu toho, čo v minulosti poskytovali kompaktné fotoaparáty s omnoho lepšou a robustnejšou optikou. Ale tam to neskončilo. Jej súčasná podoba, ktorá ťaží z viacnásobnej optiky a pomoci hlbokých neurónových sietí, dnes už rapídne stiera odstup aj od pokročilej profesionálnej výbavy. A to ešte pred piatimi rokmi pôsobilo ako sen.
Preč je doba, keď amatérska a voľne dostupná fotografická a videozáznamová výbava produkovala diametrálne odlišný a často až smiešne horší výsledok, ako tá profesionálna. Hlavne na úrovni malých displejov už mnoho ľudí nedokáže spoznať rozdiel, pričom imitácia optických vlastností pokročilého fotografického vybavenia dosiahla v mnohých oblastiach skutočne špičkovú podobu.
Samozrejme, že to nie je dokonalé. Samozrejme, že kvalita nie je vo všetkých ohľadoch perfektná, predovšetkým pri veľkom zväčšení. Rozdiel sa ale zotrel natoľko, že pre bežných laikov a amatérov je prakticky bezcenný. A to je vidieť aj na neprestajne klesajúcich predajoch a popularite veľkých zrkadloviek a bezzrkadloviek, po ktorých už okrem profesionálov a naozaj veľkých nadšencov do fotografie prakticky nikto nesiaha. Vyžadujú totiž značnú finančnú a takisto časovú investíciu (z hľadiska štúdia a naberania znalostí), bez čoho sa ľahko môže stať, že obyčajný používateľ s nimi vyprodukuje horšie fotografie.
Vďaka mimoriadne úspešným softvérovým trikom výpočtová fotografia za posledných päť rokov obrazovú priepasť medzi smartfónovou a profesionálnou podobou fotografie výrazne zmenšila, pričom v niektorých špecifických situáciách ju dokonca aj zmazala.
A cesta pritom nekončí. Jedným zo smerov, ktorý budeme vidieť preskúmavaný v nadchádzajúcich rokoch, bude možnosť poskytnúť používateľovi kontrolu nad celým výpočtovým procesom. Súčasné smartfóny síce dokážu automaticky vyprodukovať veľmi peknú fotografiu, avšak v momente, ako sa používateľ rozhodne výsledok procesu nejako ovplyvniť, pričom sa z automatického režimu prepne na „profesionálny“, nastáva problém. Smartfón totiž obvykle prejde z dávkového režimu a z vysokého stupňa výpočtovej fotografie na prácu so samostatnou snímkou.
Používateľ je tak akoby odsunutý v čase späť, do doby mobilnej fotografie pred piatimi rokmi, v rámci ktorej síce môže voliť jednotlivé nastavenia uzávierky, ostrenia či iných prvkov, avšak operuje často len s holým a nedostatočným hardvérom, pričom softvér mu svojimi výpočtovými schopnosťami príliš nepomáha. Je jedno ako precízne nastaví ISO, vyváženie bielej alebo podrobne kontroluje clonu, výsledná fotka nikdy nedosiahne plnohodnotných schopností daného zariadenia. Požívateľ je tak frustrovaný, pretože má dojem, že zariadenie len nevie správne nastaviť, ale realita je taká, že fotka je horšia skrátka preto, že nedostáva k dispozícii plnú silu výpočtových schopností.
V nadchádzajúcich rokoch môžeme očakávať zvýšenie dostupnosti pokročilého manuálneho nastavenia výpočtovej fotografie, ktoré umožní používateľom oveľa lepšiu kontrolu nad celým procesom.
PRÍCHOD NADPRIRODZENÝCH SUPERSCHOPNOSTÍ
V blízkej budúcnosti však bude zrejme výpočtovú fotografiu úplne najviac formovať ponuka „superschopností“, respektíve nadprirodzených vlastností za hranicami fyziky, ako to označuje Marc Levoy, jeden z otcov a najvýznamnejších vývojárov modernej mobilnej výpočtovej fotografie.
Pod pojmami ako Magické superschopnosti sa myslí to, keď výpočtová fotografia v reálnom čase alternuje obrazovú informáciu do preferovanejšej podoby. A to nielen tým, že by sa snažila napodobiť výsledok profesionálneho hardvéru, tak ako doteraz, ale rovno na úrovni, ktorej žiadny optický hardvér nie je schopný.
Predstavte si, že sedíte vo vlaku či v autobuse a fotíte si nejakú fantastickú scenériu, ktorú práve vidíte z okna. Aj keď pohľad je dych berúci, fotka je nepríjemne poznamenaná tým, že na nej vidíte odlesky na skle, v rámci ktorých sa odrážate vy, či žiarivka na strope vlaku a pravdaže sklo a rám okna ako taký. Objekt pred oknom môže byť dokonca aj z dôvodu lomu svetla rozdvojený.
Výpočtová fotografia môže tieto neželené javy potenciálne odstraňovať z obrazu v reálnom čase, akoby ani neexistovali. Tu nejde len o to, že by zmizli samotné odlesky, čoho je schopný fyzický polarizačný filter, ktorý sa dá namontovať na profesionálnu optiku. Smartfón vďaka fotografickému zážihu získava informácie aj za hranicou rámu okna, z dôvodu, že sedíte v pohyblivom prostriedku a môže tak výpočtom všetky rušivé elementy odobrať.
Ak si dnes fotíte na dovolenke napríklad nejakú historickú budovu, ale výhľad vám ruší stĺp lampy, plot, či káble trolejbusu, tieto prvky môžete v pokročilých rastrových editoroch, ako je napríklad Photoshop, dodatočne a neviditeľne odstrániť. Výpočtová fotografia blízkej budúcnosti však toto bude môcť preberať na svoje bedrá, a to celkom automaticky a v reálnom čase.
Nejde len o to, že by ste tieto rušivé prvky po odfotení na fotke už nenašli. Výpočtová fotografia by ich odstraňovala už v režime náhľadu, ihneď ako by ste svoj smartfón namierili cez sklo, cez plot, alebo na nejaký iný čiastočne zakrytý výhľad. Možnosti nastavenia vám pri tom budú môcť ponúknuť to, aby ste tieto elementy odstraňovali/neodstraňovali nielen počas fotenia, ale aj dodatočne po odfotení, kliknutím na jediné tlačidlo (čim by ste mali možnosť vidieť fotku s úpravami a bez úprav a zvoliť si preferovanú).
Alternáciu reality môžeme pritom posunúť ešte ďalej. Súčasná obľuba rôznych filtrov, ktoré vám v reálnom čase upravujú obraz vašej tváre pri vytváraní videozáznamov pre rôzne sociálne siete, pekne ukazuje smer, ktorým sa mobilná fotografia a mobilné videozáznamy vydajú.
Postupom času môžeme očakávať, že pri štandardnom fotení začne výpočtová fotografia zasahovať do prirodzenej mimiky tváre. V súčasnosti tieto riešenia môžete vidieť aplikované v rámci testovacej prevádzky Smize Deep Emotions, ktorú prezentuje francúzsky startup Yokai.
Používa pri tom Generatívne kontradiktórne hlboké neurónové siete (GAN), teda typy systémov umelej inteligencie, ktoré sa mimo iné používajú aj v rámci syntetickej fotografie, čomu sme sa na začiatku tohto roku podrobne venovali v článku „Éra generovanej fotografie a vytvorenej značkovej tváre“.
V rámci klasickej smartfónovej výpočtovej fotografie ide o to, aby mechanizmus potenciálne dokázal nepozorovateľne alternovať to, ako sa reálna osoba na fotografii tvári. Aj keď v základe by pôsobilo trochu hlúpo, ak by sme ľudom doplňovali úsmevy, v prípade úpravy nechcenej mimiky to môže byť naopak veľmi žiadané a užitočné. Pomyslite napríklad na to, koľkokrát ste už niekomu zaznamenali nechcene privreté oči či grimasu, ktorá existovala len v zlomku sekundy a ako naschvál sa objavila v najnevhodnejší moment.
Niektoré fotené momentky sú pritom neopakovateľné a ak sa do nich pritrafí niečo takéto, vie to veru poriadne zamrzieť. Smartfón blízkej budúcnosti bude v takýchto prípadoch záchranárom, ktorý nechcené prižmúrené oči osôb na fotke bez problémov opraví, bez toho aby ste si to vôbec všimli a uvedomili.
Významná alternácia obrazu pomocou neurónových sietí však nemusí mať len formu akejsi umelej výmeny. Smartfón môže preberať jednotlivé mimiky tváre aj z iných častí fyzického zážihu, pričom môže napríklad vyprodukovať fotku piatich usmiatych ľudí na spoločnej fotografii, aj keď napríklad jeden z nich sa usmial až tesne predtým alebo potom ako ostatní.
Táto superschopnosť môže viesť aj k veľkej alternácii časového sledu. Predstavte si napríklad, že fotíte skupinu svojich priateľov, ktorí v jeden moment radostne vyskočia. Určite tento typ fotografií dobre poznáte, pričom ideálne chceme, aby všetci boli v rovnakej výške. Realita pravdaže takto nefunguje a rôzni ľudia vyskočia o zlomok sekundy neskôr či skôr, takže zatiaľ čo niektorí už sú vysoko, iní len pár centimetrov od zeme.
Mechanizmus smartfónu a umelej inteligencie ale bude veľmi dobre vedieť, o akú fotku sa snažíte a zo zážihu fotografií, z ktorých sa bude výsledná fotka skladať, môže danú informáciu vyextrahovať a dopočítať. Ponúkne vám tak na fotke ideálnu kombináciu obrazovej informácie, i keď v realite k nej nikdy nedošlo (z vášho pohľadu pravdaže áno, pretože vy ste skok videli behom sekundy a nie spomalene, takže ste mali pocit že všetci vyskočili naraz).
Za lákavú superschopnosť budúcnosti môžeme považovať aj emuláciu prítomnosti rôzneho pomocného fotografického vybavenia, aj keď nikde prítomné nie je.
Smartfóny a ich výpočtová fotografia to tak trochu robia už dnes, v rámci vkusného rozostrenia pozadia pri portrétových fotografiách. Ide o tzv. bokeh, ktorý veľké fotoaparáty dosahujú opticky vďaka svojej robustnej sústave šošoviek, ktoré dokážu už relatívne malé rozdiely vzdialenosti postaviť mimo ostrosti. Niekoľkomilimetrová optická sústava smartfónu to pravdaže fyzicky nedokáže, avšak výpočtová fotografia dokáže rozpoznať, čo je osoba v popredí a čo v pozadí a bokeh dnes už veľmi dobre sprostredkuje simulovaným rozostrením správnej časti fotografie softvérovou cestou.
Budúca výpočtová fotografia bude môcť v tejto súvislosti ísť ešte omnoho ďalej a v reálnom čase bude môcť správne simulovať a alternovať aj smer a intenzitu svetelného zdroja. Profesionálni fotografi vytvárajú perfektné portréty s použitím precíznej kontroly iluminácie, oddelených bleskov mimo fotoaparátu, rôznych reflektorov a nástrojov na rozptyl a zjemnenie svetla žiariviek. A tento „hardvérový“ nedostatok precízne osvetleného štúdia vyzve výpočtová fotografia na súboj rovnako, ako vyzvala na súboj veľké profesionálne optické sústavy.
Smer, intenzita a ostrosť svetla má výrazný podiel na tom, ako osoba na portrétovej fotografii vyzerá. Pokiaľ ste sa o vytváranie fotografických portrétov nikdy nezaujímali, zrejme o tom nemáte ani poňatia, pričom azda najlepšou demonštráciou problematiky sú jednoduché videá, pri ktorých je tvár človeka osvetľovaná bodovým svetlom, ktoré rotuje okolo neho. Rozdiel vo vrhaných tieňoch tváre vyvoláva dojem, že osoba pred vašimi očami doslova morfuje, pretože jej vzhľad, atraktívnosť a prívetivosť sa behom zlomkov sekundy výrazne mení.
Na konci minulého roku Google uviedol na trh funkciu Portrait Light, určenú pre telefóny Pixel a katalogizačný a editačný nástroj Fotky Google. V rámci nich sú neurónové siete využívané na dodatočný postprocessing, v rámci ktorého môžete na vytvorených fotkách dodatočne meniť práve smer a intenzitu svetelného zdroja.
Portrétovej fotke, odfotenej v obyčajných podmienkach, tak môžete dodatočne doplniť softvérovo lákavejšie osvetlenie. V blízkej budúcnosti pritom môžeme očakávať, že výpočtová fotografia začne tieto mechanizmy ponúkať už v rámci fotenia, pričom postačí aby detegovala, že fotíte tvár nablízko a ponúkla vám vhodnejšie svetlo, ako reálne máte k dispozícii „od prírody“ či od lampy vo svojej izbe.
Tieto virtuálne svetlá sú sprostredkované lokálnymi úpravami jasu, pričom do všetkého prehovára to, že umelá inteligencia, teda konkrétna neurónová sieť je precízne vytrénovaná na to, aby vedela, ako v realite tieto úpravy majú vyzerať a imitovala to priamo na reálnej geometrii vašej tváre, respektíve na tvári, ktorú fotíte. Tá tak môže dostať výrazne alternovanú podobu sprostredkovanú vlastnými tieňmi.
SCESTNÉ PREDSTAVY O „SUROVOSTI“ A REÁLNOSTI FOTENEJ INFORMÁCIE
Mnoho ľudí má mylný pocit, že pokročilá výpočtová fotografia, pri ktorej softvér hrá obrovskú rolu a prekonáva limity hardvéru, je akýsi druh podvodu. Že ide len o imitáciu a niečo, čo nie je skutočné, pričom neváhajú poukázať na to, že preferujú tie „ozajstné“ fotky, bez akýchkoľvek editácií.
Často sa môžete stretnúť aj s tým, že niekto nahrá na sociálnu sieť fotku s popisom „čistá fotka, kompletne bez úprav“, akoby bolo garantované, že fotografia zachytáva perfektne tú pravú vizuálnu realitu. Tak to ale nie je.
Je samozrejmé, že úpravy je možné spraviť hlúpo, nevkusne či mätúco, alebo aj dodatočne v masívnej miere, napríklad v nejakom editore. To ale platí pre akúkoľvek fotografiu a tá mobilná výpočtová nie je v tomto ohľade ničím nová ani špeciálna.
Neexistuje nič také, ako „čistá“ neupravená fotografia a ani nikdy v histórii ľudstva neexistovala. A to platí aj pre „surové“ RAW formáty profesionálnych fotoaparátov, pretože obrazový signálový procesor vykoná mnoho úprav a interpolácií ešte predtým, než tzv. surový obrázok dostanete. Druh optickej sústavy, spôsob ako sa digitálna fotka tvorí, priemeruje a spracováva, alebo ako sa analógovo fotografia zachytáva na konkrétny typ emulzie filmu, nevyhnutne ovplyvní výsledok a podobu zachytenia obrazovej informácie.
Nie je predtým úniku a tento prvok je vlastne aj jeden zo základných kameňov umeleckého zážitku z fotografie. Svoj špecifický „fotografický vzhľad“ majú aj profesionálne zrkadlovky a bezzrkadlovky jednotlivých firiem, pričom v podaní produktov firmy Canon je tento vzhľad iný ako v prípade produktov firmy Nikon. Ide o obrazovú alternáciu, v podobe akéhosi dotyku podoby, ktorú od nich ich používatelia vedome, alebo často aj nevedome očakávajú.
Špecifické a dobre rozpoznateľné vzhľady mali v minulosti aj jednotlivé druhy analógových filmov, do ktorých sa jednotliví fotografi zamilovali a nedali na ne dopustiť. Aj súčasná výpočtová fotografia má určitý špecifický vzhľad, ktorý sa naprieč výrobcami a takisto aj v priebehu času mení. Historicky boli jej základom hlavne hlboké tiene a silné kontrasty, avšak postupom času vidíme prechod aj k iným podobám, kde dominujú svetlejšie tóny a ľahké tiene.
Tieto veci sú totiž často aj vecou módy a konkrétneho vkusu. Koniec koncov, mnohé profesionálne digitálne fotoaparáty umožňujú napodobovať niektoré vzhľady starých fotografických filmov na požiadanie. V budúcnosti, v odstupe niekoľkých dekád, oko znalca zrejme bude môcť identifikovať obdobie, kedy bola ktorá výpočtová fotografia vytvorená, podľa jej špecifických znakov, tak ako dnes mnohí profesionálni fotografi okamžite spoznajú nejaký špecifický vzhľad fotografického filmu.
Ľudia obvykle nechcú fotiť realitu, ktorú majú pred sebou. Chcú fotiť vizuálnu realitu vo svojej hlave. Je určitým filozofický problémom, čo je vlastne tá „správna“ vizuálna realita.
Určite sa vám už mnohokrát stalo, že ste sa pozerali na seba do zrkadla a sami sebe ste sa zapáčili, alebo ste pred sebou videli nejakú nádhernú prírodu či iný výjav. Vytiahli ste fotoaparát, urobili fotku a následne sa len nešťastne pozerali na to, že nie je taká dobrá.
To čo ste uvideli na displeji skrátka nezodpovedalo tomu, čo ste videli, alebo dokonca aj stále vidíte. Asi by bolo hlúpe, keby sa vás v tomto momente pokúšal niekto presvedčiť, že to, čo vidíte vy na vlastné oči nie je reálne a reálne je to čo zaznamenal fotoaparát.
Ľudia si to pritom obvykle neuvedomujú, ale výpočtová fotografia v posledných rokoch tento pocit stále viac odsúva do pozadia tým, že alternuje obrazovú informáciu čoraz viac tým žiadaným smerom. Že fotka ktorú vytvoríte je vizuálne lepšia či lákavejšia, ako to čo vidíte očami, či už v rámci ostrejších hrán, sýtejších farieb, alebo vďaka lepšiemu dynamickému rozsahu.
Tam, kde v minulosti „selfie“ fotografia zvýraznila z princípu optiky a fungovania záznamu peknej žene vrásky a ukázala ich výraznejšie, tam ich dnes naopak výpočtová fotografia umelo zahladí a ponúkne osobe na fotke príjemnejší vzhľad ako sama vidí v zrkadle.
Možno si poviete, že je to klamanie, ale je tak trochu zvláštne, že ste ten pocit nemali v minulosti, keď fotografia tieto prvky naopak zvýrazňovala.
Tieto vizuálne prejavy pritom často závisia od toho, v akom osvetlení sa nachádzame. Pokiaľ často navštevujete posilňovňu, určite ste si dobre všimli, že v určitých svetelných podmienkach vyzerajú vaše svaly a postava omnoho impresívnejšie, pretože inak vrhnuté tiene umožnia vidieť vyrysovanie ďaleko lepšie.
Nejde o to, žeby niektoré svetelné podmienky boli „reálnejšie“ ako iné. Ide doslova o zhmotnenie idey „vidieť sa v tom najlepšom svetle“. A nie je nič zlé na tom očakávať, že fotoaparát bude vidieť vždy tú lepšiu realitu, nie tú horšiu.
Tento fakt si pritom nemusíme demonštrovať len v súvislosti s blízkou budúcnosťou. Vidíme ho uplatnený už dnes, napríklad v rámci nočného fotenia. Ak sa na tieto fotky pozriete podrobnejšie, môže na nich vidieť aj sýte farby, aj napriek tomu, že ste ich odfotili napríklad v parku, či dokonca niekde na lúke, kde bol jediným zdrojom svetla Mesiac v splne.
Biologický hardvér ľudských očí v nízkych svetelných podmienkach rozpoznáva farby veľmi zle. Očné čapíky, pomocou ktorých vnímame farbu, potrebujú na aktiváciu dostatok svetla a za veľkej tmy sa skrátka nedostatočne stimulujú (za predpokladu, že farebný objekt sám nesvieti). Obraz tak vnímame iba pomocou očných tyčiniek, ktoré sú nesmierne citlivé a efektívne aj na malú intenzitu svetla (detegujeme pomocou nich hrany, kontrast aj pohyb), avšak nie sú schopné rozpoznávať jeho jednotlivé vlnové dĺžky, teda farby.
Fotoaparát tento problém nemá a mobilná výpočtová fotografia dnes dokáže vyprodukovať aj nočnú snímku s pomerne sýtymi farbami, hoc aj len za pomoci svitu mesiaca. Bolo by pritom znova hlúpe hovoriť, že táto fotka je falošná či vymyslená. Tie farby, respektíve vlnové dĺžky svetla sú reálne a prítomné vždy, aj keď ich naše oko nedokáže dostatočne sýto vnímať. Na fotke vidíme skrátka realitu v tom „lepšom svetle“.
Existujú pravdaže prípady, keď mnoho ľudí nebude súhlasiť a vnútorne cítiť rozpor, pretože na podobné mechanizmy nie sú zvyknutí. Ako dobrá ukážka môže slúžiť prezentácia smartfónu Huawei P30 Pro spred dvoch rokov, kde sa výrobca chválil svojím „mesačným módom“, umožňujúcim zachytiť lepšie fotky mesiaca ako konkurencia.
Podoba mesiaca je pravdaže presne a detailne známa, pričom výpočtová fotografia neoperuje len so svetlom, ktoré prejde cez smiešne malé šošovky smartfónu, ale aj s algoritmami, aproximáciou a priemermi. Je teda možné vytvoriť mechanizmus, ktorý už kľúčové detaily mesačného povrchu pozná a aplikovať ich na vylepšenie zaznamenávaných obrazových dát.
Mnoho ľudí si to naivne predstavovalo tak, že mechanizmus koliesko Mesiaca na fotke vystrihol a nahradil ho iným detailnejším z profesionálnej astronomickej fotky. Boli rozhorčení, pretože im to pripomínalo akúsi koláž a smiešny podvod, ako keby vám fotoaparát pri fotení obrazu Mony Lízy len stiahol profesionálnu fotku niekde z Wikipédie a ponúkol vám tú, akože ste ju odfotili.
Ide však len o nepochopenie týchto mechanizmov. Vizuálny tréning systému umelej inteligencie neznamená, že sa v nej dané dáta uložia a následne používajú. Ide o naučenie princípov a zákonitostí. Tak ako vy spoznáte známu osobu na fotografii, ktorú ste nikdy predtým nevideli, pretože máte vo svojej hlave vizuálny model ako jej tvár vyzerá, tak ju spozná aj vytrénovaná umelá inteligencia. Na rozdiel od vás pri tom má možnosť svoj algoritmický model použiť na to, aby správne opravila rozmazanie či iný defekt práve videných dát a zaostrila ich za hranicu schopností použitej optiky.
To, že výpočtová fotografia môže výrazne simulovať a počítať rôzne svetelné podmienky, extrémne dobre všetko doostrovať a s pomocou systémov umelej inteligencie a dáta obrovsky odvodzovať a interpolovať do lepšej a krajšej podoby nedáva fotografii punc podvodu, nad ktorým by ste mali cítiť nejaké opovrhnutie.
Koniec koncov, veď aj samotné svetelné dáta z obrazového čipu majú formu mozaiky, v rámci ktorej každý pixel zaznamená buď zelenú, modrú alebo červenú farbu. A je jedno, či ste fotku urobili smartfónom alebo profesionálnou zrkadlovkou za 3000 eur.
Táto informácia sa následne až výpočtom kombinuje a priemeruje na základe susedných pixelov, podľa čoho dostávajú konkrétne pixely produkovanej fotky, na ktorú sa pozeráte, mixovaný RGB odtieň pre každý pixel. Takže farby, ktoré ste na všetkých digitálnych fotkách za svoj život videli a je jedno či boli zo smartfónu alebo z profesionálnej zrkadlovky, boli vždy z dvoch tretín vymyslené, respektíve odvodené spriemerovaním a výpočtom.
Sme na prahu sveta, v ktorom výpočtová fotografia zadefinuje podobu fotenia vo všetkých oblastiach. Vďaka pokročilým a vynaliezavým algoritmom a špecifickým softvérovým riešeniam sa každým rokom čoraz viac zužuje odstup nielen k profesionálnej hardvérovej výbave, ale aj k profesionálnym schopnostiam fotografa.
Masívna „bojová výpočtová výbava“, ktorej pôvodnou úlohou bolo len statne viesť boj s nedostatočným optickým vybavením smartfónu, začne poriadne ukazovať zuby.
Uplatňovanie čoraz pokročilejších výpočtových metód a alternácií obrazových vlastností za hranice optických schopností bude viesť nevyhnutne k tomu, že tieto princípy v mnohých ohľadoch začnú formovať a definovať podobu modernej fotografie ako takej a bude ich musieť postupne začať uplatňovať a aplikovať aj profesionálna výbava.
Takéto vyjadrenie dnes môže síce ešte pôsobiť „rúhačsky“, avšak je veľmi pravdepodobné, že v horizonte jednej či dvoch dekád sa stane súčasná profesionálna DSLR či MILC výbava, ktorá ešte nebude disponovať vlastným počítačom a masívnou výpočtovou a algoritmickou silou, hlboko zastaraná a neadekvátna, pretože nebude zvládať vyprodukovať tak magicky pôsobiace fotografie v rýchlom slede, aké budú od nej ľudia v danej dobe už očakávať.
Algoritmické softvérové „prerazenie“ nevhodných svetelných podmienok, hmly, či rušivých elementov totiž začne počas nasledujúcich rokov pripomínať mágiu. Vytváranie fotografií bez masívnej asistencie umelej inteligencie sa tak časom stane „retro záležitosťou“, podobne ako je dnes už fotenie na analógový film.
A na tom nie je nič zlé. Treba to vítať. Tak ako dnes už nikto nepovažuje digitálne fotenie za neprofesionálne, tak v budúcnosti už nikto nebude považovať za neprofesionálne ani fotenie, ktorému bude plne dominovať sila softvérových algoritmov.
