Miniatúrne moduly kamier integrované v smartfónoch, sa stali bezkonkurenčne najrozšírenejším kusom fotografickej techniky v histórii ľudstva. Masívne rozšírenie tohto druhu počítača za poslednú dekádu zapríčinilo, že v súčasnosti takmer každý človek na Zemi nosí so sebou kvalitný fotoaparát. Avšak ako vlastne tieto miniatúrne zariadenia fungujú a čo všetko sa skrýva v ich útrobách?
Jeden a pol miliardy kusov. Presne toľko fotoaparátov sa ročne vo svete predá. Nie, nie sú to kedysi populárne kompakty, ktorých predaje vyvrcholili v roku 2010 na 110 miliónoch kusov a od tej doby sa každoročne čoraz rýchlejšie približujú k nule (80 miliónov v roku 2012, 30 miliónov v roku 2014 a 10 miliónov v roku 2016).
Nie sú to ani digitálne zrkadlovky, používané profesionálmi a vážnymi nadšencami do fotografie, ktorých predaje sa viac-menej ustálili na 10 miliónoch ročne. Ide o tie, ktoré sú súčasťou smartfónov. Malý kúsok hardvéru, vykonávajúci funkciu kamery aj fotoaparátu, sa postupom času stal jednou z najdôležitejších súčiastok týchto zariadení a pre mnohých používateľov aj rozhodujúcim faktorom pri nákupe. Vývoj a investície sú v tomto segmente preto vskutku výrazné a zlepšovanie parametrov a vlastností týchto zariadení je neustále.
Miniatúrna veľkosť smartfónových kamier je vzhľadom na ich schopnosti dych berúca
Samotný hardvér, ktorý fotenie sprostredkuje, je však pre mnohých tak trochu magickou skrinkou. Robí skrátka to, čo má a v momente ako na displej ťuknete prstom, fotografia je hotová. Čo sa ale vlastne stane, ak svoj smartfón namierite na žiadaný objekt a stlačíte tlačidlo odfotenia?
Svetlo vstupuje cez optiku fotoaparátu tvorenú šošovkami a dopadá na CMOS senzor. Výsledkom sú špecifické signály, ktoré obrazový procesor (ISP) transformuje na dáta a spracuje do podoby výslednej fotografie. Všetky tieto tri prvky sa pritom podieľajú na kvalite. Darmo bude kvalitná optika aj senzor fotoaparátu, keď spracovanie signálov bude riešené zle a ani ten najkvalitnejší obrazový procesor nevykúzli zázračnú snímku z mizernej optiky.
Hlavným problémom pri budovaní smartfónových kamier/fotoaparátov je ich fyzický rozmer. Telefóny sú len niekoľko milimetrov hrubé a vo výsledku tak celá konštrukcia fotoaparátu môže mať len niekoľko milimetrov. Ešte v minulom storočí sa to mohlo zdať absurdné, že také kvalitné fotky a videá bude možné dostať zo zariadenia, ktoré má rozmer čučoriedky. Čo najmenší rozmer nie je pre konštruktérov optických sústav jedinou výzvou. Pri zachovaní čo najlepšej kvality je totiž nutné dosiahnuť aj konkurencieschopnú cenu. Celý fotoaparát sa musí obvykle zmestiť do rozsahu 5 až 15 eur, čo má vplyv aj na použité materiály. Drvivá väčšina smartfónových fotoaparátov je tak vyrobená takmer kompletne z plastu.
Medzi bežnými používateľmi je pomerne rozšírená predstava, že kompletný smartfón od Apple či Huawei je výrobkom práve tejto spoločnosti a nikoho iného. Avšak podobne ako v prípade notebookov či automobilov, aj u smartfónov je koncový produkt len zloženinou špecializovaných častí od celej plejády najrôznejších výrobcov. Súčiastky, ktoré tvoria fotoaparát, nie sú výnimkou a inak vzájomne konkurenčné smartfóny od rôznych firiem tak môžu mať podobný, alebo dokonca celkom totožný hardvér fotoaparátu v podobe šošoviek a senzorov. Na druhú stranu, moderná smartfónová fotografia čoraz viac závisí na algoritmoch a nadväznej čipovej súprave, ktorá zachytený obraz spracováva (nie je súčasťou konštrukcie fotoaparátu). Práve v tomto smere sa tak výrobcovia smartfónov môžu výrazne prejaviť. Kým niektorí nakupujú hotové riešenia od spoločností vyrábajúcich SOC (ako napríklad Spectra ISP integrovaný v čipoch Snapdragon), iní, ako napríklad Google, Apple či Samsung, vyvíjajú kompletne tie vlastné.
Roztvorená kamera iPhone 7, s odhaleným CMOS senzorom a optickou sústavou rozobratou na jednotlivé šošovky
Kto kamery a ich súčiastky vlastne naozaj vyrába?
Trh kamier pre smartfóny je masívny a neprestajne rastie, pričom v súčasnosti dosahuje tržby okolo 40 miliárd dolárov ročne. Kamery a ich súčiastky vyrába niekoľko rôznych spoločností, ktorých produkty si výrobcovia smartfónov následne kupujú a osadzujú do svojich zariadení.
V základe v tejto oblasti rozpoznávame tri základné odvetvia. Výrobcov optických sústav, teda jednotlivých šošoviek, ďalej výrobcov CMOS senzorov a napokon výrobcov modulov, ktorí tieto šošovky a CMOS senzory vložia do puzdier, vykonajú všetky nastavenia, osadia stabilizátory a pripravia fotoaparát tak, aby si ho výrobca smartfónu mohol zakúpiť a namontovať do svojho zariadenia. Vo všetkých troch týchto oblastiach sme boli za posledné roky svedkami konsolidácie trhu, keď desiatky výrobcov postupne upadali čoraz viac do úzadia, aby sa napokon vykryštalizovalo len niekoľko najsilnejších spoločností, ovládajúcich trh.
V oblasti obrazových senzorov v podobe CMOS čipov dlhodobo dominuje japonská firma Sony, známa svojimi čipmi Exmor IMX. V súčasnosti mnoho analytických firiem odhaduje, že jej trhový podiel sa pohybuje medzi 40 a 50 %, čo je prakticky dvojnásobok najbližšieho prenasledovateľa. Čipy IMX nájdeme dnes napríklad na dne fotoaparátov LG G6 (IMX258), Samsungu Galaxy S8 (IMX333), Google Pixel XL či Xiaomi Mi 5S (Exmor RS IMX378) a takisto aj na jednotlivých generáciách iPhonov od Apple. Samozrejmosťou sú takisto Xperie od Sony, avšak zoznam produktov je zdanlivo nekončiaci.
Sony však na tomto trhu nie je osamotené, pričom drvivú väčšinu zvyšného trhového podielu ukrajuje juhokórejský Samsung a americká firma OmniVision. CMOS od Samsungu sa pod menom ISOCELL objavujú napríklad aj vo vlajkových produktoch Galaxy S8 a Note 8 (ISOCELL S5K2L2), kde sa striedajú v rôznych výrobných sériách s Exmormi od Sony. Senzory od OmniVision nesú mená PureCell alebo CameraChip, pričom používajú skratku OV. Ako príklad poslúži senzor OV4688 na dne fotoaparátu HTC One (M8) či OV16860 v Lenovo Moto Z. CMOS senzory vyrába ešte mnoho spoločností, avšak v porovnaní so spomenutou trojicou sú výrazne v úzadí, aspoň čo do počtu produkcie.
Oblasť šošoviek, respektíve optických sústav, má v rámci mobilného trhu takisto svojho dominantného hráča. Je ním taiwanská spoločnosť Largan Precision, ktorej optické sústavy nájdeme v drvivej väčšine smartfónov na trhu, vrátane iPhonov od Apple. Ďalší hráči nasledujú až s výrazným odstupom, pričom ide hlavne o taiwanský Sunny Optical, japonskú firmu Kantatsu a tchajwanskú spoločnosť Genious Optical. V rámci konštrukcie modulov dominuje trojica v podobe dvoch juhokórejských výrobcov LG Innotek (dcérska spoločnosť LG) a Samsung Electro-Mechanics (dcérska spoločnosť Samsungu) a taiwanského Foxconnu (v rámci bývalej japonskej firmy Sharp, ktorú od roku 2016 vlastní). V pomerne blízkom závese je však aj dvojica O-Film a Liteon a s miernym odstupom aj Cowell a Q-Tech.
Skutočný priečny rez kamerou smartfónu, pretínajúci optickú sústavu. Dobre je vidieť výrazne odlišný tvar jednotlivých šošoviek
Z čoho sa moderná smartfónová kamera vlastne skladá?
Ak z moderných smartfónov fotoaparát vyberiete, zistíte, že ide o na prvý pohľad pomerne nezaujímavú konštrukciu z plastu pripomínajúcu malú kocku alebo kváder, s rozmermi okolo 5 mm (v prípade väčšej a kvalitnejšej zadnej kamery). V každom puzdre je dobre rozpoznateľné „oko“ v podobe svetelného vstupu do optickej sústavy, ktoré sa označuje ako clonový otvor či clona. Na rozdiel od veľkých profesionálnych fotoaparátov, kde je prierez otvoru možné meniť a tým upravovať objem svetla, ktorý do optickej sústavy vstupuje, je na smartfónoch tento otvor zatiaľ vždy fixný. Vzhľadom na milimetrové rozmery celej konštrukcie to koniec koncov nie je ani také prekvapujúce.
Samotné puzdro má v mnohých prípadoch aj kovovú obrubu, avšak odhliadnuc od tvaru konektora a pripojovacieho kábla, kamery rôznych smartfónov sú z externého pohľadu takmer vždy rovnako fádne. Celý zázrak sa pravdaže skrýva vo vnútri, pričom jeho odhalenie už je tak trochu hodinárska práca. Na obrázku si môžete pozrieť roztvorenú duálnu kameru smartfónu iPhone 8. Konštrukcia nie je v základe nijak odlišná od tých samostatných. Ide skrátka o dva samostatné moduly v jednom puzdre, ktoré sú tak ako „single“ náprotivky chránené pred vonkajšími vplyvmi priehľadným plastovým okienkom, alebo sklíčkom, ktoré je súčasťou tela smartfónu.
Rozobratá duálna kamera smartfónu Apple iPhone 8
V odhalených útrobách kamery môžete vidieť optickú sústavu, filter, motorček pre zaostrovanie (posun optickej sústavy) a CMOS senzor, ktorý deteguje dopadajúce svetlo. Kamera vpravo je v stave, v akom je vo vnútri puzdra, kamera naľavo má zloženú optickú sústavu, pod ktorou vidieť čip CMOS senzora. Je trošku zahmlený, pretože sa nachádza pod filtrom. Na detailoch rozobratého modulu si všimnite časť na bokoch optickej sústavy. Ide o špeciálny druh motorčeka, zloženého z vystavovacej cievky a elektromagnetov. Regulovaním množstva prúdu sa magnetické pole zosilňuje alebo zoslabuje, čo vedie k pohybu cievky a celej optickej sústavy.
To sa využíva na dva účely. V prvom rade je možné optickú sústavu posúvať vertikálne hore a dole, čo je používané pri zaostrovaní. Okrem toho je však možné celú konštrukciu vo vnútri puzdra rýchlo posúvať pozdĺžne do všetkých smerov, a to na základe údajov z gyroskopu, čo kompenzuje prirodzené trasenie ruky používateľa pri fotení alebo natáčaní videa. Ide teda o mechanickú stabilizáciu obrazu. Na veľké pohyby a trasenie, vznikajúce napríklad pri chôdzi je to už pravdaže málo a táto metóda je ďalej kombinovaná so softvérovou stabilizáciou vykonávanou v reálnom čase.
Röntgen uzavretého modulu smartfónovej kamery (iPhone), na ktorom je dobre viditeľné dno, tvorené lesklým CMOS senzorom v strede. Prázdny kruhový otvor nesie optickú sústavu, ktorá je vďaka tomu, že šošovky sú z plastu, celkom neviditeľná. Veľmi dobre je však vidieť jej kruhovú vystavovaciu cievku a štyri elektromagnety v rohoch, ktorými sa zmenou magnetického poľa ovláda. Tmavé sú takisto maličké kovové kondenzátory po bokoch CMOS
Ako funguje optická sústava?
Optická sústava je z hľadiska rozmeru najproblematickejšou časťou fotoaparátu. Skladá sa z niekoľkých, nad sebou umiestnených šošoviek, s pomerne špecifickým zakrivením. Z dôvodu ich nevyhnutnej prítomnosti musí kamera nejaký vertikálny priestor vždy zaberať, takže táto konštrukcia je definitívnym limitom hrúbky smartfónu (pravdaže, niektorí výrobcovia to riešia tak, že modul hrboľom z tela vystupuje).
Úlohou šošoviek je zaostriť svetlo na samotný čip senzora, pričom z dôvodu nutnosti potlačenia negatívnych obrazových efektov musia mať značne špecifické tvary, čo môžete vidieť na grafickej reprezentácii a takisto na reálnom príklade, kde je táto niekoľko milimetrová sústava priečne rozrezaná. Čudesné tvary sú dôsledkom toho, že kamera musí robiť korektúru pre rôzne aberácie, teda odchýlky, ktoré vznikajú pri lámaní a zaostrovaní svetla na takom malom priestore. Optická sústava kvalitnejších smartfónových kamier sa obvykle skladá zo štyroch až šiestich šošoviek. Lacnejšie môžu používať aj dve či tri. Samotné šošovky sú, tak ako zvyšok konštrukcie optickej sústavy, z plastu. V ich prípade sa najčastejšie používa polymetylmetakrylát, známejší pod hovorovým výrazom plexisklo, avšak môžu byť aj z iných materiálov, ako napríklad z termoplastického polystyrénu v čírej podobe.
Aby optická sústava mohla svetlo na čip zaostrovať, musí sa hýbať od a ku senzoru, pričom sa na to používa už spomenutý motorček zložený z vystavovanej cievky a elektromagnetov. Kamery smartfónov obvykle vykonávajú ostrenie softvérovou analýzou obrazového výstupu. Bežne sa používa kontrast susediacich pixelov a šošovky sa posúvajú až dovtedy, kým nedosiahnu maximálnu hodnotu kontrastu (jednoduchšie povedané dovtedy, kým sa rozmazané hrany nestanú ostrými).
Ostrenie smartfónov je možné urýchľovať a zlepšovať pomocou asistencie infračerveného laserového lúča, čo používajú napríklad telefóny LG G3 až G5 či HTC 10 alebo Google Pixel 2. Laser je, podobne ako osvetľovacia dióda „blesku“, mimo fotoaparátu, pričom odraz tohto okom neviditeľného lúča späť do detektora určuje, ako je objekt ďaleko. Táto metóda môže byť pravdaže použitá len na objekty, ktoré sú dostatočne blízko. Ostrenie s asistenciou laseru je pomerne málo rozšírené a z niektorých modelových radov sa aj napriek hojnému predošlému používaniu skôr vytráca. Nenájdeme ho už napríklad na aktuálnom modeli LG G6, i keď predošlé tri verzie ho mali.
Môže za to čoraz lepšie a rýchlejšie zaostrovanie na základe kontrastu a takisto pridávanie vhodnejších asistenčných metód, akou je fázová detekcia. Tú používa (v asistencii s ostrením pomocou kontrastu) väčšina súčasných pokročilých smartfónových kamier. Ide o metódu, ktorá sa používa u veľkých fotoaparátov, napríklad pri komplexných zrkadlovkách, pričom v rámci smartfónov ju bolo vždy veľmi náročné implementovať. Aj preto ju vidíme na vlajkových lodiach jednotlivých spoločností viac-menej len za posledné tri roky (medzi prvé modely patrili napríklad Samsung Galaxy S5 či iPhone 6).
Pri zaostrovaní pomocou fázovej detekcie sa využíva to, že okraje šošoviek sú zahnuté, pričom ich ľavý a pravý okraj vyvoláva rozpoznateľné rozmazanie obrazu. Senzor na základe rozdielu svetelnej informácie z týchto dvoch častí vypočíta, kde je stred ich spoločných hodnôt a určí tak správnu pozíciu zaostrenia pre väčšinu svetla, ktorá prechádza stredom šošovky. Je tak možné zaostriť viac-menej v jednom kroku, bez toho aby sa muselo opakovane hýbať sústavou dopredu a dozadu a hľadať najlepší kontrast.
Pri študovaní parametrov fotoaparátov obvykle narazíte aj na pomerne dôležitý údaj, ktorým je svetelnosť objektívu. Nájdete ho zapísaný spolu s písmenom F, lomkou a číselnou hodnotou. V základe sa ním vyjadruje to, koľko svetla je daný optický systém schopný zozbierať. Ešte donedávna mali fotoaparáty smartfónov svetelnosť od F/2.0 po F/2.4 (fotoaparát s prvým menovaným parametrom prepustí na senzor o 50 % viac svetla, než fotoaparát s tým druhým), avšak dnes sa na špičkových modeloch stretávame už s výbornými hodnotami F/1.8 a dokonca aj F/1.6.
To, čo toto číslo vlastne vyjadruje, sa dá dobre ukázať na príklade veľmi dlhej a úzkej chodby. Predstavte si, že stojíte na chodbe nejakého úradu, pričom jediné okno je len na jej úplnom začiatku. Celkom pri ňom je dostatok svetla, ale čím ďalej do chodby zájdete, tým temnejšia bude. Chodba reprezentuje optickú sústavu kamery a čím je dlhšia, tým je dlhšie jej ohnisko a tým menej svetla prejde na jej najvzdialenejší koniec (na senzor). Na presvetlenie však nevplýva len dĺžka chodby, ale aj veľkosť okna (otvoru do optickej sústavy). Čím je okno na jej začiatku väčšie, tým viac svetla dnu vpustí. Okno tak reprezentuje veľkosť vstupnej šošovky, respektíve clonu, ktorá je viditeľným vstupným okienkom fotoaparátu. Výsledná svetelnosť objektívu je tak pomer týchto dvoch parametrov, teda ohniskovej vzdialenosti (dĺžka chodby) k priemeru vstupnej šošovky (veľkosť okna). Ak je ohnisková vzdialenosť dvakrát väčšia (napr. 10 mm) ako priemer šošovky (napr. 5 mm), výsledný pomer sa označí ako svetelnosť F/2.0.
Rozlomená smartfónová kamera, odhaľujúca veľkú medenú kruhovú cievku optickej sústavy, pomocou ktorej je možné optiku posunom zaostrovať. V spodnej časti sa leskne infračervený filter, ktorý kryje CMOS senzor
V základe sa dá povedať, že čím nižšie toto číslo je, tým lepšie, pretože tým viac svetla do systému vstupuje. Výsledkom sú lepšie fotografie, a to predovšetkým pri horších svetelných podmienkach (večer a v noci), pričom hlavným prejavom je nárast ostrosti. Pozitívne sa však prejaví aj na menšej farebnej chybe v podobe chromatickej aberácie (spôsobenej tým, že šošovka láme jednotlivé vlnové dĺžky svetla inak), väčšom zornom poli a na jemnejšom rozmazaní obrazu mimo rovinu ostrosti.
Ako zaznamenáva CMOS senzor obraz?
CMOS senzor, nachádzajúci sa na dne fotoaparátu, pripomína klasický čip. Jeho úlohou je zaznamenať svetelnú informáciu, ktorá na jeho povrch dopadá cez optickú sústavu. V skutočnosti však ide o komplexný integrovaný obvod, ktorý na rozdiel od iných čipov nemá žiadny kryt. Obsahuje množstvo tranzistorov, zosilňovačov, konvertorov či časovačov, avšak drvivú väčšinu tejto lesklej plochy, ktorú môžete vidieť na obrázkoch, tvorí priamo detekčná vrstva svetla. Celistvá je len naoko. Na detaile čipu Sony Exmor, z fotoaparátu Samsungu Galaxy S7, môžete vidieť aj pohľad na časť povrchu cez mikroskop, ktorý odhalí jednotlivé pixely.
Detail CMOS senzora Sony Exmor IMX260 smartfónu Samsung Galaxy S7
Skratka CMOS, ktorou sa tieto senzorové čipy označujú, znamená „Doplňujúci sa kovovo oxidový polovodič“ (Complementary Metal-Oxide-Semiconductor). Ide o metódu, ktorou sa tieto čipy vyrábajú, pričom to samo o sebe nie je až také zaujímavé, pretože ide o veľmi časté riešenie pre integrované obvody a počítačové čipy ako také.
V rámci obrazových senzorov sa však týmto názvom myslí to, že detekčná vrstva čipu sa skladá práve z CMOS polovodičov, z ktorých každý funguje ako samostatný svetlocitlivý detektor. Vrstva kremíka na povrchu je rozdelená do jednotlivých pixelov, z ktorých každý obsahuje vlastný kondenzátor a jednoduchý zosilňovač. Fotóny dopadajúce do kremíka sa menia na elektróny, čo sa prevteľuje do merateľnej zmeny napätia. Táto analógová zmena sa následne prekladá na digitálnu informáciu, pričom sa pixelu snímky priraďuje stupeň jasu. Čím viac fotónov na pixel dopadlo, tým viac elektrónov vzniklo a tým je zmena napätia väčšia, takže tým viac jasu je danému pixelu potrebné priradiť.
O tom, koľko detektorov táto svetlocitlivá vrstva vlastne má, nás informuje dobre známy údaj v podobe megapixelov. Ak v špecifikáciách smartfónu čítate, že osadený fotoaparát má 12 megapixelov (Mpx), znamená to, že svetlocitlivá vrstva jeho CMOS senzora obsahuje celkom 12 miliónov detektorov. Výstup z každého detektora následne tvorí jeden pixel výslednej fotografie. Z princípu práce CMOS senzora však vyplýva, že detektor zbiera len hodnoty jasu a výsledný pixel musí mať teda čiernu alebo bielu farbu, alebo zdanlivo nekonečný počet šedých odtieňov medzi tým. Kde sa teda vo fotke berie farba?
Informácia o farbe pochádza z tzv. Bayerovej masky, čo je tenká vrstva filtrov nachádzajúca sa nad samotnými detektormi svetla. Má podobu šachovnice, pričom každý pixel má nad sebou buď červený, zelený alebo modrý filter, ktorý do detektora prepúšťa len vlnovú dĺžku svetla danej farby. Každý pixel je teda trvalo jednofarebný. Keďže ľudské oko je najcitlivejšie na zelenú zložku svetla, počet „zelených pixelov“ na detektore je toľko, koľko modrých a červených spolu. Napríklad na 8 Mpx senzore nájdeme štyri milióny zelených pixelov, dva milióny modrých a dva milióny červených.
Keďže fotoaparáty smartfónov majú len pár milimetrov, fyzicky je veľmi malý aj senzor. Veľkosť CMOS čipov sa udáva v palcoch, respektíve ich zlomkoch. Obvykle sa stretnete s číslami v podobe jednej štvrtiny alebo jednej tretiny palca (1/4“ alebo 1/3“). Tento rozmer nám ale sám o sebe nič nepovie, pretože ide len o zaužívané označenie veľkosti vzhľadom k štandardnej verzii čipu. Ak je čip označený veľkosťou jednej tretiny palca, čo je v prepočte do metrickej sústavy 8,4 mm, nič na ňom fyzicky toľko nemeria. Ide o podobnú situáciu, ako pri nanometrovom číslovaní výrobných procesov. Omnoho zrozumiteľnejší je rozmer jeho strán alebo uhlopriečky, na čo sme zvyknutí pri udávaní rozmerov displejov. Čipy označované rozmerom jednej štvrtiny a jednej tretiny palca majú uhlopriečku 4, respektíve 6 mm.
Ak sú dva rôzne CMOS senzory rovnako veľké (napríklad 6 mm uhlopriečka) a jeden má 8 Mpx a druhý 16 Mpx, znamená to, že druhý menovaný má pixely o 33 % menšie. Ide teda o podobnú situáciu, ako pri rovnako veľkých displejoch, z ktorých jeden má väčšie rozlíšenie. Kvôli malým rozmerom smartfónu by totiž bolo nevýhodné, aby sa pri zvyšovaní rozlíšenia osadzovali stále väčšie a väčšie CMOS senzory, potrebujúce stále väčšiu a väčšiu optiku. Výsledkom by totiž boli väčšie puzdrá fotoaparátov. Ani s vývojom čoraz menších detektorov sa ale nedá ísť donekonečna.
Výrobcovia napríklad dnes často používajú 16 Mpx fotoaparáty, pri ktorých majú detektory/pixely rozmer len 1,1 mikrometra. Môžu však použiť aj 8 Mpx, teda osem miliónov detektorov rovnakej veľkosti, čím je CMOS čip vo výsledku menší, alebo naopak kvalitnejšie a rozmerovo väčšie detektory a čip bude veľký ako ten 16-megapixelový. Pri veľkosti 1,1 mikrometra, teda 1100 nanometrov, si je dobré uvedomiť, že vlnová dĺžka modrého svetla je okolo 445 nm, zeleného 510 nm a červeného 650 nm. Dve „vlny“ červeného svetla sa teda už na detektor nezmestia a je pomerne jasné, že pixely sa už prakticky zmenšovať príliš nemôžu (detektor nemôže byť menší než vlnová dĺžka svetla, ktorú chce zachytiť). Na druhú stranu, čiernobiele pomocné kamery, ako napríklad sekundárna 20 Mpx kamera dvojkamerového systému Huawei P10, týmito problémami netrpia a jej pixely tak pokojne môžu mať len 1 μm.
Fotoaparáty s vystavenými CMOS senzormi Sony Exmor (obdĺžniky v strede), ktoré sa nachádzajú na ich dnách
Jednotliví výrobcovia senzorov produkujú množstvo rozličných modelov čipov s rôznymi parametrami a cenami. Pri špecifikáciách smartfónov sa často stretnete len s niektorými údajmi, ako je napríklad svetlosť objektívu a rozlíšenie, pričom originálny výrobca senzora sa drží „v tajnosti“ ako nezaujímavý, alebo z hľadiska marketingu kontraproduktívny údaj. Na mnohých miestach sa však podrobné parametre dozviete, pričom z informácií, ktoré sme doposiaľ uviedli, máte už dobrú predstavu o tom, čo znamenajú a nebudú pôsobiť na vás tak cudzo.
Vezmime si napríklad duálnu kameru smartfónu Huawei P10, skladajúcu sa z primárnej 12 Mpx kamery a pomocnej čiernobielej 20 Mpx kamery. V podrobných špecifikáciách hlavnej kamery nájdete informáciu o šošovkách (lenses), udaný ako 6P, údaj o svetelnosti objektívu v podobe F/1.6 a takisto aj údaj o senzore, zapísaný napríklad ako IMX286 (1,25 μm a 1/2,9“). Táto zmes informácií sa dá jednoducho rozpísať. Daný fotoaparát obsahuje optickú sústavu zloženú zo šiestich šošoviek vyrobených z plastu (6P). Senzor vyrobila spoločnosť Sony a jeho modelové označenie je Exmor IMX286. Patrí do veľkostnej kategórie skoro jednej tretiny palca (1/2,9“), čo znamená uhlopriečku 6 mm. Hodnota 12 Mpx znamená, že CMOS senzor obsahuje 12 miliónov detektorov, pričom každý z nich je veľký 1,25 mikrometra.
Ako vznikne výsledná fotografia a video?
Ak by ste sa pozreli na fotku, ktorá vyjde rovno z CMOS senzora, zhrozili by ste sa. Je veľmi tmavá, plná chybných pixelov a má výrazný zelený nádych. Mágia, ktorou je akési „elektronické vyvolanie“ prichádza až nasledovne. Má ju na starosti obrazový procesor, označovaný aj skratkou ISP (Image Signal Processor). Ten je po optickej sústave a CMOS senzore tretím a posledným hlavným prvkom procesu vytvorenia fotografie alebo videa. Práve s pomocou neho sa z absurdne maličkého 5 mm kvádra kamery vyextrahuje veľmi pekná fotografia alebo video.
Obrazový procesor už nie je súčasťou modulu fotoaparátu a obvykle ho nájdeme integrovaný do hlavného SOC smartfónu, teda centrálneho čipu, ktorý združuje procesorové (CPU) a grafické jadrá (GPU) a v rámci horného puzdra takisto RAM. Nie je to tak však nutnosť a ISP môžeme niekedy nájsť osadený aj samostatne na základnej doske smartfónu. ISP sa stará o riadenie celého fotoaparátu a jeho výstupu. Ovláda teda automatické zaostrovanie, stabilizáciu obrazu, vyváženie farieb, redukciu šumu, napravuje nedostatky v obraze spôsobené nedokonalosťou šošoviek a produkuje aj výsledný obrázok vo formáte JPEG.
Dnešné smartfóny pomocou ISP spracovávajú surovú fotografiu v 30 až 40 krokoch. Kým niektoré kroky sa na výslednej fotke podieľajú masívne, iné majú len malý kozmetický charakter. Prvým a zrejme tým najväčším krokom je tzv. demozaikovanie (demosaicing), v rámci ktorého fotografia dostáva svoju správnu farbu. Ako sme už spomenuli pri popise senzorov, jednotlivé detektory ako také sú farboslepé a farby sú zaznamenané len tak, že pred každým detektorom je červený, modrý alebo zelený filter, ktorý dané svetelné spektrum prepúšťa.
Na rozdiel od riešenia LCD monitora, kde je každý pixel zložený z troch alebo viacerých farebných subpixelov, má teda každý pixel CMOS senzora len jednu z týchto troch farieb. Ide o určovanie farieb pomocou spomenutej Bayerovej masky a obrazový procesor tak vo výsledku dostáva len informáciu o tom, koľko svetla na daný detektor dopadlo a cez aký farebný filter prešlo. Keďže informácia pixelu je vždy len „jednofarebná“ a zelených pixelov je toľko, koľko červených a modrých spolu, fotka produkovaná CMOS senzorom je silno zelená.
Očividným problémom je, že aj keď odfotíte len čistú modrú oblohu, len 25 % senzorov čipu ju zaznamená „naozaj“. Zostávajúcich 25% pixelov je červených a 50 % zelených. Aby fotka mala správnu farbu, obrazový procesor musí správne podiely farieb dopočítať softvérovo, a to pre každý detektor/pixel zvlášť. Robí to tak, že zoberie štyri susediace detektory (pole 2 × 2) a prečíta ich farbu a jas. Keďže na jednom riadku sa vždy strieda zelený a modrý bod a na druhom zelený a červený, každá štvorica má dva zelené, jeden modrý a jeden červený bod.
Odvodí tak výslednú RGB informáciu a pridelí ju jednému konkrétnemu bodu. Treba si uvedomiť, že farba jedného bodu je dopočítaná z informácie: zelený a modrý bod (horný riadok) a červený a zelený bod (spodný riadok). V momente, ako sa posunieme o jeden bod vedľa, informácia je už braná z iného modrého bodu, ale rovnakého zeleného (horný riadok) a iného zeleného, ale rovnakého červeného (dolný riadok).
Proces demozaikovania, pri ktorom ISP z farebnej informácie vytvorenej Bayerovou maskou odvodí farbu jednotlivých pixelov
Farebná informácia je tak síce interpolovaná, ale vo výsledku nedostanú štyri detektory vedľa seba rovnakú farebnú hodnotu. Použitie Bayerovej masky a teda jednofarebných detektorov nie je ideálne, avšak pre smartfóny je to najvhodnejšie riešenie kvôli malej veľkosti a cene. Alternatívou je totiž použitie troch samostatných čipov s jedným konkrétnym farebným filtrom, alebo jedného čipu s troma detekčnými vrstvami, čo je v oboch prípadoch omnoho rozmernejšie riešenie.
Po priradení farieb pixelom práca ani zďaleka nekončí. Obrazový čip následne vykonáva gama korektúru, vyvažuje bielu, potlačuje zrnitosť snímku či vylepšuje ostrosť. V minulosti bývali tieto procesy hardvérové a na digitálnych fotoaparátoch ich vykonával nejaký konkrétny obvod. S nástupom smartfónov sa to však zmenilo a väčšina krokov sa vykonáva softvérovou cestou. Tento trend a postup sa označuje aj ako výpočtová fotografia (Computational photography), ktorá okrem iného umožňuje vytváranie fotografií, ktoré fotografický hardvér sám o sebe ani nie je schopný zaznamenať.
Typickým príkladom je napríklad automatická panoráma, ktorá vzniká zložením viacerých snímok. Pokročilé algoritmy umožňujú pravdaže omnoho viac, pričom moderným trendom je vytváranie snímok s vysokým dynamickým rozsahom, priamo v rámci automatického procesu (HDR+). To sa dosahuje tak, že optika a CMOS senzor namiesto jednej snímky vytvoria veľmi rýchlo smršť napríklad 10 snímok za sebou (bez toho, aby si toho bol používateľ vedomý), pričom každá z nich má rozlične nastavený jas vyvolaný odlišne dlhým časom snímania.
Výsledkom sú preexponované a takisto podexponované snímky. ISP túto sériu snímok následne okamžite skombinuje do jednej, v rámci ktorej sú veľmi dobre zobrazené svetlé aj tmavé časti, použité z oboch protichodných extrémov (ktoré hardvér nemôže fyzicky zachytiť v jednom kroku). Používateľ nič netuší a pre neho bol celý proces len odfotením jednej dokonalo vyzerajúcej fotografie. Ďalšie špecializované algoritmy sa používajú napríklad pri tvorbe portrétov, kde ISP aplikuje na postavu alebo postavy masku a následne jemne rozmaže ostatné pozadie, čím simuluje tzv. bokeh, ktorý dobre poznáme z kvalitnejšej fotografickej techniky.
Na zrkadlovkách sa toto „vystavenie mimo ostrosť“ dosahuje optickou cestou, čoho malá 5 mm optická sústava smartfónového fotoaparátu nie je fyzicky schopná. Súčasné smartfóny s najlepšími fotoaparátmi na trhu, ktorých najlepším reprezentantom je momentálne asi Google Pixel 2, využívajú v rámci ISP neurónové siete, teda formu umelej inteligencie. Tá rýchlo rozpoznáva postavy a správne určuje metódu rozmazania na dosiahnutie takmer totožného efektu, ako je to možné optickou cestou.
Dôležitou úlohou ISP je takisto stabilizácia, ktorá vystupuje do popredia hlavne pri natáčaní videa. Základom je optická stabilizácia, ktorá je využívaná najmä na eliminovanie malého trasenia ruky, ktoré nevnímame. Pri nej sa optická sústava fyzicky posúva pomocou vystavovacej cievky a elektromagnetov. Tento pohyb je pravdaže miniatúrny a ak chceme odstrániť výrazné trasenie, aké vzniká napríklad pri natáčaní za chôdze, nastupujú algoritmy a ISP, ktoré vykonajú tzv. elektronickú stabilizáciu softvérovou cestou.
Video nie je v základe nič iné, než snímanie fotiek v rýchlom slede, teda napríklad 25-krát za sekundu (či čoraz častejšie aj 60-krát za sekundu). Ide o obrovskú záťaž na obvody a zbernicu kamery, takže rozlíšenie je obvykle menšie, ako v prípade fotografovania. Napríklad Full HD video v rozlíšení 1920 × 1080 zodpovedá dvom miliónom pixelov (2 Mpx). Rozlíšenie 4K je v bežnom použití štvornásobné (3840 × 2160) a má približne 8 miliónov pixelov. Osadený 12 Mpx senzor tak môže snímať bez vedomia používateľa mierne väčší rozsah, doplnený o ďalšie pixely, pričom tieto neviditeľné okraje sú používané práve na stabilizáciu. Obrazový procesor sleduje to, ako veľmi sa pohyb obrazu medzi jednotlivými snímkami prejavuje a porovnáva ho s dátami z gyroskopu.
Môže tak rozlíšiť, kedy sa náhodne a zmäteno pohybuje snímacie zariadenie (z dôvodu neželaného trasenia) a kedy sa naopak pohybuje vec, ktorú snímame. Spätne tak nazhromaždené snímky môže v reálnom čase korigovať a posúvať ich do centrálnych bodov. Tým, že jednu snímku posunie vyššie, inú mierne nižšie, zatiaľ čo inú o niekoľko stupňov natočí, sa môže výrazne eliminovať trasenie obrazu. Posun snímok používateľ nevidí, pretože všetko šlo na úkor okraja, ktorý sa vo finálnom kroku orezal. Ak je ale trasenie väčšie ako dostupný korekčný okraj, nie je ho už čím korigovať a nevyhnutne sa objaví aj vo vykreslenom videu.
Vývoj fotoaparátov v smartfónoch a ich nadväzných obrazových čipov, ktoré ich obsluhujú, nekončí. Základným cieľom je, aby smartfón dosiahol podobné, alebo dokonca lepšie výsledky ako pokročilá technika v ruke neskúseného amatéra. Vďaka pokročilým softvérovým mechanizmom, ako sú najmä neurónové siete a iné prvky umelej inteligencie, sa snímky a videá čoraz viac približujú profesionálnemu podaniu.
Aspoň zatiaľ pritom neexistujú žiadne náznaky toho, že by sa mal masívny pokrok vo vývoji fotografických schopností smartfónov v najbližšej dobe zastaviť. Od smartfónových kamier blízkej budúcnosti očakávame čoraz lepšie rozlíšenie, ostrosť a „ľúbivosť“ fotografie. Extrémne rýchle zaostrovanie, ďalšie zlepšovanie nočných fotografií a takisto čoraz rýchlejšie mechanizmy sú potrebné na stále rapídnejšie snímkovanie, v súvislosti so zaznamenávaním spomalených záberov. Vzhľadom na to, ako veľmi pokročili tieto mechanizmy za posledných päť rokov, sa v tých nasledujúcich máme naozaj na čo tešiť.
