Netflix experimentuje s odstraňovaním objektov vo videu
Zdroj: Netflix
2m čítanie

Netflix experimentuje s odstraňovaním objektov vo videu

Nový AI nástroj na odstraňovanie objektov z videa je vskutku zaujímavý a bude ho využívať aj Netflix.

Nejde len o obyčajné odstránenie objektu ale započítanie následkov, ktoré tým vzniknú. Experimentovanie s AI videom sa týmto posúva na novú úroveň. Nový model VOID (Video Object and Interaction Deletion) ukazuje, že odstránenie objektov z videa môže ísť za hranice doterajších pokusov a možností aktuálnych AI nástrojov.

netflix void
Zdroj: VOID

Tento model dokáže odstrániť objekty zo záberu tak, aby výsledok pôsobil prirodzene aj z pohľadu fyziky scény. Nejde len o „vymazanie“ prvku, ale aj o simuláciu jeho vplyvu na okolie. Výsledkom budú videá bez chýb, ako rozmazané oblasti, nepresnosti v textúrach alebo vizuálnymi artefaktmi. Odstránenie a dopočítanie scény je náročná vec a je to len časť skladačky fungovania VOID modelu.

To, ako funguje, vidíte na krátkej ukážke nižšie. Ak totiž odstránite jeden objekt, zmena ovplyvní aj iný v danej scéne. Mixér, ktorý nemá kto zapnúť teda ani nemôže len tak sám bežať. A to je len jeden z príkladov. Viac ich nájdete po rozkliknutí tohto príspevku na sieti X.

VOID je postavený na kombinácii modelov CogVideoX-5B a segmentového systému SAM 2. Táto architektúra umožňuje presnejšie pochopenie obsahu videa a jeho dynamiky. Model analyzuje nielen jednotlivé snímky, ale aj ich časovú kontinuitu. Práve druhá časť je kľúčová na zachovanie realistickosti a fyzikálnych javov.

Model by mal fungovať automaticky, pričom stačí, aby používateľ označil objekt na odstránenie a o zvyšok sa postará modelovacia technika. Zatiaľ ide o technologickú ukážku a bežný používateľ ho len tak ľahko nespustí. Na prevádzku potrebujete aspoň 40 GB RAM na grafickej karte. To by spĺňala napríklad karta NVIDIA A100.

Zdroj: @wildmindai / X, VOID

Prečítajte si aj: