Kolik AI nástrojů dokážete vyjmenovat? Midjourney, ChatGPT, Dalle, Stable Diffusion… Podle největší databáze AI nástrojů Futurepedia jich v tuto chvíli existuje kolem 5 748. Nicméně dnes se zaměříme na jeden jediný a zkusíme se mu zblízka podívat pod pokličku.

Řeč není o ničem jiném než o RunwayML. V tuto chvíli nejznámější a nejprobíranější nástroj pro tvorbu AI videí. A nejen to! RunwayML je relativně komplexní balíček nástrojů, které se mohou hodit komukoliv, kdo se zabývá audiovizuální tvorbou.

AI reklama pro Svijany

V roce 2023 se v Tastu objevil nápad na nový rozvojový projekt Creative oddělení, který by se zaměřil na tvorbu video reklamy s pomocí AI nástrojů. Chtěli jsme si otestovat možnosti AI a možná i „osvěžit“ reklamní prostor v ČR.

V rámci tohoto projektu jsme se spojili s pivovarem Svijany a krátce na to vznikl koncept s názvem „Realita chutná nejlépe“. Satirická video reklama, která vyzdvihuje reálné kvality svijanského piva za pomocí „pokrouceného“ světa umělé inteligence.

Výslednou reklamu si můžete pustit na YouTube kanálu Svijany.

Po vlně testování AI videonástrojů (část z nich popisuji v článku AI Inside Out #30), které byly v tu dobu k dispozici, jsme se rozhodli právě pro využití RunwayML Gen-2. Jeho výsledky se nejvíce přibližovaly naší vizuální představě, videa se generovala v použitelné kvalitě a v té době také RunwayML přišel s možností rozšíření videí až na 16 vteřin. To nám dost rozvázalo ruce při vytváření ideálních AI záběrů.

A nebudu lhát — generování co možná nejbizarnějších záběrů piva se od té doby stalo mou oblíbenou kratochvílí.

Co je RunwayML?

Firma Runway AI tu už s námi pár let je, přesněji od roku 2018. Od té doby má za sebou nejeden úspěch. Podílela se na vývoji několika učících modelů pro generování obrazu pomocí textových zadání. Nejznámější z nich jsou modely Latent Diffusion (2021) a dnes velmi známý a mezi odborníky velmi oblíbený Stable Diffusion (2022). Tento model je bezpochyby jeden ze základních kamenů generovaného obrazu, nicméně jeho složitost z něj dělá nepříliš ideální nástroj pro veřejnost.

Vody mainstreamu ovšem navždy rozbrázdili v roce 2023, kdy poprvé uveřejnili komerčně a veřejně použitelný model Gen-1 pro generování AI videí. Bylo to něco, co udělalo obrovský zářez do novodobé historie AI.

Učící model, který dokáže vzít nahrané video a přetvořit ho do jiného stylu, žánru, zkrátka změnit ho jenom pomocí textových zadání. A to vše na přehledném webu, který je uživatelsky přívětivý. Není proto divu, že je RunwayML dnes nejpoužívanějším AI nástrojem pro video. A my se podíváme na to, co nám tento nástroj může nabídnout. A není toho málo!

Kolik RunwayML stojí?

RunwayML můžete využívat i zdarma, nicméně musíte počítat s určitými omezeními. Runway funguje na systému kreditů, tj. každé generování vám sebere určitý počet kreditů, nejčastěji podle délky videa.

U bezplatné verze budou také vaše videa v menším rozlišení, budou obsahovat watermark, nemůžete generovat delší videa atd. Jinak řečeno se jedná o skvělé řešení, pokud si chcete nástroje pouze otestovat. Pokud ale poté budete chtít nástroj využívat naplno a s komerční licencí, připravte se na měsíční subscription model. Ten začíná na 15 dolarech měsíčně.

Co všechno RunwayML dokáže?

Jak jsem v úvodu naznačil, RunwayML začal svou cestu jako nástroj pro tvorbu AI videí. Nicméně dnes se jedná o komplexní balíček šikovných nástrojů, které vám nepochybně v mnohém mohou pomoci. Proto následující sekci rozdělím podle kategorií nástrojů tak, jak jsou po vytvoření účtu uvedeny na webu Runway. Některé z nich rozeberu více do detailu.

1) RunwayML umí video

Generované video

V této kategorii se podíváme na 3 nástroje pro tvorbu AI videí, kterými RunwayML momentálně disponuje.

Video to Video (Gen-1)

Video to Video neboli Gen-1 byla první verze generovaného videa, které RunwayML vydal. Tento nástroj negeneruje video jen tak z ničeho, potřebuje mít podkladové video, ze kterého si vyjme informace a na základě textového zadání dané video spíše „přefiltruje“. Tato funkce je výborná pro projekty, kde chcete svá videa obohatit, změnit je do jiného stylu, vytvářet psychedelický animovaný film atd.

Tento nástroj v tuto chvíli přetváří prvních 15 vteřin vloženého videa a je zde vcelku dost možností, jak korigovat výsledek. Na pravé straně obrazovky máte menu, kde si můžete vybrat z přednastavených presetů, vložit svůj vlastní referenční obraz nebo vše zadat pouze textově.

Také zde najdete okno s nastavením:

• Style: Structural consistency — Čím vyšší hodnota, tím více strukturálně odlišné bude výsledné video od původního zdroje.
• Style: Weight — Vyšší hodnoty dají větší důraz na styl, který chcete aplikovat, než na původní video.
• Seed — Vložíte jakékoliv číslo, a pokud budete generovat opětovně se stejným seed číslem, bude se vaše video generovat ze stejného vizuálního základu.
• Frame consistency — Nižší hodnoty snižují konzistenci snímků videa v daném čase, vyšší hodnoty naopak dávají větší důraz na podobnost následujícího snímku s předchozím (doporučuji zanechat na hodnotách 1-1.25).
• Upscale — Zvýší rozlišení finálního videa, ale generování bude trvat déle a přijdete o více kreditů.

Můžete se také rozhodnout, aby změna ve videu ovlivnila pouze pozadí videa, nebo naopak jeho popředí. To uděláte tlačítky Affect background only nebo Affect foreground only.

A na závěr — Pokud chcete hezky odprezentovat, jak Gen-1 vaše video změnilo, můžete použít možnost Compare wipe, který vytvoří jednoduchý přechod mezi vloženým videem a finálním produktem.

Text/Image to Video (Gen-2)

A jako další tu máme ten nejzásadnější nástroj Gen-2. Tento nástroj posouvá předchozí verzi a nabízí možnost generovat videa čistě a pouze jenom na základě textových promptů nebo podkladového obrázku. Zde můžete vidět prostředí Gen-2 a výsledné video, kde jsem pouze požádal o rozpohybování jednoho z mých Midjourney výstupů pro AI Restart 2024.

 

Malý tip: Gen-2 je velmi šikovný právě při využití Midjourney jako nástroje pro tvorbu podkladových obrázků, které následně v Gen-2 rozpohybujete. To byl víceméně hlavní způsob, který jsme ho zvolili pro svijanskou AI reklamu.

Gen-2 má také velké množství nastavení a možností, jak si s videem pohrát. Pojďme se na ně podívat.

Na levé straně obrazovky máte to místo, kde se tzv. „odehrává magie“. Pokud nepoužijete podkladový obrázek, máte možnost si zvolit poměry stran výsledného videa a jeho stylizaci (na výběr máte velké množství presetů typu malba, 3d animace, stará fotografie…)

Další nastavení určuje směr pohybu kamery. Můžete své video přibližovat, oddalovat nebo klidně točit dokola.

A další na řadě máme asi tu nejzajímavější funkci — Motion brush. Tato funkce se vám odemkne, pokud vložíte náhledový obrázek, který chcete rozpohybovat. Motion brush vám umožňuje vybarvit určité plochy obrazu a nastavit jim určitý pohyb.

Můžete tak to určité míry ovlivnit, co se má kam ve videu hýbat a mít výsledek více pod kontrolou. V tuto chvíli můžete vybrat až 5 různých ploch a každé z nich určit jiný směr pohybu. Zároveň tato funkce disponuje i chytrým rozpoznáváním ploch objektů, aby se vám detaily vybíraly o to jednodušeji.

Na výsledném videu můžete vidět, jak vybarvené plochy v Motion Brush ovlivnily výsledné video. Všem směrům jsem nastavil maximální sílu a na davy lidí jsem nastavil tzv. Ambient (noise), který nemění směr, ale způsobuje jakýsi defaultní rozpohybování objektů.

Frame interpolation

A kategorii Video trochu neslavně uzavírá nástroj Frame Interpolation. Ten zjednodušeně řečeno vytvoří plynulý přechod mezi dvěma nebo více obrázky, které do něj vložíte. Zároveň si můžete určit délku výsledného videa, maximálně až 20 vteřin. Nic víc, nic míň. Ale občas takové maličkosti můžou být právě to, co pro svůj projekt hledáte.

2) RunwayML umí úpravy videí

Tato kategorie je celá o úpravě videa. Nachází se v ní několik užitečných nástrojů. Ty se mohou hodit všem, kteří hledají rychlou a úspornou možnost, jak odstranit pozadí z videa, nabarvit záběr, odstranit přebývající předmět ze scény nebo třeba rozmazat obličeje pro váš kriminální dokument.

Remove Background

Tento nástroj dokáže vcelku hezky odstranit pozadí z vašich záběrů. Kliknutím na objekty můžete určovat, co v záběru chcete, nebo nechcete. Pokud někde AI nedokáže rozpoznat hrany objektů dostatečně dobře, díky štětci máte možnost výběry v různých částech videa ještě doupravovat. Celý nástroj také funguje jako jednoduchý editor videa a umožňuje vám pozadí rovnou vyměnit nebo dodat nějaké zajímavé efekty.

Inpainting

Nástroj inpainting dokáže z vašich záběrů odstranit různé předměty a pomocí AI doplnit chybějící prostor. Stačí pouze štětcem vybrat oblast, kterou chcete odstranit. Šikovný nástroj pro odstranění nedokonalostí, nicméně vyvaroval bych se záběrům s rychlou kamerou, kde může docházet k různým vizuálním glitchům.

V následujících videích můžete vidět, jak se nástroji podařilo odstranit slečnu přibližující se k autu. Nejedná se o nejprofesionálnější výsledek, ale dokážu si představit situace, kdy se takový nástroj hodí.

Zbylé nástroje už víceméně vše shrnují ve svých názvech. Jedná se spíše o malé pomocníčky než o velké, světbořící tooly.

• Color Grade (LUT) vám pomocí textového promptu může pomoci dobarvit vaše záběry
• Super-Slow Motion vytvoří ultra pomalý záběr
• Blur Faces rozpozná a rozmaže obličeje lidí
• Depth of Field přidá bokeh a upraví hloubky ostrosti (minimálně se o to pokusí)
• Scene Detection rozpozná jednotlivé záběry videa a udělá vám samostatné exporty
• Extract Depth vytvoří hloubkovou mapu vašeho videa, kterou můžete následně použít pro různé efekty vašich videí
• Motion Tracking vám umožní vytvořit na vašem záběru pohyblivý bod, který dokáže následovat vaši scénu a na něj posléze napojit například textovou vrstvu

Všechny tyto editovací funkce jsou velmi základní a někdy nefungují příliš dobře. Využijí je nejspíš jenom ti, kteří nemají velké zkušenosti s programy jako After Effects a chtějí rychle upravit některé záběry bez velké práce. Většina z nich funguje pouze stylem „vlož video a chvíli počkej“. Co ale musím pochválit je množství tutoriálů, kterými jsou jednotlivé funkce doplněny. Hezký detail!

Generate Audio

O něco více šikovná je záložka Generate Audio, kde máte nástroje zaměřené jen a pouze na zvuk. Najdete zde nástroje jako Clean Audio, který vyčistí vaši nahrávku od šumu nebo Remove Silence, který naopak sestřihá vaše video a odstraní z něj hluchá místa. Nástroje Transcript nebo Subtitles by byly šikovné, nicméně momentálně nepodporují češtinu. Naštěstí pro přepis videa nebo vytvoření titulků můžeme sáhnout například po nástroji Descript.

O něco zajímavější je poslední nástroj Generate Audio, který po vzoru Synthesia nebo Vidnoz dokáže nalepit vámi napsaný scénář na hlavu. Tu si můžete buď vybrat, nebo i přidat vlastní. Bohužel, podobně jako u Transcript nebo Subtitles, i zde budete mít potíže s českým jazykem.

Jak na výsledku můžete vidět, RunwayML ještě úplně není s touto funkcí v cíli. Ale jako s každou takovou funkcí uvidíme, co do příště zlepší. Přeci jenom, nové verze AI nástrojů rostou jako houby po dešti.

3) RunwayML umí obrázky

Záložku Images a podkategorie Generate Images a Edit Images není potřeba příliš rozepisovat. Nabízí velmi základní funkce po vzoru AI funkcí z Adobe Firefly. Generovaný obsah je založený na modelu Stable Diffusion, ale bez detailnějších možností nastavení textového promptu, které nabízí Stable Diffusion jako takový, nedosáhnete kvality obrazových výstupů jako třeba v Midjourney.

Kromě samotného generování zde máte funkce jako Infinite Image, kde můžete generovat a neustále zvětšovat vaše plátno. Dále Expand Image, který vám dogeneruje části fotek, Erase and Replace umí zase odstranit a dogenerovat části obrazů… Zajímavé na ozkoušení, ale jinak nic, o čem bych psal domů.

AI Training

Jediná funkce z této kategorie, která stojí za zmínku je nástroj AI Training. Díky ní můžete nahrát sadu vašich fotografií a vytrénovat si vlastní AI model. Můžete tak AI naučit, jak vypadá váš obličej nebo maskot z různých úhlů a následně generovat obrazy, které vámi vloženým fotografiím budou vždy podobné. Hezký tutorial této funkce nabízí přímo RunwayML ve videu zde.

4) RunwayML umí 3D

A na závěr tu mám jednu beta funkci – 3D Capture. Tato funkce funguje tak, že pomocí vámi nahraného videa můžete vytvořit 3D model objektu pro váš projekt. Stačí do tohoto nástroje vložit video, jak kroužíte kolem nějakého předmětu. Díky tomu se vám vytvoří 3D scéna, ze které následně můžete vytvořit video nebo exportovat 3D mesh následnou práci v nějakém z 3D programů.

Runway je (zatím) král

A to je vše! Shrnuto, podtrženo – RunwayML je momentálně král na poli AI video tvorby díky svým nástrojům Gen-1 a především Gen-2 (aspoň, dokud nebude Sora veřejně dostupná). Oceňuji množství vedlejších nástrojů pro úpravy videí, fotek a audia.

Z celé aplikace to dělá funkční balíček, který toho mnoho nabízí. Nicméně velká část těchto vedlejších nástrojů ne vždy splňuje nároky pro profesionální práci. Nicméně, nadšenci a hobby tvůrci tu určitě najdou spoustu zajímavých funkcí, kterými mohou obohatit své projekty. Tak neváhejte a vrhněte se na to. Jak se říká — The world is your oyster!