Компанія Runway у 2023 році презентувала нову модель штучного інтелекту для перетворення тексту у відео AI Gen-2, повідомляє The Verge.

Як зазначає видання, одним з основних напрямків розвитку технологій штучного інтелекту є розробки у сфері перетворення тексту у відео. Суть цієї технології полягає у тому, що ви можете описати словами у тексті, те що хочете побачити у форматі відео. І штучний інтелект створює відповідне відео у стилі, який ви обрали. Але наразі дослідники ще знаходяться далеко до якісної реалізації даної мети. Разом з тим, нові розробки стартапу Runway у цьому напрямку вже заслуговують на увагу.

Зокрема, компанія пропонує веб-редактор відео з такими інструментами як накладання фону та розпізнавання пози. Стартап допоміг розробити модель Stable Diffusion із відкритим вихідним кодом для перетворення тексту в зображення та анонсував свою першу модель редагування відео AI Gen-1 у лютому.

Stable Diffusion – програмне забезпечення, яке створює зображення за текстовими описами. Розроблено групою компаній CompVis у Мюнхенському університеті.

Робота моделі Gen-1 зосереджена на трансформації наявних відеоматеріалів. Користувач повинен зняти звичайне відео, а штучний інтелект трансформує його в 3D анімацію. У наведеному нижче ролику кадри картонної упаковки перетворено в зображення фабрики.

Another quick experiment with @runwayml’s Gen-1.#AI #GenerativeAI pic.twitter.com/wVWePjzg1j

— Peter Gasston (@stopsatgreen) March 15, 2023

Модель Gen-2 більш зосереджена на створенні відео з нуля. Хоча є багато нюансів, на які слід звернути увагу. Зокрема, демонстраційні ролики Runway короткі та не дуже реалістичні.

Generate videos with nothing but words. If you can say it, now you can see it.

Introducing, Text to Video. With Gen-2.

Learn more at https://t.co/PsJh664G0Q pic.twitter.com/6qEgcZ9QV4

— Runway (@runwayml) March 20, 2023