Новини та ділова аналітика для проактивних

Стартап Runway представив нову модель штучного інтелекту для перетворення тексту у відео

13 червня 2023 — 12:13

Компанія Runway у 2023 році презентувала нову модель штучного інтелекту для перетворення тексту у відео AI Gen-2, повідомляє The Verge.

Як зазначає видання, одним з основних напрямків розвитку технологій штучного інтелекту є розробки у сфері перетворення тексту у відео. Суть цієї технології полягає у тому, що ви можете описати словами у тексті, те що хочете побачити у форматі відео. І штучний інтелект створює відповідне відео у стилі, який ви обрали. Але наразі дослідники ще знаходяться далеко до якісної реалізації даної мети. Разом з тим, нові розробки стартапу Runway у цьому напрямку вже заслуговують на увагу.

Зокрема, компанія пропонує веб-редактор відео з такими інструментами як накладання фону та розпізнавання пози. Стартап допоміг розробити модель Stable Diffusion із відкритим вихідним кодом для перетворення тексту в зображення та анонсував свою першу модель редагування відео AI Gen-1 у лютому.

Stable Diffusion – програмне забезпечення, яке створює зображення за текстовими описами. Розроблено групою компаній CompVis у Мюнхенському університеті.

Робота моделі Gen-1 зосереджена на трансформації наявних відеоматеріалів. Користувач повинен зняти звичайне відео, а штучний інтелект трансформує його в 3D анімацію. У наведеному нижче ролику кадри картонної упаковки перетворено в зображення фабрики.

Модель Gen-2 більш зосереджена на створенні відео з нуля. Хоча є багато нюансів, на які слід звернути увагу. Зокрема, демонстраційні ролики Runway короткі та не дуже реалістичні.