Исследователи научили искусственный интеллект превращать текст в видео, и это не какие-то простейшие ролики, а полноценные клипы, которые уже сейчас трудно отличить от смонтированных профессионалами. Но это не значит, что машины стали талантливее людей, ведь чтобы это стало возможно, учёным пришлось привить ИИ чувство прекрасного и научить его смотреть на картинку так же, как мы.
Команда учёных из университетов Цинхуа и Бейхан в Китае, Гарвардцского университета (США) и Междисциплинарного центра в Герцлии (Израиль), на научной конференции ACM SIGGRAPH Asia, прошедшей с 17 по 20 ноября в Австралии, представили инновационную разработку. Они сумели создать полностью функционирующуий инструмент для редактирования видео, который способен генерировать видео прямо из текста, пишет IBTimes.
Программу назвали Write-A-Video, и справится с ней сможет абсолютно любой человек. Чтобы смонтировать ролик с помощью нового инструмента, не нужно обладать даже первоначальными навыками обработки и редактирования видео. По словам разработчиков, созданный при помощи программы клип позволит рассказывать историю даже более естественно, чем это сможет сделать человек.
Причём видео можно будет менять в реальном времени — достаточно отредактировать текст, удалить из него лишние фрагменты или добавить новые, и видеоряд сразу же поменяется. Все эти действия искусственный интеллект автоматически переводит в операции видеомонтажа. Происходит это в три простых шага.
Пользователь вводит текст, затем визуально-семантическая нейросеть на основе слов и сочетаний фраз подбирает из библиотеки соответствующий видеоряд и, наконец, из него выбираются наиболее точные фрагменты, которые собираются в готовый видеоролик.
Пользователь вводит и редактирует текст. Инструмент автоматически ищет семантически совпадающие кадры-кандидаты из репозитория видео, а затем использует метод оптимизации для сборки видео, автоматически вырезая кадры и изменяя их порядок, — рассказал Ариэль Шамир, один из авторов системы, декан Школы компьютерных наук имени Эфи Арази Междисциплинарного центра в Герцлии.
Таким образом уже на данном этапе технология позволяет создавать видеосопровождение для персональных историй, онлайн-текстов и даже детских развлекательных видео.
Чтобы это стало возможным, учёным потребовалось научить искусственный интеллект понимать разницу в визуальных стилях и кинематографический принцип построения картинки. Система выбирает из видеохранилища кадры не только на основе их соответствия тексту, но и учитывает их эстетические особенности, выбирая те, которые идеально подходят по свету, фокусу и ракурсам. Иными словами, ИИ научился видеть красоту кадра и понимать, что такое стилистическое единство.
Исследователи уверены, что не отнимают у людей их работу, и, благодаря подобным интеллектуальным цифровым инструментам, творческий процесс, наоборот, станет более продуктивным.
Наша работа демонстрирует потенциал автоматического визуально-семантического сопоставления в вычислительном редактировании на основе идиом, предлагая интеллектуальный способ сделать монтаж видео более доступным для непрофессионалов.
Посмотреть, как работает система Write-A-Video, вы можете здесь.
Пока побаловаться программой не получится, но в ближайшее время авторы намереваются сделать её доступной для всеобщего использования. А вот другая инновационная видеотехнология уже вовсю применяется в нашей повседневной жизни, но люди об этом даже не догадываются, просматривая в интернете любимые ролики и фильмы, и не замечая рекламу, которой раньше в них не было.
Искусственный интеллект с каждым днём становится всё умнее, но опасаться войны с машинами не стоит, ведь они нас даже не заметят, потому что учёные придумали, как стать невидимыми для ИИ. Для этого не нужны сложная электроника и программное обеспечение — достаточно обыкновенной футболки со стильным принтом.