Решение D.lab позволяет создавать новые форматы контента. Например, анимированные пересказы литературных произведений или краткие пересказы полнометражных фильмов. Решение может синтезировать музыкальное оформление и закадровый голос, визуализировать аудиоконтент, генерировать цифровых персонажей, стилизовать видео. Решение гибридное — в его основе более 20 open source и коммерческих моделей искусственного интеллекта, дополнительно обученных и скомбинированных командой D.lab, для производства мультимедийного контента. Также в решении применяются технологии компьютерного зрения, синтеза и распознавания речи.

НОВОСТЬ

11:02, 17.09.2024

Звезда «Дома-2» Саша Гозиас беременна в третий раз

Бывшая героиня реалити поделилась радостной новостью.

Ключевые преимущества решения D.lab — экономия времени профессионалов, повышение скорости выполнения рутинных задач и снижение затрат на производство. Например, вместо ручной отрисовки различных фонов, персонажей или деталей можно выбирать из предложенных нейросетями вариантов, созданных на основе специальных запросов-промптов. Участие человека требуется только при постановке задачи, внесении стилистических правок и контроле результатов.

«Мы работаем в постоянном контакте с профессионалами медиа, поскольку наше решение в первую очередь для них. У нас не нейромосфильм и нейроголливуд. Их и не может быть. У нас – набор решений-помощников для профессионального продакшена. Этот набор уже на текущем этапе позволил втрое сократить стоимость отдельных производственных процессов и выполнять их за часы и дни, а не за месяцы и годы. У нас нейросети уже более чем на 80% участвуют в создании самого разнообразного контента новых форматов. И нет задачи, чтобы на 100% вкалывали роботы», — объяснил руководитель D.lab Эдуард Маас.

«Газпром-Медиа Холдинг» начал тестировать нейропродакшен в проектах ГПМ Радио, RUTUBE, PREMIER и Yappy

На RUTUBE-канале D.lab представлены первые примеры AIGC-работ: анимационные пересказы «Слова о полку Игореве» и рассказа Айзека Азимова «Лжец!» из знаменитого цикла «Я, робот», видеопересказы киноклассики — «Метрополиса» Фрица Ланга и «Броненосца Потемкина» Сергея Эйзенштейна, а также образец анимационной стилизации видео.

В цикле создания анимационных пересказов литературных произведений от D.lab включает в среднем семь этапов: анализ исходного текста LLM-моделями; написание сценария LLM-моделями; формирование стилевой концепции моделями Text-to-Image; черновая раскадровка ролика с текстовым описанием LLM-моделями; генерация сцен и персонажей моделями Text-to-Image; добавление анимации (при необходимости с участием человека) и озвучание моделями Text-to-Speech.

Например, в «Лжеце!» качество нейросинтезированного озвучания не устроило команду D.lab, поэтому было принято решение использовать классический вариант с настоящим человеческим голосом. На подготовку таких видеороликов по книгам сейчас уходит около двух недель.

В видеопересказах полнометражных фильмов решением D.lab выполнено шесть видов работ: анализ фильма ансамблем нейросетей; обработка полученных результатов LLM-моделями; написание сценария видеоролика LLM-моделями; выделение ключевых монтажных точек ансамблем нейросетей; монтаж видеоролика и озвучание моделями Text-to-Speech. Решение D.lab по стилизации позволяет оперативно «переодевать» любое видео, например, превращать фильм в мультфильм. Решение двухшаговое: текстовое описание стилистики моделями Text-to-Image и накладывание стилистики на исходное видео моделями Image-to-Image.

Фрагмент из анимационного пересказа «Слова о полку Игореве»

Субхолдинг ГПМ Радио заинтересовали анимированные пересказы, и было принято решение протестировать нейропродакшен D.lab в визуализации контента единственной в России станции для юных слушателей — Детского радио. Уже готовится визуализация популярного аудиоподкаста. Первые результаты будут представлены 16 ноября на Национальном рекламном форуме.

Команда RUTUBE тестирует возможности решения D.lab в создании коротких видео из своих оригинальных шоу. Параллельно платформа анализирует возможности AIGC сразу в нескольких направлениях – интеграция в новые выпуски текущих проектов, разработка премьерных шоу, построенных на нейроконтенте, использование такого материала в трансляциях спортивных и культурных событий, визуализация аудиоконтента, перемонтирование контента в разные форматы. Онлайн-кинотеатр PREMIER выбрал для тестирования стилизацию видео. Трейлер одного из топовых сериалов сервиса будет представлен в непривычном виде. В Yappy также выбрали стилизацию как наиболее подходящий и оперативный инструмент для обработки текущего контента. Команда платформы хочет использовать решение D.lab для повышения качества исходного видео: свет, стабилизация, фокусировка и прочее.

Чиатйте также:

«Газпром-Медиа Холдинг» предложил транслировать короткометражные фильмы молодых режиссеров в кинотеатрах

«Газпрому» 30 лет: представляем самые яркие фильмы и сериалы, снятые при участии компании

«Газпром-Медиа Развлекательное телевидение» объявил премьеры 2023 года