Что такое нейросеть HeyGen
Изначально HeyGen — американский сервис виртуальных аватаров, которые озвучивают конкретный текст. В зависимости от выбранного языка для персонажа генерируются движения губ и мимика.
При создании ролика можно выбрать как реалистичную, так и «мультяшную» модель. Разработчики сервиса утверждают, что с его помощью можно отказаться от дорогостоящих съемок видео с участием профессиональных актеров.
В сентябре 2023 года в HeyGen появилась новая функция — перевод видео. Теперь сервис одновременно выполняет 3 действия: распознает голос, переводит текст и адаптирует мимику спикера под сгенерированную аудиодорожку.
Текст обнаруживается с помощью технологии автоматического распознавания речи (ASR) и обработки временных последовательностей (LSTM). Первая выстраивает семантическую логику повествования, делит его на смысловые группы и расставляет паузы. Вторая помогает отшлифовать результат с учетом прошлого опыта и контекста. Добиться реалистичности позволяет технология автоматической синхронизации движения губ.
Так получается полный дубляж с переводом на другой язык, но сохранением оригинального голоса. Если присмотреться, в итоговом варианте можно заметить следы работы искусственного интеллекта: неточности в переводе, артикуляции, интонации. Однако чем выше качество исходного ролика, тем лучше результат.
HeyGen поддерживает перевод на английский, испанский, французский, хинди, итальянский, немецкий, польский и португальский. Русского языка в официальном перечне нет, но, как показывают эксперименты россиян, с ним нейросеть тоже справляется — с ее помощью переозвучили несколько известных мемов.
Как создать видеоролик с помощью HeyGen
Для использования сервиса не нужен VPN или иностранный номер телефона — достаточно простой регистрации. В рамках бесплатного тарифа можно перевести два ролика длительностью 30 секунд или один — до минуты. HeyGen поддерживает форматы mp4, webm и mov. Разрешение ролика должно находиться в диапазоне от 360×360 до 4 096×4 096 пикселей, а объем — не превышать 500 Мб.
Загрузите видеоролик, который хотите перевести, выберите нужный язык, дождитесь обработки и скачайте итоговый файл.
Вот несколько рекомендаций, которые помогут сделать качественный монтаж в HeyGen.
- Спикер должен говорить только на одном языке.
- Лучше, если говорящий на видео будет только один. Когда собеседников несколько, нейросеть делает их интонации усредненными, и итоговый ролик получается недостаточно выразительным.
- На видео не должно быть шума и громкой музыки.
- Стоит избегать присутствия в кадре неподвижных изображений: портретов, фотографий, манекенов, бюстов. HeyGen может принять их за человека, анимировать и озвучить.
- Убедитесь, что лицо спикера не закрывают микрофон, руки, волосы и другие предметы.
Ограничения HeyGen
- Сервис поддерживает не все языки и обрабатывает только короткие видео с одним голосом.
- Генерация ролика занимает от нескольких часов до суток и более. Срок зависит от нагрузки на HeyGen, а она растет вместе с его популярностью.
- Отрывки длительностью более 59 секунд можно создать только в платной подписке, для подключения которой нужна карта иностранного банка.
- Некоторые критики считают, что ролики, сгенерированные с помощью HeyGen, получаются искусственными: выражения лиц спикеров стираются, а интонации звучат плоско и безэмоционально. Они сомневаются, что искусственный интеллект когда-либо сможет заменить профессиональных актеров дубляжа.