«Яндекс Браузер» начал переводить любые YouTube-трансляции с пяти языков
Нейросетевой закадровый перевод трансляций в «Яндекс Браузере» стал доступен для всех YouTube‑каналов. Функция работает для стримов на английском, немецком, французском, испанском и итальянском языках.
Ранее перевод трансляций в «Яндекс Браузере» работал на некоторых YouTube‑каналах, теперь технология доступна на всём видеохостинге. За год пользователи посмотрели более 20 тыс. часов видео в прямом эфире, а разработчики усовершенствовали технологию.
Они улучшили качество перевода и модифицировали инфраструктуру. Благодаря этому пропускная способность видеокарт, которые обрабатывают трансляции на серверах «Яндекса», увеличилась в два раза, а число стримов, которые пользователи могут одновременно смотреть с переводом, — в 100 раз.
Перевод трансляций работает в режиме открытого бета‑тестирования. Оценить его может любой пользователь «Яндекс Браузера» на компьютере, смартфоне и планшете. Достаточно открыть на YouTube прямой эфир на одном из поддерживаемых языков — например, NASA Live — и нажать на кнопку «Перевести трансляцию».
Закадровый перевод трансляций — сложная технологическая задача. Для её реализации потребовалось создать пять нейросетей. Подробный рассказ о том, как именно они работают, говорится в блоге «Яндекса» на Хабре.
- Работа с видео
- Браузеры
- Машинное обучение
- Искусственный интеллект
- IT-компании
«Яндекс Браузер» теперь может озвучивать китайские видео по-русски
По данным Statista, севернокитайский — второй по распространенности язык в мире. На нем разговаривают 1,1 млрд человек. Автоматический перевод и озвучка с китайского языка помогут создателям контента расширить свою аудиторию.
Кроме того, среди преимуществ развития нейросетей, которые автоматически переводят видео на другие языки, в частности на китайский, можно выделить:
- возможность сделать контент доступным для людей, говорящих на разных языках;
- повышение взаимопонимания между людьми различных культур;
- помощь в изучении учебных материалов на других языках;
- технологическое и научное развитие искусственного интеллекта;
- сокращение временных и финансовых затрат на перевод.
Нейросети — один из главных технологических трендов в 2022–2023 годов. В 2022 году разработчики представили нейросети Midjourney и ChatGPT, которые генерируют реалистичные изображения и связные тексты на разных языках соответственно.
В Яндекс.Браузере заработал многоголосый перевод видео
Пользователям Яндекс Браузера теперь доступен многоголосый перевод видео — голосов стало двенадцать, шесть мужских и шесть женских. Это нововведение, как утверждают в Яндексе, сделает восприятие контента более комфортным.
Нейросеть переводит голоса, звучащие в видео, в текст. Затем восстанавливает пунктуацию и определяет границы предложений. Другая нейросеть анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. После чего становится ясно, кто из спикеров что произнес.
«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — пояснил руководитель приложения Яндекс и Яндекс Браузера Дмитрий Тимко.
В сентябре прошлого года закадровый перевод роликов на английском языке стал публичным сервисом. Затем добавились французский, немецкий, испанский и итальянский языки.
Как сообщили в Яндексе, в планах — новые пары языков, например, китайский. Кроме того, в режиме открытого тестирования находится автоматический закадровый перевод прямых трансляций на YouTube.
«Яндекс Браузер» запустил перевод видео с китайского языка
«Яндекс Браузер» теперь переводит видео с китайского и автоматически накладывают русскую озвучку. Об этом говорится на сайте компании.
В пресс-службе рассказали, что в основе технологии «Яндекса» лежат нейросети, которые работают почти как синхронные переводчики.
На первом этапе нейросеть научилась трансформировать китайскую речь в текст на примере 100 тыс. аудиофайлов с самыми точными расшифровками, которые отдельный алгоритм выбрал из 1,5 млн видеороликов.
Нейросеть также научили учитывать тоны и контекст, поэтому на сегодняшний момент алгоритм различает 6500 иероглифов, когда для общения достаточно 2000. Помимо этого, алгоритм обучили делить сплошной поток иероглифов на смысловые отрезки для точной синхронизации перевода с речью.
Впервые «Яндекс» представил прототип технологии, которая при помощи машинного обучения делает закадровый перевод видео, в июле 2021 года. Тогда алгоритм мог переводить лишь на русский язык и только англоязычные ролики. Сейчас нейросеть может перевести ролики как с английского, так и с испанского, французского, итальянского и немецкого.