Подпишитесь на наш телеграмм канал про спорт и заработок

Прямые трансляции YouTube начали переводиться на лету в Яндекс Браузере

Спустя год после запуска закадрового перевода видео в фирменном браузере компания «Яндекс» усовершенствовала эту функцию. Теперь по будь то презентация новых смартфонов, интервью со знаменитостями, вебинары, всевозможные конференции или что-то ещё.

Для быстрой и качественной работы в потоковом сценарии разработчикам «Яндекса» понадобилось перестроить всю архитектуру закадрового перевода видео. В случае с записанными роликами нейросеть получает аудиодорожку целиком и сразу имеет доступ ко всему контексту. В случае с переводом прямой трансляции необходим кардинально другой подход: один алгоритм распознаёт аудио и превращает его в текст буквально на лету, другой — определяет пол спикера по биометрии.

Далее в дело вступает третья нейросеть, которая расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, содержащие законченную мысль. Их «забирает» ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.

Яндекс

На данный момент технология работает в режиме открытого бета-тестирования и доступна для ограниченного числа YouTube-каналов:

  • English Speeches
  • TED
  • TedX 
  • NASA
  • SpaceX
  • IGN
  • The Game Awards 
  • Apple
  • CNET Highlights
  • Google
  • Google Developers
  • TechCrunch
  • Business Insider
  • Freeinvesting
  • Overlap

Таким образом, уже грядущую презентацию новых iPhone 14-й серии, ожидаемую в сентябре, все желающие смогут по В перспективе список поддерживаемых каналов будет расширяться. Более того, «Яндекс» планирует реализовать функцию синхронного перевода на Twitch. Сейчас возможен перевод трансляций на английском, немецком, французском, итальянском и испанском. В будущем в этот список добавят ещё пару европейских языков, а также китайский, японский и другие.

В «Яндекс Браузере» появилась возможность синхронно переводить и озвучивать на русском языке не только видео, уже выложенные в общий доступ на YouTube и Vimeo, но и делать тоже самое в реальном времени для онлайн-трансляций — озвучка возможна прямо по ходу эфира. Новая функция пока доступна в режиме открытого бета-тестирования и ограничена фиксированным набором каналов.

 Источник изображения yandexru

За 10 месяцев пользователи «Яндекса Браузера» млн роликов с закадровым переводом, пишут разработчики «Яндекс Браузера». После этого стал доступным перевод в формате титров, а сейчас настал черёд прямых эфиров. Автоматизированный синхронный перевод — задача сложная. Одному иностранному слову в зависимости от контекста могут соответствовать несколько русских, поэтому в идеале нейросети необходимо «скормить» как можно больше текста. Однако при работе в режиме реального времени это крайне трудная задача, поскольку задержка должна быть минимальной.

Поэтому потребовалось перестроить всю архитектуру автоматизированного перевода, задействовав сразу несколько нейросетей: первая распознаёт звуковой ряд и переводит его в текстовый формат, вторая определяет пол говорящего человека, третья расставляет знаки препинания и смысловые акценты, а четвёртая уже получает результат работы третьей и собственно производит перевод и озвучку.

Читайте еще:  Скидки дня в Google Play. AutoBoy DashCam Pro и другие

Список поддерживаемых системой YouTube-каналов доступен на специальной странице. В перспективе разработчики «Яндекс Браузера» планируют добавить синхронный перевод к стримам в Twitch. Сейчас нейросети «Яндекса» работают с английским, немецким, французским, итальянским и испанским языками, позже будут добавлены ещё несколько европейских языков, а также японский, китайский и другие.

Если вы заметиливыделите ее мышью и нажмите CTRL+ENTER.

Теперь иностранный прямой эфир можно
Shutterstock

«Яндекс» добавил в свой браузер технологию автоматического закадрового перевода на русский язык прямых трансляций на YouTube. Об этом пишет со ссылкой на пресс-службу компании.

«Анонсы долгожданных новинок ИТ-индустрии, интервью со знаменитостями и вдохновляющие онлайн-трансляции космических запусков теперь будут доступны на русском языке в режиме реального времени», — говорится в сообщении пресс-службы.

В настоящий момент технология работает в режиме открытого бета-тестирования, чтобы она заработала, нужно перезапустить браузер, сообщается в Telegram-канале «Команда Яндекс Браузера»

Для запуска новой опции пришлось перестроить всю архитектуру закадрового перевода видео. При переводе прямой трансляции одна нейросеть распознает аудио и превращает его в текст, другая определяет пол спикера по биометрии. Третья нейросеть выделяет из текста фрагменты, содержащие законченную мысль.

Закадровый перевод стримов сейчас доступен для определенного списка каналов на YouTube, на которых проводятся прямые трансляции.

«С одной стороны, невозможно заглянуть в будущее трансляции, чтобы понять контекст фразы или даже окончание предложения. С другой — нет возможности подождать завершения эфира, ведь перевод нужен здесь и сейчас. Кроме того, перевод прямой трансляции требует колоссальных вычислительных ресурсов», — говорилось в блоге.

«Яндекс» добавил в браузер синхронный перевод прямых трансляций

«Яндекс» добавил в свой браузер технологию автоматического закадрового перевода прямых трансляций на YouTube, сказано в сообщении компании. 

Уточняется, что пока технология работает в режиме открытого бета-тестирования, поэтому работает не для всех трансляций. В частности, перевод доступен для каналов Apple, NASA и космической компании Илона Маска SpaceX, а также платформы для выступления спикеров TED и др. С помощью этой технологии можно будет посмотреть презентацию новых технических устройств или трансляцию запуска ракеты не дожидаясь выхода видео на русском языке.

В компании отметили, что «при работе с потоковым сценарием важна минимальная задержка, а это значит, что переводить нужно моментально», но при этом необходимо сохранить контекст. В результате инженеры «Яндекса» смогли научить нейросети переводить речь спикеров не дожидаясь, пока они закончат предложение, без потери смысла. 

Читайте еще:  Telegram станет ещё больше похож на легендарный ICQ

Сейчас нейросети умеют переводить трансляции на пяти языках — английском, немецком, французском и итальянском. Предполагается, что в будущем технология научится переводить трансляции на китайском и японском языках, а также будут добавлены новые пары европейских языков. Кроме того, разработчики алгоритма надеются добавить перевод потоковых видео и трансляций на другие платформы, в том числе в популярный у геймеров ресурс Twitch. 

«Ведомости» в Telegram и будьте в курсе главных новостей экономики и бизнеса.

Оцените статью
( Пока оценок нет )