Перевод в реальном времени: как это работает

Что меняется по сравнению с телефоном

Переводчик в смартфоне работает давно и переводит не хуже. Разница не в качестве перевода, а в позе разговора.

С телефоном беседа превращается в ритуал: достать, разблокировать, включить микрофон, поднести к собеседнику, развернуть экран, прочитать. Каждая реплика — пауза на несколько секунд. Разговор распадается на обмен сообщениями.

В очках вы продолжаете смотреть на человека. Собеседник говорит — субтитры появляются в поле зрения, вы отвечаете. Разговор остаётся разговором, а не сеансом связи через устройство.

Два способа, и они не равнозначны

У модели с дисплеем перевод выводится текстом перед глазами. Rokid Glasses поддерживают до 89 языков. Вы читаете, пока человек говорит.

У модели без дисплея перевод произносится в ухо через открытые динамики. BOLON AI Glasses поддерживают до 76 языков.

Разница принципиальная для живого диалога. Голосовой перевод накладывается на речь собеседника: пока вам произносят перевод предыдущей фразы, человек уже говорит следующую. Текст такой проблемы не создаёт — глаз читает параллельно уху.

Перевод без интернета

Офлайн-режим существует, но он уже другого масштаба: локальная модель понимает шесть языков — китайский, английский, японский, французский, немецкий и испанский.

Работает она на процессоре телефона, занимает около 2,67 ГБ памяти и требует достаточно свежего смартфона. И — вопреки названию — очки всё равно нужно сначала связать с приложением и скачать языковой пакет: офлайн относится к самому переводу, а не к подготовке.

Перевод написанного

Отдельно от разговора работает перевод текста: вывески, меню в кафе, указатели, документы. Здесь достаточно посмотреть на текст, и это одинаково удобно в обеих моделях.

На практике именно эта функция оказывается самой используемой в поездке. Разговор с носителем языка случается несколько раз в день, а читать вывески приходится постоянно.

Где перевод ломается

В шумном месте. Микрофоны с шумоподавлением вытягивают голос собеседника, но на рынке или в клубе они начинают ловить всё подряд.

При нескольких говорящих одновременно. Система рассчитана на диалог, а не на застолье из шести человек.

На быстрой беглой речи с сокращениями и диалектом. Литературную речь распознавание разбирает уверенно, уличную — хуже.

И при отсутствии связи, если нужного языка нет в шести офлайн-языках.

Про русский язык

Здесь мы обязаны сказать прямо: в офлайн-режиме русского нет, а полный список онлайн-языков производитель не публикует и предупреждает, что он зависит от версии приложения и региона.

Мы собрали всё, что известно про русский язык в этих очках, в отдельной статье — вместе с официальным ответом производителя о доступности ИИ-моделей в России.