Как работают умные очки с ИИ и чем отличаются от VR

Три разных устройства под одним названием

Первый класс — шлемы виртуальной реальности. Они полностью закрывают обзор и подменяют его картинкой с экранов. Носить их на улице невозможно и не задумано: это устройство для комнаты.

Второй класс — очки-компаньоны без дисплея. Внешне обычная оправа, внутри камера, микрофоны, динамики и связь с телефоном. Они ничего не показывают, но снимают, слушают и отвечают голосом.

Третий класс — очки с прозрачным дисплеем. Они добавляют изображение поверх реального мира, не закрывая его. Именно этот класс обычно и имеют в виду, когда говорят про дополненную реальность в очках.

Как изображение попадает в глаз

В очках с дисплеем работает волновод — прозрачная пластина с микроскопической структурой внутри линзы. Крошечный источник света в дужке направляет изображение в торец этой пластины, свет идёт внутри неё за счёт полного внутреннего отражения и разворачивается к глазу в нужной точке.

Со стороны это незаметно: собеседник видит обычные очки. Вы видите изображение, которое как бы висит в воздухе на расстоянии нескольких метров, поверх реальной сцены.

Расстояние это не фигура речи: оптика собрана так, чтобы виртуальное изображение находилось в пяти метрах от глаза. Благодаря этому глаз не переключает фокус каждый раз, когда вы переводите взгляд с картинки на улицу, и не устаёт.

У такой схемы есть цена. Волновод пропускает к глазу малую долю света источника, поэтому яркость приходится задирать. У Rokid Glasses она достигает 1500 нит — примерно втрое выше типичного смартфона, и именно поэтому текст читается на солнце.

Почему картинка монохромная

Дисплей в Rokid Glasses зелёный и одноцветный, с полем зрения 30 градусов. Это выглядит скромно рядом с экраном телефона, но сравнение некорректное.

Полноцветный волновод требует трёх источников и трёх слоёв структуры — это больше веса, больше расхода батареи и заметно выше цена. Зелёный канал при этом даёт максимальную яркость на единицу энергии, потому что человеческий глаз чувствительнее всего именно к нему.

Для задач, ради которых очки покупают — субтитры перевода, строка суфлёра, стрелка маршрута — цвет не нужен вовсе. Нужны контраст и читаемость на солнце, а их одноцветная схема даёт лучше.

Что делает вторая модель, у которой дисплея нет

Модель без дисплея решает те же задачи, но выводит ответ звуком. Спросили — услышали. Перевод произносится в ухо, навигация диктуется голосом, распознавание объекта проговаривается.

Взамен уходит вес. BOLON AI Glasses весят 38,5 грамма против 49 у модели с дисплеем, дольше держат заряд и выглядят как обычная оправа. Линзы под рецепт ставятся прямо в неё, без переходных вставок.

Выбор между двумя моделями сводится к одному вопросу: нужно ли вам именно читать. Субтитры чужой речи и текст выступления произнести вслух невозможно — вслух их некому слушать. Всё остальное прекрасно работает голосом.

Две микросхемы вместо одной

Обе модели построены на связке из двух процессоров, и это не маркетинг, а способ дожить до вечера. Snapdragon AR1 берёт тяжёлое: изображение, съёмку, распознавание. Маломощный NXP RT600 постоянно слушает команду активации и ведёт фоновые задачи.

Если бы главный процессор работал непрерывно, аккумулятора на 210 мА·ч хватило бы на пару часов. Разделение обязанностей растягивает это на рабочий день.

Общее у обеих моделей

Обе модели используют одинаковую камеру на 12 мегапикселей и снимают видео до 3K при 30 кадрах в секунду. Обе имеют массив из четырёх микрофонов с шумоподавлением и открытые направленные динамики, которые не закрывают ухо.

Обе активируются фразой «Hi Rokid» и работают с ассистентом на основе больших языковых моделей. Обе имеют защиту IPX4 — это дождь и брызги, но не погружение.

• Камера 12 Мп, видео до 3K при 30 кадрах в секунду
• Четыре микрофона с шумоподавлением
• Открытый звук, уши остаются свободными
• Индикатор записи, который нельзя отключить
• Wi-Fi 6 и Bluetooth 5.3, работа с iOS 16+ и Android 12+

Чего умные очки не делают

Они не заменяют телефон. Приложение нужно для настройки, обновлений и доступа к отснятому материалу.

Они не показывают трёхмерных объектов, привязанных к комнате: для этого нужны камеры глубины и совсем другая вычислительная мощность.

И они не работают неделю от одной зарядки. Аккумулятор на 210 мА·ч — это часы, а не дни, и активная съёмка расходует его быстрее всего.