Алиса научилась описывать мир вслух: как работает режим «Посмотреть» для незрячих

Яндекс выпустил рекламный ролик режима «Посмотреть» в Алисе AI: нейросеть голосом описывает незрячему или слабовидящему человеку всё, что попадает в камеру смартфона. Ролик уже разошёлся по Telegram-каналам. Автор поста в @exploitex назвал его «самой милой рекламой технологии за последнее время», и по реакциям видно, почему: под записью десятки «плачущих» эмодзи. Это голосовое описание окружения для тех, кому сложно ориентироваться в быту.

Как работает режим «Посмотреть» в Алисе

Механика простая: человек направляет камеру телефона на пространство перед собой, а Алиса вслух проговаривает, что там находится. Предметы на столе, обстановка в комнате, сцена целиком. Это ассистивная технология, вспомогательная, чтобы человек с нарушением зрения сориентировался в быту без зрячего рядом.

Что происходит под капотом

За кадром работает связка из камеры, компьютерного зрения и мультимодальной нейросети. Такие модели распознают объекты, читают текст на вывесках, ценниках и упаковках, различают цвета и обстановку, а потом переводят всё это в короткое голосовое описание. На полке стоит именно то, что нужно? Какая перед вами купюра, свободен ли проход? Раньше на эти вопросы отвечал человек рядом. Теперь помощник в кармане.

«Посмотреть» и Be My Eyes: чем режим Алисы отличается от аналогов

Описание сцены для незрячих придумали давно. В мире эту нишу занимают Be My Eyes с режимом Be My AI, Microsoft Seeing AI, Google Lookout и Envision AI. Но все они остаются отдельными нишевыми приложениями, которые ещё нужно найти и установить.

Режим «Посмотреть» встроен прямо в Алису, а её и так держат на телефоне миллионы людей. Порог входа падает почти до нуля: спецсофт для слабовидящих искать не надо, помощник уже под рукой. Для российского рынка ассистивных технологий это заметный шаг: свой игрок с собственной нейросетью встал в один ряд с мировыми сервисами доступности.

Почему ролик про режим «Посмотреть» сработал

Яндекс показал функцию через живую бытовую сцену, где технология облегчает конкретному человеку жизнь. Ход честный: ценность здесь в самостоятельности, которую функция возвращает. Большие мультимодальные модели перестают быть игрушкой для развлечений и превращаются в инструмент, который убирает барьеры, та же идея, что и у нас в Sigma.

Если у вас или ваших близких есть проблемы со зрением, режим «Посмотреть» в Алисе уже доступен в приложении. Голосовое описание окружения можно попробовать прямо сейчас.