Студент Института интеллектуальной робототехники Новосибирского государственного университета Ярослав Чеканов разработал программу RSL Interpreter, которая способна переводить в текст жестовый русский язык. В основе сервиса лежат технологии искусственного интеллекта, которые позволяют приложению делать перевод в режиме реального времени.
Пока сервис поддерживает только жестовую азбуку дактиль. Но планируется добавление большего числа жестов в библиотеку, а в дальнейшем систему можно будет научить делать обратный перевод.
Для создания приложения, над которым я работал самостоятельно, мне пришлось изучить русский жестовый язык. Очень трудоемкой была задача собирать огромный датасет (массив данных для обучения модели) и сделать тестовое решение на нем. Однако оно оказалось удачным. Я собрал приложение в исполняемый файл. Оно читает изображение с видеокамеры до момента, пока не будет закончен перевод, который в дальнейшем выводится на экран.
Отметим, что на рынке уже существуют аналогичные программы. Однако они используют другую архитектуру, менее точны и работают с большей задержкой. Автор проекта предполагает, что разработка может быть интересна специалистам, которые занимаются обучением жестовому языку, лингвистам, а также непосредственно людям с ограниченными возможностями здоровья, вынужденным общаться на языке жестов.
В настоящее время разработана демо-версия для компьютера, а также телеграм-бот, который обрабатывает загруженное видео с жестами. Вскоре появится мобильное приложение, а функционал будет расширяться.
Ранее мы рассказывали, что компания Google разработала ИИ сервис, который может превращать любую информацию в подкаст.