Команда GrapheneX-UTS при Сиднейском технологическом университете продемонстрировала работу «шапочки» для чтения мыслей. Она анализирует электрическую активность мозга совместно с нейросетью DeWave.
Носимое устройство содержит многочисленные датчики, с помощью которых ученые создают электроэнцефалограмму (ЭЭГ). Волна ЭЭГ сегментируется на отдельные блоки, улавливающие определенные характеристики и закономерности человеческого мозга.
В нелегком деле расшифровки сигналов помогает модель искусственного интеллекта под названием DeWave — собственная разработка ученых GrapheneX-UTS. Именно DeWave переводит сигналы мозга в слова и предложения. Она обучена (и продолжает обучаться) на больших объемах данных ЭЭГ.
«Это первая технология, которая включила методы дискретного кодирования в процесс перевода мозговой активности в текст. Интеграция с большими языковыми моделями открывает новые горизонты в нейробиологии и искусственном интеллекте», — комментирует разработку профессор К.Т. Линь, директор центра HAI GrapheneX-UTS.
Лучше всего «шапочка» справляется с расшифровкой глаголов. Когда дело доходит до существительных, эксперты наблюдают тенденцию к использованию пар синонимов, а не точных переводов. Например, «автор» может стать «человеком». Так происходит, поскольку семантически похожие слова создают схожие паттерны мозговых волн.
Показатель точности перевода на BLEU-1 составляет около 40%. Оценка BLEU измеряет сходство машинного перевода с набором высококачественных справочных переводов. Исследователи стремятся улучшить этот показатель до 90%.
Ранее в США вырастили искусственный мозг. Он умеет считать, понимать речь и делать многие другие вещи.