В условиях стремительного развития искусственного интеллекта и умных технологий способность гаджетов «видеть» и анализировать окружающий мир становится критически важной. Однако современные системы машинного зрения до сих пор сталкиваются с серьезной проблемой: визуальные данные, которые ежесекундно генерируются в огромных объемах, требуют колоссальных вычислительных и энергетических ресурсов. Это делает затруднительным применение технологий машинного зрения в автономных устройствах — смартфонах, дронах, беспилотных транспортных средствах, для которых исключительно важна экономия энергии и компактность.
Ответ на эту проблему инженеры решили искать в природе, а именно — в зрительной системе человека. В отличие от цифровых камер, человеческий глаз и мозг не фиксируют каждую мельчайшую деталь, а избирательно фильтруют и анализируют информацию. Этот принцип действия, лежащий в основе нейроморфных вычислений — подхода, имитирующего работу биологических нейронных сетей, — и стал фундаментом нового открытия японских ученых.
Под руководством доцента Такаси Икуно команда инженеров разработала искусственный синапс, который не только может распознавать цвета с высокой точностью, но и работает полностью автономно, без внешнего источника питания. Для этого ученые интегрировали в одно устройство два типа солнечных элементов, чувствительных к разным длинам волн света. В сочетании с электроникой это позволило создать систему, которая не просто регистрирует цвета, но еще и производит электричество, необходимое для своей работы, за счет солнечной энергии.
Результаты оказались впечатляющими: система способна различать оттенки с разрешением до 10 нанометров в видимом спектре — уровень, сопоставимый с возможностями человеческого глаза. Более того, устройство демонстрирует биполярную реакцию: на синий свет она выдает положительное напряжение, а на красный — отрицательное. Это позволяет выполнять логические операции, которые раньше требовали бы интеграции дополнительного вычислительного устройства. Таким образом, один и тот же элемент одновременно обеспечивает и распознавание, и обработку информации.
Новая технология была успешно протестирована на практике: устройство использовалось для распознавания движений человека, которые были зафиксированы в красном, зеленом и синем свете. Система показала 82-процентную точность при классификации 18 различных сочетаний цвета и движения — и все это зафиксировало всего одно устройство вместо целого массива фотодетекторов.
Перспективы использования таких синапсов охватывают множество сфер. В беспилотных автомобилях они могут эффективно распознавать сигналы светофоров, дорожные знаки и препятствия. В медицине они могут стать основой энергоэффективных носимых сенсоров, которые будут отслеживать жизненные показатели пациента. В потребительской электронике — продлят срок работы смартфонов и гарнитур дополненной реальности, не снижая качества визуального анализа. По словам доктора Икуно, речь идет о принципиально новом подходе к зрению машин: теперь они смогут «видеть» мир не только четко, но и разумно, как это делает человек.
Тем временем ученые из России и Китая разработали дешевое всепогодное «зрение» для беспилотных автомобилей.
