Новая функция Copilot Vision от Microsoft может «видеть» экран пользователя

Умный помощник наконец-то сможет взаимодействовать со всем компьютером, а не только с браузером Microsoft Edge — как и было обещано компанией еще полгода назад.
Автор Hi-Tech Mail
Функция Copilot Vision «видит» экран пользователя
Источник: Hi-Tech Mail

Компания Microsoft расширила возможности своего приложения Copilot для Windows и позволила умному помощнику взаимодействовать не только с браузером Edge, но и с любыми приложениями на компьютере. По задумке, тестовая функция Copilot Vision может обучать пользователей работе с Adobe Photoshop, анализировать открытые фотографии и веб-страницы, оптимизировать настройки в программах или вообще помогать с квестами в видеоиграх.

Впервые тестовая версия функции была показана в рамках празднования 50-летия Microsoft. Тогда новый Copilot Vision помог гостям разобраться в игре Minecraft и дал советы по выбору подходящих настроек в видеоредакторе Clipchamp. При этом помощник не вмешивался, а просто выделял на экране те элементы, которые будут полезны, упрощая взаимодействие с программами. Что-то вроде «живой демонстрации в режиме реального времени».

В Microsoft подчеркнули, что новый инструмент, несмотря на свободный доступ к любым файлам и приложениям пользователей, не собирает, не хранит и никак не использует данные. А после сеанса помощник вообще удаляет всю полученную информацию, буквально стирая себе память. При этом функция не будет активироваться самостоятельно, ее можно включить или выключить по желанию.

На данный момент функция Copilot Vision доступна в ограниченном виде — только для участников программы тестирования Windows Insider на территории США. В течение недель или даже месяцев компания подготовит полноценный релиз — разработчики хотят гарантировать «пользу и полезность» с самого начала. Также известно, что умный помощник выйдет за пределы компьютеров и появится на iOS и Android-смартфонах, но без уточнения сроков.

Тем временем компания Microsoft тестирует новую версию меню «Пуск», которая может появиться на Windows 11, — и она занимает практически весь экран.