Ученые из Массачусетского технологического института (МТИ) и Microsoft разработали алгоритм, который сопоставляет картины из музея «Метрополитен» в США и Рейксмюсеума в Нидерландах на основе скрытых связей стилей. Об этом сообщает The Next Web.
Система получила название MosAIc. Она вдохновлена выставкой «Рембрандт и Веласкес» в Рейксмюсеуме, в рамках которой выставлялись картины двух художников, между которыми, на первый взгляд, не было ничего общего. Но на самом деле в них прослеживалась связь с точки зрения интерпретации или стиля.
Исследователи создали алгоритм, который находит схожие изображения согласно запросу. Например, на запрос «какой музыкальный инструмент ближе всего к изображению бело-голубого платья», система в качестве результата показывала работу с бело-голубой фарфоровой скрипкой. Это также помогло ученым наглядно представить процесс культурного обмена между голландцами и китайцами.
На вход MosAIc подается всего одно изображение. Впоследствии нейросеть пытается найти похожие работы в различных культурах, будь то сюжеты из Древнего Египта или персидская стеклянная посуда.
Старший автор исследования и студент МТИ Марк Хэмилтон отметил, что работа над программой была непростой, поскольку их главной задачей было сравнивать изображения не только по цвету и стилю, но и по тематике и значению. Они использовали метод k-ближайших соседей, который, говоря упрощенно, подразделяет классифицированные объекты на горизонтальную структуру и подбирает ближайший результат. Этот алгоритм применили к объединенным коллекциям двух музеев.
По мнению авторов MosAIc, результаты их работы могут помочь определить ограничения GAN (генеративно-состязательная сеть), на основе которой создаются дипфейки. Выявляя характерные особенности изображений, алгоритм должен иметь возможность установить, что то или иное фото является дипфейком. Правда, пока такой функционал — это только предположения разработчиков.
Это тоже интересно: