Российские математики предложили новый метод обработки больших данных

Предложенное решение расширяет горизонты анализа данных в физике, химии, биологии и инженерии. Рассказываем, в чем заключается его суть.
Автор Hi-Tech Mail
художественное изображение больших данных
Математики МГУ предложили новый метод работы с данными высокой размерности.Источник: msu.ru

Ученые факультета ВМК МГУ создали новые способы обработки высокоразмерных данных с помощью специальных структур — тензоров. Эти структуры помогают быстрее и точнее анализировать данные, устраняя возможные ошибки, включая появление отрицательных элементов там, где их быть не должно. Информация о достижении отечественных специалистов опубликована на сайте учебного заведения.

Для выполнения различных технических и научных задач в наши дни нужно работать с огромными массивами многомерных данных. Их обработка связана с серьезными вызовами: увеличение объема расчетов и потребляемой памяти часто делает традиционные подходы неэффективными. Российские ученые разработали новаторские методы, позволяющие моделировать сложные процессы с минимальным расходованием ресурсов.

В своем исследовании ученые сделали акцент на применении малоранговых тензоров в формате «тензорного поезда». Такой подход существенно уменьшает объем вычислений благодаря компактному представлению данных. Одной из ключевых проблем остается обеспечение положительности тензоров, поскольку случайные отрицательные значения могут привести к искажению результатов.

художественное изображение информации
Новый подход можно использовать в климатологии для анализа больших объемов метеорологических данных, в медицине для обработки высокоразмерных биомедицинских изображений, а также в промышленности для оптимизации сложных процессов.Источник: Unsplash

Ученые разработали новый метод, который применяет одноранговую коррекцию к исходным данным. Подобное решение помогает избавиться от отрицательных элементов, не обрабатывая весь тензор целиком, что заметно снижает затраты на вычисления. Нововведение делает алгоритмы устойчивыми к увеличению размерности данных, предотвращая проблему, известную как «проклятие размерности».

Сообщается, что новый метод оказался особенно эффективным при обработке мультиспектральных спутниковых снимков. Он позволяет сжать данные, сохранив их точность, и избежать появления «битых пикселей», что важно для анализа космических изображений Земли. Кроме того, он подходит для моделирования многокомпонентных процессов, таких как уравнения коагуляции. Они описывают поведение частиц в сложных системах.

«Наш подход позволяет работать с большими данными быстрее и точнее, сохраняя их физическую корректность. Это особенно важно для задач, где точность и устойчивость решений критически важны. Приятно отметить, что разработанные в МГУ алгоритмы показали лучшие свойства по сравнению с методами, разработанными за рубежом», — заключает доцент кафедры вычислительных технологий и моделирования факультета ВМК МГУ Сергей Матвеев.

Ранее в России создали уникальные зеркала для синхротронов. Подробнее об этом изобретении рассказали в другом материале Hi-Tech Mail.