Опыт использования различных подходов к распараллеленной обработке спутниковых данных

Современное многообразие и быстрое развитие национальных и международных систем ДЗЗ привело к доступности большого количества спутниковой информации для потребителя, в том числе с российских приборов и спутников. Также необходимо отметить расширение области применения спутниковых данных, и, соответственно, рост количества информационных продуктов, использующихся в тех или иных областях. Таким образом, для обработки как «сырых» данных, так и информационных продуктов требуется все больше вычислительных ресурсов. Базовая архитектура станций обработки, используемая в ИКИ РАН, состоит на данный момент из множества выделенных компьютеров (преимущественно 1-юнитовых). Каждая машина имеет в наличии от 8 до 16 процессорных ядер и от 8 до 16 Гигабайт оперативной памяти. Создать высокую нагрузку и, как следствие, увеличить скорость обработки исходных данных должны помочь технологии параллельных вычислений.
В старой версии архитектуры обработки было предусмотрена следующая схема – 1 «задание» (комплект данных и ПО для обработки) на один обработчик. Что не слишком эффективно, особенно если учесть, что некоторые средства обработки 32-разрядные и имеют ограничение в 3 Гб. занимаемой оперативной памяти.
В докладе рассматриваются следующие подходы:
1. Распараллеливание с помощью виртуалок
2. Запуск нескольких легких заданий на одном обработчике
3. Одновременный запуск нескольких приложений в рамках одного задания
4. Распараллеленные процессы при помощи CreateThread внутри одного приложения.
При создании описываемого программного обеспечения использовались технологически возможности ЦКП «ИКИ-Мониторинг» (Лупян, Прошин и др., 2019).
Работа выполнена при поддержке Минобрнауки (темы «Мониторинг» госрегистрация № 01.20.0.2.00164).