XIX.B.457
Опыт использования различных подходов к распараллеленной обработке спутниковых данных
Матвеев А.М. (1), Кобец Д.А. (1), Радченко М.В. (1)
(1) Институт космических исследований РАН, Москва, Россия
Современное многообразие и быстрое развитие национальных и международных систем ДЗЗ привело к доступности большого количества спутниковой информации для потребителя, в том числе с российских приборов и спутников. Также необходимо отметить расширение области применения спутниковых данных, и, соответственно, рост количества информационных продуктов, использующихся в тех или иных областях. Таким образом, для обработки как «сырых» данных, так и информационных продуктов требуется все больше вычислительных ресурсов. Базовая архитектура станций обработки, используемая в ИКИ РАН, состоит на данный момент из множества выделенных компьютеров (преимущественно 1-юнитовых). Каждая машина имеет в наличии от 8 до 16 процессорных ядер и от 8 до 16 Гигабайт оперативной памяти. Создать высокую нагрузку и, как следствие, увеличить скорость обработки исходных данных должны помочь технологии параллельных вычислений.
В старой версии архитектуры обработки было предусмотрена следующая схема – 1 «задание» (комплект данных и ПО для обработки) на один обработчик. Что не слишком эффективно, особенно если учесть, что некоторые средства обработки 32-разрядные и имеют ограничение в 3 Гб. занимаемой оперативной памяти.
В докладе рассматриваются следующие подходы:
1. Распараллеливание с помощью виртуалок
2. Запуск нескольких легких заданий на одном обработчике
3. Одновременный запуск нескольких приложений в рамках одного задания
4. Распараллеленные процессы при помощи CreateThread внутри одного приложения.
При создании описываемого программного обеспечения использовались технологически возможности ЦКП «ИКИ-Мониторинг» (Лупян, Прошин и др., 2019).
Работа выполнена при поддержке Минобрнауки (темы «Мониторинг» госрегистрация № 01.20.0.2.00164).
Ключевые слова: потоковая обработка спутниковых данных, информационные системы, параллельные вычисленияЛитература:
- Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
Презентация доклада
Видео доклада
Ссылка для цитирования: Матвеев А.М., Кобец Д.А., Радченко М.В. Опыт использования различных подходов к распараллеленной обработке спутниковых данных // Материалы 19-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2021. C. 104. DOI 10.21046/19DZZconf-2021aТехнологии и методы использования спутниковых данных в системах мониторинга
104