Войти на сайт
МЕЖДУНАРОДНЫЕ ЕЖЕГОДНЫЕ КОНФЕРЕНЦИИ
"СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА"
(Физические основы, методы и технологии мониторинга окружающей среды, природных и антропогенных объектов)

Девятнадцатая международная конференция «СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА (Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов)»

XIX.B.457

Опыт использования различных подходов к распараллеленной обработке спутниковых данных

Матвеев А.М. (1), Кобец Д.А. (1), Радченко М.В. (1)
(1) Институт космических исследований РАН, Москва, Россия
Современное многообразие и быстрое развитие национальных и международных систем ДЗЗ привело к доступности большого количества спутниковой информации для потребителя, в том числе с российских приборов и спутников. Также необходимо отметить расширение области применения спутниковых данных, и, соответственно, рост количества информационных продуктов, использующихся в тех или иных областях. Таким образом, для обработки как «сырых» данных, так и информационных продуктов требуется все больше вычислительных ресурсов. Базовая архитектура станций обработки, используемая в ИКИ РАН, состоит на данный момент из множества выделенных компьютеров (преимущественно 1-юнитовых). Каждая машина имеет в наличии от 8 до 16 процессорных ядер и от 8 до 16 Гигабайт оперативной памяти. Создать высокую нагрузку и, как следствие, увеличить скорость обработки исходных данных должны помочь технологии параллельных вычислений.
В старой версии архитектуры обработки было предусмотрена следующая схема – 1 «задание» (комплект данных и ПО для обработки) на один обработчик. Что не слишком эффективно, особенно если учесть, что некоторые средства обработки 32-разрядные и имеют ограничение в 3 Гб. занимаемой оперативной памяти.
В докладе рассматриваются следующие подходы:
1. Распараллеливание с помощью виртуалок
2. Запуск нескольких легких заданий на одном обработчике
3. Одновременный запуск нескольких приложений в рамках одного задания
4. Распараллеленные процессы при помощи CreateThread внутри одного приложения
При создании описываемого программного обеспечения использовались технологически возможности ЦКП «ИКИ-Мониторинг» (Лупян, Прошин и др., 2015)

Ключевые слова: потоковая обработка спутниковых данных, калибровка, информационные системы, параллельные вычисления
Литература:
  1. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.

Технологии и методы использования спутниковых данных в системах мониторинга