Материалы 21-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса»
Москва, ИКИ РАН, 13–17 ноября 2023 г.

(http://conf.rse.geosmis.ru)

XXI.A.490

Текущее состояние и перспективы развития подсистемы организации распределенной многопотоковой обработки спутниковых данных ЦКП «ИКИ-Мониторинг»

Кобец Д.А. (1), Прошин А.А. (1)
(1) Институт космических исследований РАН, Москва, Россия
Стремительный рост числа действующих спутников дистанционного зондирования Земли приводит к резкому увеличению объемов поступающих с них данных. Это приводит к необходимости постоянного наращивания вычислительных мощностей, необходимых для их обработки и анализа. Особую важность при этом приобретает эффективность организации распределенной многопотоковой обработки спутниковых данных. При этом подходы, использованные ранее для управления процессами обработки на десятках вычислительных узлов (Кобец, 2015; Кобец, 2017), плохо подходят для комплексов обработки, включающих в себя сотни таких узлов. Это связано как с ограниченной пропускной способностью сетевого оборудования, которую необходимо учитывать, так и в целом с возрастающей сложностью задачи оптимального распределения заданий на вычислительные узлы с учетом требований по допустимому времени обработки тех или иных данных.
Доклад посвящен описанию текущего состояния подсистемы организации распределенной многопотоковой обработки спутниковых данных ЦКП «ИКИ-Мониторинг» (Прошин, 2023), а также проводимым в настоящее время работам по ее модернизации с целью повышения эффективности ее работы на кластере, включающем в себя более 200 вычислительных узлов. Отдельное внимание также уделено вопросам многоуровневого контроля выполнения, как отдельных процессов, так и заданий по обработки спутниковых данных в целом.
Работы по модернизации рассматриваемой подсистемы выполняются в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (Лупян и др., 2019), функционирование и развитие которого осуществляется при поддержке Минобрнауки (тема "Мониторинг" № 122042500031-8).

Ключевые слова: многопотоковая обработка, параллельные вычисления, вычислительные узлы, процессы обработки, документирование, анализ, архивация
Литература:
  1. Кобец Д.А., Балашов И.В., Сычугов И.Г., Толпин В.А. Организация контроля и анализа работоспособности систем автоматизированной обработки спутниковых данных с использованием BI-технологий // Современные проблемы дистанционного зондирования Земли из космоса. 2017. Т. 14. № 3. С. 92-103. DOI: 10.21046/2070-7401-2017-14-3-92-103.
  2. Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А. Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 1. С. 145-155.
  3. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
  4. Прошин А.А., Бурцев М.А., Кобец Д.А., Сычугов И.Г., Радченко М.В. Система контроля функционирования распределённого программно-аппаратного комплекса ЦКП «ИКИ Мониторинг» // Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. No. 1. С. 95-110. DOI: 10.21046/2070-7401-2023-20-1-95-110.

Презентация доклада



Ссылка для цитирования: Кобец Д.А., Прошин А.А. Текущее состояние и перспективы развития подсистемы организации распределенной многопотоковой обработки спутниковых данных ЦКП «ИКИ-Мониторинг» // Материалы 21-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2023. C. 30. DOI 10.21046/21DZZconf-2023a

Методы и алгоритмы обработки спутниковых данных

30