Войти на сайт
МЕЖДУНАРОДНЫЕ ЕЖЕГОДНЫЕ КОНФЕРЕНЦИИ
"СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА"
(Физические основы, методы и технологии мониторинга окружающей среды, природных и антропогенных объектов)

Девятнадцатая международная конференция «СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА (Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов)»

XIX.B.452

Организация обработки данных КМСС на основе использования системы динамического блочного доступа к данным

Прошин А.А. (1), Лупян Е.А. (1), Матвеев А.М. (1), Плотников Д.Е. (1), Колбудаев П.А. (1)
(1) Институт космических исследований РАН, Москва, Россия
Благодаря стремительному развитию спутниковых систем ДЗЗ в последние десятилетия в настоящее время специалистам доступен широкий спектр различных типов спутниковой информации, отличающихся спектральным разрешением, набором спектральных каналов, периодичностью съемки и многими другими характеристиками. Это привело к тому, что многие исследовательские и прикладные задачи могут быть решены на качественно более высоком уровне с одновременным использованием сразу нескольких типов спутниковой информации. Однако с эффективной реализацией процедур совместной обработки разных типов спутниковой информации зачастую возникают существенные сложности, связанные с различными схемами хранения соответствующих им данных в архивах. В первую очередь, это связано с тем, для хранения разных типов спутниковой информации, как правило, используются разные пространственные разбиения на фрагменты. Также могут отличаться и проекции, в которых хранятся данные в архивах. Возникает необходимость приведения данных разных типов к единому пространственному покрытию, что существенно усложняет алгоритм обработки.
Отметим, что многие задачи, связанные с обработкой пространственных данных, могут быть наиболее эффективно решены с использованием блочного подхода, в рамках которого используются данные по тайлам, на которые равномерно разбита вся зона интереса. Такой подход позволяет обеспечить требуемую степень распараллеливания обработки на различных вычислительных узлах, реализовать гибкий механизм кэширования и снизить нагрузку на централизованные ресурсы. Однако, приведение всех типов спутниковых данных в архивах к единым пространственным разбиениям зачастую является нецелесообразным, так как оптимальные схемы хранения к примеру для данных разного пространственного разрешения по факту существенно отличаются. Более приемлемым и эффективным вариантом оказывается динамическое формирование блоков данных в таком пространственном разбиении и с такими характеристиками, которые будут оптимальны для решения конкретной задачи по обработке их обработке. С целью реализации такого механизма в ИКИ РАН была разработана технология динамического блочного доступа к архивам спутниковых данных ЦКП «ИКИ-Мониторинг»[1,2,3]. И хотя эта технология может быть во многих случаях успешно применена и для обработки данных одного типа спутниковых данных, наибольший выигрыш она дает именно при совместной обработке сразу нескольких типов спутниковой информации.
Настоящий доклад посвящен вопросам организации обработки, разработанной для получения безоблачных композитов по данным прибора КМСС, установленных на спутниках серии Метеор-М. При этом ключевой процедурой при получении этих композитов является радиометрическая и геометрическая коррекция имеющихся в архивах данных прибора КМСС на основе использования данных прибора MODIS, т.е. совместная обработка этих двух существенно отличающихся по многим характеристикам типов спутниковой информации. Для подготовки требуемых данных разных типов в заданном пространственном разбиении и с нужными характеристиками, используется разработанная в ИКИ РАН технология динамического блочного доступа к данным распределенных архивов ЦКП «ИКИ-Мониторинг».
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1,2] и входящих в его состав инструментов разработанных, в том числе, в рамках проектов РФФИ 13-07-00513, РФФИ 11-07-12028-офи-м-2011.

Ключевые слова: архивы спутниковых данных, обработка спутниковых данных, большие данные, блочный доступ
Литература:
  1. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.
  2. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
  3. Прошин А.А., Лупян Е.А., Балашов И.В., Кашницкий А.В., Матвеев А.М., Руткевич Б.П. Технология динамического блочного представления спутниковых данных системам распределённой обработки // Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 7. С. 79-93. DOI: 10.21046/2070-7401-2020-17-7-79–93.

Презентация доклада

Технологии и методы использования спутниковых данных в системах мониторинга