Организация обработки данных КМСС на основе использования системы динамического блочного доступа к данным

Благодаря стремительному развитию спутниковых систем ДЗЗ в последние десятилетия в настоящее время специалистам доступен широкий спектр различных типов спутниковой информации, отличающихся спектральным разрешением, набором спектральных каналов, периодичностью съемки и многими другими характеристиками. Это привело к тому, что многие исследовательские и прикладные задачи могут быть решены на качественно более высоком уровне с одновременным использованием сразу нескольких типов спутниковой информации. Однако с эффективной реализацией процедур совместной обработки разных типов спутниковой информации зачастую возникают существенные сложности, связанные с различными схемами хранения соответствующих им данных в архивах. В первую очередь, это связано с тем, для хранения разных типов спутниковой информации, как правило, используются разные пространственные разбиения на фрагменты. Также могут отличаться и проекции, в которых хранятся данные в архивах. Возникает необходимость приведения данных разных типов к единому пространственному покрытию, что существенно усложняет алгоритм обработки.
Отметим, что многие задачи, связанные с обработкой пространственных данных, могут быть наиболее эффективно решены с использованием блочного подхода, в рамках которого используются данные по тайлам, на которые равномерно разбита вся зона интереса. Такой подход позволяет обеспечить требуемую степень распараллеливания обработки на различных вычислительных узлах, реализовать гибкий механизм кэширования и снизить нагрузку на централизованные ресурсы. Однако, приведение всех типов спутниковых данных в архивах к единым пространственным разбиениям зачастую является нецелесообразным, так как оптимальные схемы хранения к примеру для данных разного пространственного разрешения по факту существенно отличаются. Более приемлемым и эффективным вариантом оказывается динамическое формирование блоков данных в таком пространственном разбиении и с такими характеристиками, которые будут оптимальны для решения конкретной задачи по обработке их обработке. С целью реализации такого механизма в ИКИ РАН была разработана технология динамического блочного доступа к архивам спутниковых данных ЦКП «ИКИ-Мониторинг»[1,2,3]. И хотя эта технология может быть во многих случаях успешно применена и для обработки данных одного типа спутниковых данных, наибольший выигрыш она дает именно при совместной обработке сразу нескольких типов спутниковой информации.
Настоящий доклад посвящен вопросам организации обработки, разработанной для получения безоблачных композитов по данным прибора КМСС, установленных на спутниках серии Метеор-М. При этом ключевой процедурой при получении этих композитов является радиометрическая и геометрическая коррекция имеющихся в архивах данных прибора КМСС на основе использования данных прибора MODIS, т.е. совместная обработка этих двух существенно отличающихся по многим характеристикам типов спутниковой информации. Для подготовки требуемых данных разных типов в заданном пространственном разбиении и с нужными характеристиками, используется разработанная в ИКИ РАН технология динамического блочного доступа к данным распределенных архивов ЦКП «ИКИ-Мониторинг».
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1,2].