Организация потоковой обработки данных отечественных КА для оптимизации архивов ЦКП "ИКИ-Мониторинг"

В последние годы существенно совершенствуются методы и технологии обработки данных с отечественных космических аппаратов. Так, до потоковой технологии доведён и введён в эксплуатацию расчёт восстановленных ежедневных композитов по данным приборов КМСС, установленных на КА серии "Метеор-М". Современные требования к подобным продуктам включают в себя условие на хранение и представление их в т.н. тайловом или гранульном формате, когда все данные разбиты на фрагменты по регулярной пространственной сетке. Такой подход существенно облегчает операции по поиску, обработке, перемещению и предоставлению данных. Кроме того, именно такой формат оптимален для работы с временными рядами.
Поскольку в числе стандартных и базовых продуктов по данным прибора КМСС не существует подобных тайловых разбиений, в ИКИ РАН была подготовлена и реализована схема регулярного разбиения исходных данных приборов КМСС на заданной сетке. В докладе рассматриваются принципы такого разбиения и его программная реализация.
Работа выполнена при поддержке проекта Минобрнауки "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (тема "Космос-Д", гос. регистрация 122042500019-6) ) с использованием возможностей центра коллективного пользования «ИКИ-Мониторинг» (Лупян, Прошин и др., 2019).