Технология подготовки больших массивов спутниковых данных для
построения высокоуровневых продуктов тематической обработки на базе
долговременных рядов данных

Бурное развитие систем ДЗЗ — как в России, так и за рубежом — привело к тому, что спутниковая информация, включая данные с отечественных приборов и спутников, стала массово доступной для потребителя. Это приводит к росту качества данных, алгоритмов обработки и появлению новых информационных продуктов, что в свою очередь приводит к росту сферы применения этих данных. В число наиболее востребованных типов информации при этом входят продукты, построенные на основе длинных рядов спутниковых данных по большим территориям масштабов страны, в том числе и высокого пространственного разрешения. Ярким примером такого типа продукции выступают восстановленные безоблачные ряды данных, используемые для тематического анализа. Однако их построение невозможно без фрагментации всего объёма данных и параллелизации обработки, чему и посвящена работа.
В докладе рассматриваются общие принципы организации потоковой обработки для создания подобных информационных продуктов и делается фокус на первом этапе такой обработки – подготовке исходных данных для обеспечения эффективного параллельного расчёта. Для этого анализируются требования к процедуре формирования комплектов исходных данных для расчета, приводится общая схема подготовки данных с их учётом на основе специализированной базы данных, а также технологические решения, на базе которых разработанная схема может быть реализована. В завершение доклада описываются примеры реализации разработанной схемы применительно к конкретным алгоритмам формирования продуктов высокого уровня на их основе.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (тема "Космос-Д", гос. регистрация 122042500019-6) с использованием возможностей центра коллективного пользования "ИКИ-Мониторинг".