Организация автоматизированной обработки спутниковых данных в центре коллективного пользования "ИКИ-Мониторинг".

В докладе представляются возможности системы автоматизированной обработки спутниковых данных, реализованной в центре коллективного пользования (ЦПК) "ИКИ-Мониторинг". Особенностью данной системы является то, что она ориентирована на выполнение различных задач обработки, требующих существенно различающихся вычислительных ресурсов и оперативности выполнения. Система рассчитана как на проведение потоковой обработки постоянно поступающей информации, так и на обработку данных, находящихся в сверхбольших распределенных архивах. При этом одним из основных требований к системе является автоматизация всех этапов обработки от подготовки нужных для обработки наборов данных до помещения получаемой при обработке информации в различные архивы, позволяющие организовать ее дальнейшую обработку и анализ.
В докладе рассматриваются принципы и общая схема организации системы, обсуждаются ее основные возможности и опыт использования.
Предложенная схема организации системы построена на том, что она разбита на несколько максимально независимых уровней (блоков), обеспечивающих реализацию различных этапов процессов обработки. Блоки связаны между собой только через систему управления, настройки и контроля. Рассматриваемая схема подразделяется на следующие основные уровни:
• уровень подготовки комплектов входных данных под различные тематические задачи для обработки;
• уровень управления выдачей очереди заданий для обработки;
• уровень обработки данных;
• уровень управления параметрами всего комплекса и контроля ошибок.
На первом уровне блоки формирования комплектов файлов для обработки являются уникальными для каждой тематической обработки. Они отслеживают полноту и комплектность необходимых данных и формируют очередь готовых заданий. На втором уровне сформированные задания передаются в систему обработки с фиксацией начала и окончания их выполнения. В такой схеме легко отслеживается максимально допустимое одновременное количество выполнений одного типа заданий. Это позволяет предотвратить загрузку всех мощностей обработки на выполнение одного типа заданий в ущерб выполнению других. На третьем уровне, уровне обработки, на всех обрабатывающих компьютерах устанавливается унифицированный комплект программ, что позволяет легко расширять парк обрабатывающих компьютеров. Обработчики проверяют наличие заданий, берут данные и сценарий обработки с диспетчера заданий, выполняют его в соответствии со сценарием и выдают результат обратно, после чего приступают к следующему заданию. Все процедуры на этих уровнях выдают сообщения о ходе процессов системе контроля и управления. Таким образом, получается логически разграниченная на уровни схема с удобным и достаточно понятным управлением потоками обработки. В её рамках легко и единообразно добавляются новые процедуры, наращиваются мощности для обработки и обновляется программное обеспечение.
Работа выполнялась при поддержке темы «Мониторинг» (РАН), госрегистрация № 01.20.0.2.00164.