Методы и инструменты выявления задержек в процессе автоматизированной потоковой обработки спутниковых данных

Современные системы доступа к спутниковым данным обеспечивают доступ к большому числу различных информационных продуктов, в том числе, оперативных. Для таких продуктов особенно важна минимизация времени задержки от получения исходных спутниковых данных до поступления в архивы информационных продуктов, полученных на их основе. Совокупность всех операций, необходимых для получения информационных продуктов во многих случаях можно представить в виде цепочки последовательно выполняемых операций получения исходных данных, проведения различных стадий их обработки и, наконец, архивации результатов. Настоящий доклад посвящен описанию разработанных в отделе «Технологии спутникового мониторинга» ИКИ РАН методов и инструментов, предназначенных для выявления задержек при выполнении таких цепочек операций. Информация, получаемая при помощи описываемых инструментов, позволяет выявлять аномальные задержки при выполнении тех или иных операций над данными с целью их оптимизации и устранения возможных неполадок.
В докладе кратко рассматривается программный пакет Data Monitoring, предназначенный для фиксирования времени выполнение всех операций по обработке каждого экземпляра исходных данных от их приема до архивации полученных информационных продуктов. Вторая часть доклада посвящена реализованным инструментам для визуализации получаемой контрольной информации на основе использования BI-технологий.
Работа выполнена при поддержке ФАНО (тема «Мониторинг», госрегистрация №01.20.0.2.00164). При создании описываемого программного обеспечения использовались технологические возможности ЦКП «ИКИ-Мониторинг» (Лупян, Прошин и др., 2015).