Современные центры коллективного пользования системами архивации, обработки и анализа спутниковых данных сталкиваются с лавинообразным ростом объемов поступающей информации. В частности, совокупный объем распределенных архивов ЦКП «ИКИ-Мониторинг» превышает 11 петабайт. Для обеспечения непрерывности функционирования технологического конвейера традиционно используются специализированные агенты контроля, ориентированные на мониторинг отдельных вычислительных процессов и узлов инфраструктуры (Балашов и др., 2010; Кобец и др., 2017а). Однако существующие подходы ориентированы на фиксацию локальных сбоев на уровне отдельных сессий обработки данных или вычислительных узлов, что приводит к появлению слепых зон в контроле сквозного жизненного цикла информационных продуктов (Кобец и др., 2017а, б). В результате локализация скрытых аномалий на этапах сбора и тематической обработки данных становится невозможной без сквозного прослеживания их состояний. В работе предложен метод сквозного объектно-центричного контроля жизненного цикла спутниковых данных, использующий модель ориентированного графа состояний. Разработанное на языке Python программное средство функционирует поверх штатной СУБД центра, автоматически сопоставляя записи о состоянии каждого экземпляра данных из распределенных таблиц на основе метаданных объектов. В качестве тестового массива данных для экспериментальной проверки разработанного средства использовались накопленные в архивах ЦКП "ИКИ-Мониторинг" данные прибора VIIRS (Бурцев и др., 2022). Для визуализации топологии жизненного цикла файлов применены библиотеки NetworkX и PyVis, генерирующие интерактивные веб-интерфейсы. Разработанное программное средство обеспечивает как точечную диагностику единичных продуктов с цветовой индикацией мест сбоя, так и автоматическое построение глобального графа статистики для локализации критических участков технологического конвейера. Практическое внедрение модуля автоматизирует рутинные операции по сопоставлению логов и сокращает время поиска неисправностей оператором. Работа выполнена с использованием мощностей ЦКП "ИКИ-Мониторинг" в рамках темы Минобрнауки "Космос-Д", номер государственной регистрации 122042500019-6.

Ключевые слова: Дистанционное зондирование Земли, ЦКП «ИКИ-Мониторинг», потоковая обработка спутниковых данных, распределенные информационные системы, жизненный цикл информационных продуктов, контроль целостности данных, графовые модели состояний, спутниковый мониторинг, VIIRS

Литература:

Балашов И.В., Ефремов В.Ю., Мазуров А.А. мл., Мамаев А.С., Матвеев А.М., Прошин А.А. Организация контроля за функционированием распределенных систем сбора, обработки и распространения спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2010. Т. 7. № 4. С. 34–41.
Бурцев М.А., Прошин А.А., Матвеев А.М., Егоров В.А. Организация работы с данными прибора VIIRS для обеспечения преемственности работ на базе прибора MODIS: презентация доклада // Материалы 20-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». М.: ИКИ РАН. 2022. URL: geosmis.ru. DOI: 10.21046/20DZZconf-2022a.
Кобец Д.А., Матвеев А.М., Прошин А.А., Мазуров А.А. (2017а) Контроль работоспособности и управление распределенными комплексами автоматической потоковой обработки спутниковых данных // Вопросы электромеханики. Труды ВНИИЭМ. 2017. С. 225–234.
Кобец Д.А., Балашов И.В., Сычугов И.Г., Толпин В.А. (2017б) Организация контроля и анализа работоспособности систем автоматизированной обработки спутниковых данных с использованием BI-технологий // Современные проблемы дистанционного зондирования Земли из космоса. 2017. Т. 14. № 3. С. 92–103. DOI: 10.21046/2070-7401-2017-14-3-92-103.
Лупян Е.А., Прошин А.А., Бурцев М.А. и др. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151–170. DOI: 10.21046/2070-7401-2019-16-3-151-170.

XXIV.A.195

Система контроля распределённых потоков обработки спутниковых данных на базе графов жизненного цикла продуктов

Методы и алгоритмы обработки спутниковых данных