Материалы 19-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса»
Москва, ИКИ РАН, 15–19 ноября 2021 г.

(http://conf.rse.geosmis.ru)

XIX.A.453

Система контроля функционирования сложных распределенных программно-аппаратных комплексов, обеспечивающих доступ к данным ДЗЗ и результатам их обработки

Прошин А.А. (1), Бурцев М.А. (1), Сычугов И.Г. (1), Кобец Д.А. (1)
(1) Институт космических исследований РАН, Москва, Россия
Современные системы доступа к данным ДЗЗ и результатам их обработки представляют из себя сложные территориально распределенные программно-аппаратные комплексы, в работе которых участвуют многие десятки компьютеров, функционирующих в автоматизированном режиме. К таким системам, безусловно, относится реализованный в ИКИ РАН центр коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений ЦКП «ИКИ-Мониторинг» [1,2]. В настоящее время в его работе задействовано более 50 серверов архивации и специализированных систем хранения данных (NAS), свыше 60 серверов, предназначенных для обработки спутниковых данных, а также более десяти специализированных серверов, предназначенных для формирования спутниковых изображений для картографических WEB интерфейсов. В настоящее время пользователям ЦКП «ИКИ-Мониторинг» обеспечивается доступ к архивам данных ДЗЗ, суммарный объем которых превышает 5 петабайт, при этом ежесуточно в архивы центра поступает более 3 Тб новых данных.
Для обеспечения бесперебойного функционирования программно-аппаратного комплекса ЦКП «ИКИ-Мониторинг» был реализован целый ряд программных решений [3,4,5,6], позволяющих автоматически выявлять большую часть возникающих в его работе сбоев и ошибок, оперативно оповещать о них персонал и отслеживать процесс их устранения. В частности, обеспечивается контроль за своевременным поступлением различных типов спутниковых данных в архивы, контроль за работой всех аппаратных компонент и контроль работы ключевых сервисов для доступа к данным. При этом все реализованные программные инструменты объединены в единую систему документирования и контроля проектов (СДКП) [3,4], которая позволяет комплексно решать вышеописанные задачи, а также отдельно контролировать работу специализированных информационных систем, создаваемых в рамках конкретных проектов.
Доклад посвящен рассмотрению основных задач по обеспечению бесперебойного функционирования сложного распределенного программно-аппаратного комплекса, которые актуальны не только для ЦКП «ИКИ-Мониторинг», но для других сложных систем подобного назначения. В нем также приводятся краткие сведения о современных возможностях основных инструментов контроля и управления, реализованных в отделе «Технологии спутникового мониторинга» ИКИ РАН, а также перспективы их дальнейшего развития.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1,2].

Ключевые слова: системы доступа к спутниковым данным, контроль функционирования, архивы спутниковых данных, обработка спутниковых данных
Литература:
  1. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.
  2. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
  3. Мамаев А.С., Прошин А.А., Флитман Е.В. Создание системы документирования и контроля распределенных информационных систем // Современные проблемы дистанционного зондирования Земли из космоса. 2008. Выпуск 5. Т. 2. С. 557–560
  4. Балашов И.В., Ефремов В.Ю., Мазуров -мл. А.А., Мамаев А.С., Матвеев А.М., Прошин А.А. Особенности организации контроля и управления распределенных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 3. С. 161-166.
  5. Кобец Д.А., Матвеев А.М., Прошин А.А., Мазуров А.А. Контроль работоспособности и управление распределенными комплексами автоматической потоковой обработки спутниковых данных // Материалы пятой международной научно-технической конференции "Актуальные проблемы создания космических систем дистанционного зондирования Земли". Вопросы электромеханики. Труды ВНИИЭМ, 2018. С. 225-234.
  6. Кобец Д.А., Балашов И.В., Сычугов И.Г., Толпин В.А. Организация контроля и анализа работоспособности систем автоматизированной обработки спутниковых данных с использованием BI-технологий // Современные проблемы дистанционного зондирования Земли из космоса. 2017. Т. 14. № 3. С. 92-103. DOI: 10.21046/2070-7401-2017-14-3-92-103.

Презентация доклада



Ссылка для цитирования: Прошин А.А., Бурцев М.А., Сычугов И.Г., Кобец Д.А. Система контроля функционирования сложных распределенных программно-аппаратных комплексов, обеспечивающих доступ к данным ДЗЗ и результатам их обработки // Материалы 19-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2021. C. 51. DOI 10.21046/19DZZconf-2021a

Методы и алгоритмы обработки спутниковых данных

51