Поддержка бесперебойной работы сложных распределенных систем сбора, обработки, архивации и доступа к спутниковым данным.

Доклад посвящен анализу решения основных задач по обеспечению бесперебойного функционирования сложных распределенных систем для сбора, обработки, архивации и доступа к спутниковым данным, разрабатываемых в ИКИ РАН в отделе «Технологии спутникового мониторинга». В то же время схожие задачи и подходы к их решению характерны и для других систем подобной функциональности. Рассматриваемые информационные системы представляют из себя сложные программно-аппаратные комплексы, в работе которых участвуют многие десятки компьютеров различного назначения, функционирующих в автоматизированном режиме. Для обеспечения бесперебойной работы таких систем нами были разработаны специальные технологии и соответствующее им программное обеспечение. Однако с ростом числа одновременно поддерживаемых систем и их сложности у нас возникла необходимость ревизии используемых нами подходов и программного обеспечения. При этом ставится не только задача обеспечения бесперебойной работы системы, но и задача повышения качества ее функционирования, что может быть достигнуто за счет более оптимального использования имеющихся ресурсов и устранения «узких» мест в ее реализации. Для этого кроме собственно инструментов контроля должны быть также реализованы специальные программные средства для анализа работы различных компонент системы.
В докладе приводится разработанная в ИКИ РАН общая архитектура построения информационных систем доступа к спутниковым данным и кратко описываются ее основные подсистемы: подсистема сбора и подготовки данных, подсистема обработки данных, подсистема архивации данных и подсистема доступа к данным. Затем рассматриваются выработанные нами общие подходы к обеспечению бесперебойной работы сложной распределенной информационной системы (Балашов и др., 2011; Балашов и др., 2010, Ефремов и др. 2004). Для решения рассматриваемых задач в ИКИ РАН была разработана Система Документирования и Контроля Проектов (СДКП), которая объединяет основные инструменты, используемые нами для контроля за функционированием информационных систем, разрабатываемых в рамках различных проектов. Ключевым элементом СДКП является система ведения сбоев, обеспечивающая автоматическое детектирование широкого спектра сбоев и ошибок в работе информационных систем и позволяющая отслеживать процесс их устранения.
Далее в докладе для каждой из вышеперечисленных подсистем проводится анализ специфических для нее задач по обеспечению бесперебойной и качественной работы и производится ревизия имеющихся у нас программных средств, разработанных для их решения. На ее основании этой ревизии делаются выводы о необходимости модернизации существующих программных блоков и разработки недостающих. Отдельное внимание в докладе уделено реализованным в последнее время программным интерфейсам, предназначенным для управления и контроля, которые также могут быть использованы для анализа и оптимизации работы различных подсистем программно-аппаратного комплекса: подсистеме мониторинга файловых серверов и блоку контроля и анализа работоспособности систем автоматизированной обработки спутниковых данных, реализованному с использованием BI-технологий (Кобец и др., 2017).
Работа выполнена при поддержке ФАНО (тема «Мониторинг», госрегистрация №01.20.0.2.00164).