Построение инструментов онлайн-анализа временных серий данных сверхбольших распределенных архивов

Постоянный рост количества космических аппаратов, увеличение объемов и качества формируемых по их данным информационных продуктов является характерным следствием стремительного развития средств ДЗЗ в последние десятилетия. Одним из примеров сверхбольших архивов, накопленных в результате регулярного сбора информации ДЗЗ из различных источников является ЦКП «ИКИ-Мониторинг» (Лупян и др, 2019). Архивы ЦКП в настоящее время покрывают данными всю территории РФ и сопредельных государств, при этом протяженность истории наблюдений отдельными продуктами составляет более 30 лет.
Опыт построения и эксплуатации сервисов для работы с данными ЦКП «ИКИ Мониторинг» показал востребованность и эффективность при решении отдельных задач мониторинга инструмента анализа данных, представляющих протяженные серии из большого количества элементов данных в виде графиков. Однако, существующие в настоящее время инструменты анализа спутниковых данных ориентированы на работу либо с отдельными наблюдениями (фрагментами спутниковой съемки или композитами) или данными протяженных наблюдений, учтенных в границах объектов мониторинга в офлайн-режиме (Константинова и др., 2021). Существующие инструменты, таким образом, не позволяют пользователям эффективно получать в онлайн-режиме ряды наблюдений в интересующих их точках на территории, покрытой данными архивов.
В настоящей статье проводится обзор требований к инструментам, позволяющим проводить онлайн-анализ временных серий по данным сверхбольших распределенных архивов. Описываются решения, принятые при разработке специализированных сервисов и инструментов, ориентированных на быструю обработку запросов пользователей и формирование рядов данных, включая их визуализацию, позволяющих «на лету» получать и анализировать значения необходимых продуктов по любой точке поверхности в границах покрытия архивов. Отдельно обсуждаются аспекты оптимизации, необходимые для быстрого извлечения массивов данных (временных серий) из сверхбольших распределенных архивов спутниковых данных. В заключении статьи приводятся примеры использования возможностей созданных инструментов для анализа разновременных наблюдений геостационарных аппаратов и многолетних данных вегетационных индексов.
Работы по созданию инструментов выполняются в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (http://ckp.geosmis.ru/).