Комплекс автоматической потоковой обработки информации (далее -АПОИ), разработанный коллективом специалистов АО «НИИ ТП», функционирует в составе федерального фонда данных дистанционного зондирования Земли (далее - ФФД ДЗЗ). В октябре 2021 года комплекс АПОИ введен в штатную эксплуатацию в контуре Оператора КС ДЗЗ и осуществляет полностью в автоматическом режиме обработку всех заявок российских потребителей в рамках эксплуатации ФФД ДЗЗ, обеспечивая, в том числе заявки федеральных и региональных органов государственной власти.
В докладе рассматриваются результаты работы комплекса АПОИ в период опытной эксплуатации с октября 2020 года по март 2021 года, а также в ходе штатной эксплуатации за первое полугодие 2022 года, в том числе пиковые характеристики комплекса при максимальной нагрузке. Комплекс АПОИ установлен и функционирует на вычислительном кластере, состоящем из 10 серверов без графических процессоров GPU (CPU 2x Intel Xeon Gold 6144 3.50 ГГц, RAM 512 MB, HDD 12x8 TB) и размещенном в центре обработки данных (ЦОД).
Комплекс АПОИ позволяет выполнять первичную (распаковку сеансов сброса до продуктов архивного уровня хранения) и стандартную обработку (вплоть до ортокорректированных продуктов). Комплекс способен обрабатывать панхроматические (ПАН) и мультиспектральные (МС) данные съемочных систем ГЕОТОН, ШМСА с КА серии «Ресурс-П», данные панхроматической камеры (ПСС) и мультиспектральной (МСС) камеры КА серии «Канопус-В», данные съемочных систем КМСС и МСУ-МР КА серии «Метеор-М». Комплекс автоматически формирует продукты уровней обработки L0 (архивные), L1 (геопривязанные в системе координат сенсора), L2 (ортокорректированные в картографической проекции), включая продукты типа BUNDLE (геометрически совмещенная пара ПАН и МС) и PANSHARP (повышенного пространственного разрешения).
В феврале 2020 года АО «НИИ ТП» впервые в отечественной практике отработал технологию автоматической обработки и оперативной выдачи потребителям продуктов ДЗЗ по запросам регионального масштаба. Была проведена экспериментальная апробация комплекса АПОИ в обработке продуктов ДЗЗ по десяти пилотным регионам РФ. За 15 суток задействования комплекса АПОИ было обработано 28 474 продуктов ДЗЗ (сцен, условных кадров). Площадь сформированных продуктов составила 17 млн.кв.км.
За 6 месяцев опытной эксплуатации комплекса АПОИ Оператором КС ДЗЗ по обработке архивной информации ДЗЗ по заявкам отраслевых и региональных потребителей (с октября 2020 по март 2021) в автоматическом режиме создано 122 960 продуктов. Кроме этого, совместно с обработкой архивных данных происходила первичная и стандартная обработка оперативных сеансов съемки. Среднее количество обработанных в месяц сеансов - 210 (маршрутов - 555). Средняя загрузка кластера из 10 серверов за указанный период не превышала 15%.
В рамках эксплуатации ФФД ДЗЗ в первом полугодии 2022 года (в период с 01.01.2022 по 30.06.2022) согласно статистики обработки данных комплексом АПОИ было обработано 18 404 задания на создание различных продуктов ДЗЗ в интересах потребителей ФФД ДЗЗ, при этом было обработано 11 116 уникальных архивных маршрутов и создано 130 896 продуктов (сцен) общим объемом более 100 ТБ. Важно отметить, что средняя загрузка кластера за полгода не превышает 10%.
Отдельно стоит отметить, что доля заказа продуктов BUNDLE и PANSHARP составляет подавляющие 78%. Т.е. с введением в эксплуатацию комплекса АПОИ, впервые обеспечившего возможность полностью автоматической (без участия оператора) обработки данных, основные заказы приходятся именно на продукты PANSHARP, (которые ранее требовали нескольких суток и трудоемких усилий оператора по их созданию в ручном режиме), и продуктов BUNDLE (новый тип продукта, который ранее не создавался и не поставлялся потребителям).
Пиковая производительность комплекса АПОИ оценивалась по периоду максимальной нагрузки с точки зрения потока заявок потребителей (период 5 суток с 16.05.2022 по 20.05.2022 при средней загрузке комплекса в 95%). Среднее количество обработанных маршрутов в сутки - 359 (эквивалентно
4-м минутам на маршрут; среднее количество продуктов(сцен) в сутки - 3346 продуктов (эквивалентно 25-ти секундам на продукт); средняя площадь обработанной территории в сутки -1,5 млн.кв.км; средний объем созданной продукции в сутки - 3-7 ТБ (в зависимости от типа КА).
Существенное улучшение качества геопривязки продуктов ДЗЗ и сведения спектральных каналов в процессе наземной обработки информации комплексом АПОИ обеспечивается за счет алгоритма уточнения бортовых параметров ориентации и навигации КА, выполняемого в автоматическом режиме с использованием опорного покрытия. Согласно статистическим данным за 6 месяцев эксплуатации АПОИ в составе ФФД ДЗЗ при обработке более чем 11 тысяч маршрутов автоматический алгоритм коррекции геопривязки успешно отработал для 99.3%, (из них геопривязка не улучшилась лишь для 0.2% маршрутов, еще 0.5% маршрутов содержали сплошную облачность, воду, лед, т.е. были некондиционными с точки зрения потребителя информации). Сама коррекция геопривязки данных приводила к улучшению точности в среднем на один-два порядка. Так, для данных с КА «Ресурс-П»
№ 2, 3 средняя точность геопривязки по бортовым данным (до коррекции) составляет 23,6 м, после коррекции с использованием опоры - 4,4м; для данных с КА «Канопус-В» № 3, 4, 5, 6, ИК средняя точность геопривязки по бортовым данным (до коррекции) составляет 62,3 м, после коррекции с использованием опоры - 5,7м.
Также в докладе приводится статистика работы алгоритма автоматической коррекции геопривязки комплекса АПОИ. Две пары диаграмм показывают исходную геопривязку по бортовым данным и результат
после коррекции для данных КА «Ресурс-П» № 2, 3 и КА «Канопус-В» № 3, 4, 5, 6, ИК.
Комплекс АПОИ успешно функционирует в составе ФФД ДЗЗ, работая полностью в автоматическом режиме и демонстрируя высокую скорость обработки. Реализованные в АПОИ алгоритмы обработки позволили компенсировать основные проблемы бортовых систем КА, за счет чего наблюдается существенное улучшение качества геопривязки информационных продуктов и качество сведения спектральных каналов.
В комплексе АПОИ унифицирована обработка данных с различной съемочной аппаратуры и различных КА на едином наборе технических средств (вычислительном кластере), при этом платформенная реализация комплекса АПОИ позволяет легко модернизировать его под обработку новых типов данных, в том числе и радиолокационных, а также масштабировать его под большие потоки данных с многоспутниковых орбитальных группировок (ОГ).
Два года фактической эксплуатации комплекса АПОИ у Оператора КС ДЗЗ (опытная эксплуатация в рамках ЕТРИС и штатная эксплуатация в рамках ФФД ДЗЗ) подтверждают правильность выбранных технологических решений и вектора будущего развития наземного сегмента отечественной ОГ ДЗЗ, а информационная система «Цифровая Земля», создаваемая на базе вышеуказанных технологий АПОИ, позволит в ближайшее время вывести отечественный наземный сегмент ДЗЗ на новый технологический уровень, соответствующий мировым лидерам (Maxar, Planet, Airbus).