Практические результаты эксплуатации автоматической​ технологии обработки данных —​ качественно новые возможности и перспективы​ для​ функционирования Фонда данных ДЗЗ и создаваемой​ информационной системы​ «Цифровая Земля»

В докладе рассматриваются практические результаты опытной эксплуатации созданного специалистами АО “НИИ ТП” перспективного программного комплекса автоматической потоковой обработки информации (АПОИ). Представленные результаты и статистика основаны на обработке тысяч реальных маршрутов съемки, полученных с КА ДЗЗ “Ресурс-П” № 1 / 2 / 3 и КА “Канопус-В” № 1 / 3 / 4 / 5 / 6 / ИК.
При создании комплекса АПОИ стояли следующие задачи:
- полностью автоматическая первичная и стандартная обработка без участия оператора;
- очень быстрая (высокопроизводительная) обработка в течении нескольких минут, а не часов или суток;
- качественная обработка даже при наличии недостатков в работе бортовой аппаратуры;
- единая (унифицированная) обработка данных ДЗЗ всей группировки отечественных КА;
- единые форматы представления продуктов ДЗЗ, единые уровни обработки и метаданные продуктов;
- масштабируемость под большие потоки данных с перспективой на группировки из десятков и сотен КА;
- низкие затраты на модернизацию и эксплуатацию комплекса;
В ходе разработки были использованы современные алгоритмические и технологические подходы, позволяющие исключить задействование оператора даже в случае некорректности входных данных; распределенная обработка на вычислительном кластере; унификация процессов обработки и программных средств; использование открытых стандартов метаданных и новой номенклатуры уровней обработки, унифицированных для всей группировки российских КА; модульная архитектура и платформенный подход при создании программного обеспечения.
Комплекс развернут и функционирует на вычислительном кластере, состоящем из 10 серверов со следующими характеристиками: CPU 2x Intel Xeon Gold 6144 3.50 ГГц, RAM 256 ГБ, HDD 12x 8 ТБ. Данный вычислительный кластер установлен в ЦОД у оператора КС ДЗЗ, а работа с комплексом АПОИ осуществляется с удаленных рабочих мест (тонких клиентов).
Комплекс АПОИ позволяет выполнять первичную (распаковку сеансов сброса до продуктов архивного уровня хранения) и стандартную обработку (вплоть до ортокорретированных продуктов). Комплекс способен обрабатывать панхроматические (ПАН) и мультиспектральные (МС) данные съемочной системы ГЕОТОН с КА “Ресурс-П”, данные панхроматической камеры (ПСС) и мультиспектральной (МСС) камеры КА “Канопус-В”, данные съемочных систем КМСС и МСУ-МР КА “Метеор-М”. Комплекс автоматически формирует продукты уровней обработки 0, 1, 2, включая продукты “BUNDLE” и “PANSHARP”. В состав выходных информационных продуктов входят следующие основные данные: изображение продукта (.TIF/.JP2), обзорное изображение (.JPG), метаданные продукта (.XML), геоконтур продукта (.SHP/.JSON), маска облачности (.GML/.KML), параметры проекции (.PRJ), геопривязка в виде RPC коэффициентов (.RPB/.TXT).
Временные характеристики обработки комплексом информации ДЗЗ следующие: распаковка всех маршрутов съемки одного сеанса сброса (RAW) до продуктов архивного уровня 0 - менее 2 минут; обработка одного условного кадра (квадратная сцена) от уровня 0 до уровня 2 (орто-продукт) - менее 1 минуты; распаковка одного сеанса сброса и обработка всех маршрутов съемки данного сеанса до продуктов уровня 2 и выгрузки в геопортал – менее 20 минут.
В феврале 2020 года АО “НИИ ТП” совместно с АО “ТерраТех” провел экспериментальную апробацию комплекса АПОИ при обработке продуктов ДЗЗ по десяти пилотным регионам РФ для задач обеспечения данных регионов сервисами на основе данных ДЗЗ. В рамках данной отработки была выполнена обработка более чем 2500 маршрутов съемки с КА “Ресурс-П” и КА “Канопус-В” по следующим регионам РФ: Тверская обл., Кемеровская обл., Республика Татарстан, Самарская обл., Красноярский край, Приморский край, Свердловская обл., Республика Крым. За 15 суток задействования комплекса АПОИ было обработано 28 474 сцен (условных кадров) продуктов ДЗЗ объемом около 40 ТБ . Общая площадь сформированных продуктов ДЗЗ составила около 17 млн. кв. км. Таким образом, впервые в отечественной практике отработана технология автоматической обработки и оперативной выдачи потребителю продуктов ДЗЗ по запросам регионального масштаба.
28 сентября 2020 года АО “НИИ ТП” совместно с НЦОМЗ АО “Российские космические системы” начал опытную эксплуатацию комплекса АПОИ по обработке архивной информации ДЗЗ по заявкам реальных и отраслевых и региональных потребителей. В течение месяца было обработано 42 618 сцен (условных кадров) продуктов ДЗЗ общей площадью около 19 млн. кв. км. При этом средняя загрузка комплекса была зафиксирована на уровне 15%. Таким образом. расчетная производительность комплекса АПОИ в текущей конфигурации на 10 серверах составляет 300 тыс. сцен продукции ДЗЗ общей площадью 125 млн. кв. км. в месяц.
Полученные результаты подтверждают правильность выбранных технических решений, а созданный задел позволяет выйти на качественно новый уровень автоматизации при эксплуатации Федерального Фонда Данных ДЗЗ и открывает самые широкие перспективы при создании информационной системы​ «Цифровая Земля».