Войти на сайт
МЕЖДУНАРОДНЫЕ ЕЖЕГОДНЫЕ КОНФЕРЕНЦИИ
"СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА"
(Физические основы, методы и технологии мониторинга окружающей среды, природных и антропогенных объектов)

Пятнадцатая Всероссийская открытая конференция "Современные проблемы дистанционного зондирования Земли из космоса"

XV.Z.233

Технологии потоковой обработки данных ДЗЗ геоинформационного сервиса «Банк Базовых Продуктов»

Марков А.Н. (1), Васильев А.И. (1), Ольшевский Н.А. (1), Крылов А.В. (1), Салимонов Б.Б. (1), Синяев П.А. (1), Михаленков Р.А. (1), Евлашкин М.А. (1), Степанова Д.А. (1), Коршунов А.П. (1), Пестряков А.А. (1)
(1) НЦ ОМЗ АО "Российские космические системы", Москва, Россия
Геоинформационный сервис «Банк базовых продуктов» (Марков и др., 2015) предназначен для обеспечения федеральных и региональных органов исполнительной власти Российской Федерации информационными продуктами, формируемыми, в первую очередь, по данным российских космических систем дистанционного зондирования Земли (КС ДЗЗ).
В данной работе рассматриваются технологии потоковой обработки данных ДЗЗ в части обеспечения сервиса исходной информацией, а также распределенного выполнения заявок потребителей по формированию информационных продуктов.
Технология потокового наполнения архива сервиса реализуется взаимодействием с НКПОР Оператора КС ДЗЗ посредством буферов обмена. Для данных КМСС КА «Метеор-М» уровня 1B CEOS реализована обработка до уровня 1C CEOS в многопоточном режиме, при этом каждый поток обрабатывает соответствующий фрагмент маршрута. Данные МСС КА «Канопус-В» уровня 1D CEOS обрабатываются путем фрагментирования маршрута на кадры и конвертации в требуемый формат представления данных. Данные ШМСА-ВР КА «Ресурс-П» уровня обработки 0 CEOS обрабатываются до уровня 1C CEOS с использованием технологий параллельной обработки GPGPU (OpenCL, CUDA).
Посредством веб-интерфейсов сервиса пользователи реализуют выбор сцен в каталоге и формирование заказа на создание информационных продуктов. В ходе выполнения заказов пользователей реализуется распределенная обработка данных на основе программной модели Map-Reduce. В зависимости от специфики заказа разработаны два технологических контура: 1) одноэтапный контур доступа к данным; 2) трёхэтапный контур формирования БП. Контур доступа к данным реализует выгрузку данных из архива и обрезку области интереса по shp-файлу потребителя. Контур формирования БП включает следующую модель: 1) подготовка данных (выгрузка из архива и каталога вспомогательной информации); 2) формирование БП; 3) формирование пакета заказа потребителя.
Выполнена оценка производительности технологий потоковой обра-ботки и загрузки данных ДЗЗ в систему хранения сервиса: 1) для данных КМСС обеспечивается скорость около 150 ГБ/сут, при этом в сутки в систему поступает в среднем 75ГБ (пиковые объемы 140ГБ); 2) для данных ПСС/МСС «Канопус-В» около 500ГБ/сут, при этом в сутки в систему поступает в среднем 150ГБ (пиковые объемы 400ГБ); 3) для данных ШМСА-ВР около 250ГБ/сут.
В ходе тестирования производительности сервиса удалось оценить среднее время выполнения заказов, в частности, при формировании NDVI для данных КМСС КА «Метеор-М» среднее время выполнения заказа не превышает 7 минут для 5 сцен в заказе.

Ключевые слова: банк базовых продуктов
Литература:
  1. Литература:
  2. Марков А.Н., Васильев А.И., Ольшевский Н.А., Коршунов А.П., Михаленков Р.А., Салимонов Б.Б., Стремов А.С. Архитектура геоинформационного сервиса «Банк базовых продуктов» // Современные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 5. С. 39–51.

Заседание в АО «Российские космические системы»: «Российская система спутниковых наблюдений и технологий: состояние и перспективы развития»

454