Технологии потоковой обработки данных ДЗЗ геоинформационного сервиса «Банк Базовых Продуктов»

Геоинформационный сервис «Банк базовых продуктов» (Марков и др., 2015) предназначен для обеспечения федеральных и региональных органов исполнительной власти Российской Федерации информационными продуктами, формируемыми, в первую очередь, по данным российских космических систем дистанционного зондирования Земли (КС ДЗЗ).
В данной работе рассматриваются технологии потоковой обработки данных ДЗЗ в части обеспечения сервиса исходной информацией, а также распределенного выполнения заявок потребителей по формированию информационных продуктов.
Технология потокового наполнения архива сервиса реализуется взаимодействием с НКПОР Оператора КС ДЗЗ посредством буферов обмена. Для данных КМСС КА «Метеор-М» уровня 1B CEOS реализована обработка до уровня 1C CEOS в многопоточном режиме, при этом каждый поток обрабатывает соответствующий фрагмент маршрута. Данные МСС КА «Канопус-В» уровня 1D CEOS обрабатываются путем фрагментирования маршрута на кадры и конвертации в требуемый формат представления данных. Данные ШМСА-ВР КА «Ресурс-П» уровня обработки 0 CEOS обрабатываются до уровня 1C CEOS с использованием технологий параллельной обработки GPGPU (OpenCL, CUDA).
Посредством веб-интерфейсов сервиса пользователи реализуют выбор сцен в каталоге и формирование заказа на создание информационных продуктов. В ходе выполнения заказов пользователей реализуется распределенная обработка данных на основе программной модели Map-Reduce. В зависимости от специфики заказа разработаны два технологических контура: 1) одноэтапный контур доступа к данным; 2) трёхэтапный контур формирования БП. Контур доступа к данным реализует выгрузку данных из архива и обрезку области интереса по shp-файлу потребителя. Контур формирования БП включает следующую модель: 1) подготовка данных (выгрузка из архива и каталога вспомогательной информации); 2) формирование БП; 3) формирование пакета заказа потребителя.
Выполнена оценка производительности технологий потоковой обра-ботки и загрузки данных ДЗЗ в систему хранения сервиса: 1) для данных КМСС обеспечивается скорость около 150 ГБ/сут, при этом в сутки в систему поступает в среднем 75ГБ (пиковые объемы 140ГБ); 2) для данных ПСС/МСС «Канопус-В» около 500ГБ/сут, при этом в сутки в систему поступает в среднем 150ГБ (пиковые объемы 400ГБ); 3) для данных ШМСА-ВР около 250ГБ/сут.
В ходе тестирования производительности сервиса удалось оценить среднее время выполнения заказов, в частности, при формировании NDVI для данных КМСС КА «Метеор-М» среднее время выполнения заказа не превышает 7 минут для 5 сцен в заказе.