Войти на сайт
МЕЖДУНАРОДНЫЕ ЕЖЕГОДНЫЕ КОНФЕРЕНЦИИ
"СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА"
(Физические основы, методы и технологии мониторинга окружающей среды, природных и антропогенных объектов)

Двенадцатая Всероссийская открытая конференция "Современные проблемы дистанционного зондирования Земли из космоса"

XII.B.477

hVault: технология доступа к архиву спутниковых данных

Кихтенко В. А., Чубаров Д. Л., Смирнов В. В.
Институт вычислительных технологий СО РАН
В докладе представлен опыт применения новой технологии доступа к большому архиву спутниковых данных, основанному на интеграции с реляционной базой данных. Данная технология реализует прозрачное отображение файлового архива спутниковых снимков в виртуальные таблицы базы данных. С помощью hVault становится возможным выполнение произвольных запросов к данным на языке SQL, при этом планировщик запросов оптимизирует их выполнение на основе доступных метаданных, а применяемые для выполнения вычислений алгоритмы предусматривают работу со сверхбольшими объемами информации. Все вместе это значительно упрощает создание программного обеспечения для работы со снимками.

Описанная технология применяется в ИВТ СО РАН для информационной и вычислительной поддержки тематических исследований с использованием ДДЗ. hVault является вычислительным ядром и обеспечивает абстракцию от конкретных форматов и физического расположения данных. На её основе построен ряд исследовательских программ, а также WMS сервер, предоставляющий доступ ко всему архиву по стандартизированному протоколу. Особенностью этого WMS сервера является поддержка произвольных SQL запросов к системе, что позволяет реализовать обработку любой сложности на стороне сервера, при этом вычисления производятся по запросу клиента, а результат кэшируется.

Система доступа к данным на основе hVault полностью интегрирована с системой оперативной потоковой обработки спутниковых снимков, что обеспечивает пополнение базы данных всем спектром предоставляемых продуктов в течении 15 минут после приема. Общий объем доступных данных приближается к 200Тб и включает в себя продукты высоких уровней обработки MODIS, AIRS и NPP, снимки Landsat 7 и 8, а также метеорологические данные GDAS.

При разработке данной технологии использовалось исключительно свободное программное обеспечение с открытым исходным кодом, а именно: база данных PostgreSQL с пространственными расширениями PostGIS, библиотеки HDF и GDAL. WMS сервер написан на языке Go, а для разработки исследовательского ПО активно используется интерактивная среда iPython.

Технологии и методы использования спутниковых данных в системах мониторинга

117