hVault: технология доступа к архиву спутниковых данных

В докладе представлен опыт применения новой технологии доступа к большому архиву спутниковых данных, основанному на интеграции с реляционной базой данных. Данная технология реализует прозрачное отображение файлового архива спутниковых снимков в виртуальные таблицы базы данных. С помощью hVault становится возможным выполнение произвольных запросов к данным на языке SQL, при этом планировщик запросов оптимизирует их выполнение на основе доступных метаданных, а применяемые для выполнения вычислений алгоритмы предусматривают работу со сверхбольшими объемами информации. Все вместе это значительно упрощает создание программного обеспечения для работы со снимками.

Описанная технология применяется в ИВТ СО РАН для информационной и вычислительной поддержки тематических исследований с использованием ДДЗ. hVault является вычислительным ядром и обеспечивает абстракцию от конкретных форматов и физического расположения данных. На её основе построен ряд исследовательских программ, а также WMS сервер, предоставляющий доступ ко всему архиву по стандартизированному протоколу. Особенностью этого WMS сервера является поддержка произвольных SQL запросов к системе, что позволяет реализовать обработку любой сложности на стороне сервера, при этом вычисления производятся по запросу клиента, а результат кэшируется.

Система доступа к данным на основе hVault полностью интегрирована с системой оперативной потоковой обработки спутниковых снимков, что обеспечивает пополнение базы данных всем спектром предоставляемых продуктов в течении 15 минут после приема. Общий объем доступных данных приближается к 200Тб и включает в себя продукты высоких уровней обработки MODIS, AIRS и NPP, снимки Landsat 7 и 8, а также метеорологические данные GDAS.

При разработке данной технологии использовалось исключительно свободное программное обеспечение с открытым исходным кодом, а именно: база данных PostgreSQL с пространственными расширениями PostGIS, библиотеки HDF и GDAL. WMS сервер написан на языке Go, а для разработки исследовательского ПО активно используется интерактивная среда iPython.