Использование облачных ресурсов Google Cloud Storage и их интеграция с ресурсами ЦКП "ИКИ-Мониторинг"

На сегодня всё большее значение при работе со сверхбольшими архивами данных приобретают облачные решения с поддержкой объектных протоколов хранения и доступа семейства S3. Раньше подобные решения обеспечивали только распределённое хранение, но были достаточно неудобны для организации прямого доступа к данным в сочетании с онлайн-анализом и обработкой [1]. Сейчас же, благодаря адаптации форматов хранения спутниковых данных под облачные решения (например, см. Cloud-optimized GeoTIFF), а также развитию библиотек работы с данными, таких как GDAL, стало возможным использовать объектные облачные хранилища с тем же уровнем удобства и гибкости, что и традиционные средства хранения. Кроме того, на текущий момент существует несколько открытых источников данных ДЗЗ, развёрнутых такими компаниями, Как Google и Amazon, обеспечивающими доступ к огромным, многопетабайтным массивам информации, которые невозможно получить для локального доступа.
В докладе рассматривается задача интеграции таких хранилищ с действующими ресурсами ЦКП «ИКИ-Мониторинг» [2] для обеспечения прозрачной работы с данными, хранимыми в облаке, без потери функционала обработки и анализа. Для первого этапа работы был выбран открытый ресурс с данными КА серии Landsat на Google Cloud Storage (GCS). В работе дана общая архитектура полученного решения, рассмотрены и решены задачи получения и обновления метаданных из каталога GCS, их усвоения в каталоги ЦКП «ИКИ-Мониторинг», отображения данных GCS в информационных системах на базе ЦКП, приведены использованные технические решения.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014). Как основа для выполнения работ были использованы результаты различных научных проектов, в том числе проекта РФФИ 11-07-12026-офи-м-2011.