Материалы 18-й Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса»
Москва, ИКИ РАН, 16–20 ноября 2020 г.

(http://conf.rse.geosmis.ru)

XVIII.B.510

Использование облачных ресурсов Google Cloud Storage и их интеграция с ресурсами ЦКП "ИКИ-Мониторинг"

Балашов И.В. (1), Бурцев М.А. (1), Прошин А.А. (1), Лебединская Д.И. (1)
(1) Институт космических исследований РАН, Москва, Россия
На сегодня всё большее значение при работе со сверхбольшими архивами данных приобретают облачные решения с поддержкой объектных протоколов хранения и доступа семейства S3. Раньше подобные решения обеспечивали только распределённое хранение, но были достаточно неудобны для организации прямого доступа к данным в сочетании с онлайн-анализом и обработкой [1]. Сейчас же, благодаря адаптации форматов хранения спутниковых данных под облачные решения (например, см. Cloud-optimized GeoTIFF), а также развитию библиотек работы с данными, таких как GDAL, стало возможным использовать объектные облачные хранилища с тем же уровнем удобства и гибкости, что и традиционные средства хранения. Кроме того, на текущий момент существует несколько открытых источников данных ДЗЗ, развёрнутых такими компаниями, Как Google и Amazon, обеспечивающими доступ к огромным, многопетабайтным массивам информации, которые невозможно получить для локального доступа.
В докладе рассматривается задача интеграции таких хранилищ с действующими ресурсами ЦКП «ИКИ-Мониторинг» [2] для обеспечения прозрачной работы с данными, хранимыми в облаке, без потери функционала обработки и анализа. Для первого этапа работы был выбран открытый ресурс с данными КА серии Landsat на Google Cloud Storage (GCS). В работе дана общая архитектура полученного решения, рассмотрены и решены задачи получения и обновления метаданных из каталога GCS, их усвоения в каталоги ЦКП «ИКИ-Мониторинг», отображения данных GCS в информационных системах на базе ЦКП, приведены использованные технические решения.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014). Как основа для выполнения работ были использованы результаты различных научных проектов, в том числе проекта РФФИ 11-07-12026-офи-м-2011.

Ключевые слова: Облачное хранение, ЦКП "ИКИ-Мониторинг", Сверхбольшие архивы данных
Литература:
  1. Сорокин А.А., Прошин А.А., Королев С.П., Бурцев М.А., Мальковский С.И., Лупян Е.А., Смагин С.И. Анализ возможностей облачных технологий для распределённого хранения и обработки данных дистанционных наблюдений с целью мониторинга состояния окружающей среды // Четырнадцатая всероссийская открытая конференция "Современные проблемы дистанционного зондирования Земли из космоса". Москва. ИКИ РАН, 14-18 ноября 2016.Тезисы докладов, 2016. С. 122.
  2. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.

Презентация доклада



Ссылка для цитирования: Балашов И.В., Бурцев М.А., Прошин А.А., Лебединская Д.И. Использование облачных ресурсов Google Cloud Storage и их интеграция с ресурсами ЦКП "ИКИ-Мониторинг" // Материалы 18-й Всероссийской открытой конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2020. C. 65. DOI 10.21046/18DZZconf-2020a

Технологии и методы использования спутниковых данных в системах мониторинга

65