Материалы 20-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса»
Москва, ИКИ РАН, 14–18 ноября 2022 г.

(http://conf.rse.geosmis.ru)

XX.B.371

Организация распределенных файловых хранилищ для ведения сверхбольших архивов спутниковых данных ДЗЗ

Прошин А.А. (1), Бурцев М.А. (1), Радченко М.В. (1)
(1) Институт космических исследований РАН, Москва, Россия
Ускоренное развитие систем спутникового дистанционного зондирования Земли в последние десятилетия привело к взрывному росту объемов спутниковых данных, получаемых с большого числа различных приборов наблюдения. Расширяется область применения данных дистанционного зондирования Земли, которые в настоящее время широко используются для решения самых разных исследовательских и прикладных задач, связанных с мониторингом природной среды и антропогенных объектов. Это привело к существенному возрастанию требований к функционалу информационных систем доступа к спутниковым данным, а в первую очередь, к возможностям, которые они предоставляют по анализу и обработке спутниковых наблюдений. В соответствии с этими новыми требованиями в 2012 году был создан центр коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений ИКИ РАН для решения задач изучения и мониторинга окружающей среды «ЦКП ИКИ-Мониторинг» [1] (http://ckp.geosmis.ru/). Ключевым элементом этого сложного программно-аппаратного комплекса является система ведения сверхбольших распределенных архивов спутниковых данных, которая обеспечивает не только архивацию и хранение больших массивов разнородных спутниковых данных, но и поддержку сервисов для их обработки и анализа. На текущий момент эта система обеспечивает доступ к архивам спутниковых данных, суммарный объем которых приближается к 6 петабайтам, при этом в сутки в архивы поступает около 3 терабайт новых данных.
Система ведения архивов спутниковых данных ЦКП «ИКИ-Мониторинг» реализована на базе унифицированной технологии ведения сверхбольших распределенных архивов разнородных спутниковых данных UNISAT [2]. В рамках использования этой технологии метаданные, т.е. информация об имеющихся в архивах данных и их атрибуты сохраняются в специализированные базы данных, а сами файлы данных помещаются в распределенное файловое хранилище, состоящее из UNIX серверов и специализированных систем хранения (NAS), объединенных в единое логическое пространство при помощи протокола NFS. На текущий момент в центральном информационном узле ЦКП «ИКИ-Мониторинг» задействовано более 30 серверов и специализированных систем хранения данных. Доклад посвящен описанию схемы организации распределенных файловых хранилищ, построенных по технологии UNISAT, а также используемых для их бесперебойного функционирования программных компонент.
Работы по развитию технологий ведения сверхбольших архивов спутниковых данных с 2019 года выполняются в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (http://ckp.geosmis.ru/).

Ключевые слова: Архивы спутниковых данных ДЗЗ, информационные системы, распределенные архивы, системы хранения
Литература:
  1. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
  2. Прошин А.А., Лупян Е.А., Балашов И.В., Кашницкий А.В., Бурцев М.А. Создание унифицированной системы ведения архивов спутниковых данных, предназначенной для построения современных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 3. С. 9-27. DOI: 10.21046/2070-7401-2016-13-3-9-27.

Презентация доклада



Ссылка для цитирования: Прошин А.А., Бурцев М.А., Радченко М.В. Организация распределенных файловых хранилищ для ведения сверхбольших архивов спутниковых данных ДЗЗ // Материалы 20-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». Москва: ИКИ РАН, 2022. C. 110. DOI 10.21046/20DZZconf-2022a

Технологии и методы использования спутниковых данных в системах мониторинга

110