Организация распределенных файловых хранилищ для ведения сверхбольших архивов спутниковых данных ДЗЗ

Ускоренное развитие систем спутникового дистанционного зондирования Земли в последние десятилетия привело к взрывному росту объемов спутниковых данных, получаемых с большого числа различных приборов наблюдения. Расширяется область применения данных дистанционного зондирования Земли, которые в настоящее время широко используются для решения самых разных исследовательских и прикладных задач, связанных с мониторингом природной среды и антропогенных объектов. Это привело к существенному возрастанию требований к функционалу информационных систем доступа к спутниковым данным, а в первую очередь, к возможностям, которые они предоставляют по анализу и обработке спутниковых наблюдений. В соответствии с этими новыми требованиями в 2012 году был создан центр коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений ИКИ РАН для решения задач изучения и мониторинга окружающей среды «ЦКП ИКИ-Мониторинг» [1] (http://ckp.geosmis.ru/). Ключевым элементом этого сложного программно-аппаратного комплекса является система ведения сверхбольших распределенных архивов спутниковых данных, которая обеспечивает не только архивацию и хранение больших массивов разнородных спутниковых данных, но и поддержку сервисов для их обработки и анализа. На текущий момент эта система обеспечивает доступ к архивам спутниковых данных, суммарный объем которых приближается к 6 петабайтам, при этом в сутки в архивы поступает около 3 терабайт новых данных.
Система ведения архивов спутниковых данных ЦКП «ИКИ-Мониторинг» реализована на базе унифицированной технологии ведения сверхбольших распределенных архивов разнородных спутниковых данных UNISAT [2]. В рамках использования этой технологии метаданные, т.е. информация об имеющихся в архивах данных и их атрибуты сохраняются в специализированные базы данных, а сами файлы данных помещаются в распределенное файловое хранилище, состоящее из UNIX серверов и специализированных систем хранения (NAS), объединенных в единое логическое пространство при помощи протокола NFS. На текущий момент в центральном информационном узле ЦКП «ИКИ-Мониторинг» задействовано более 30 серверов и специализированных систем хранения данных. Доклад посвящен описанию схемы организации распределенных файловых хранилищ, построенных по технологии UNISAT, а также используемых для их бесперебойного функционирования программных компонент.
Работы по развитию технологий ведения сверхбольших архивов спутниковых данных с 2019 года выполняются в рамках темы Минобрнауки РФ «Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера» (№122042500019-6) с использованием возможностей ЦКП «ИКИ-Мониторинг» (http://ckp.geosmis.ru/).