Войти на сайт
МЕЖДУНАРОДНЫЕ ЕЖЕГОДНЫЕ КОНФЕРЕНЦИИ
"СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА"
(Физические основы, методы и технологии мониторинга окружающей среды, природных и антропогенных объектов)

Семнадцатая Всероссийская Открытая конференция «СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА (Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов)»

XVII.B.478

Поддержка функционирования сверхбольших файловых хранилищ спутниковых данных ЦКП «ИКИ-Мониторинг»

Прошин А.А. (1), Бурцев М.А. (1), Радченко М.В. (1)
(1) Институт космических исследований РАН, Москва, Россия
В настоящее время архивы ЦКП «ИКИ-Мониторинг» [1, 4] содержат более 2,5 петабайт спутниковых данных, находящихся в режиме непосредственного доступа. При этом ежедневно в архивы поступает более 2 терабайт новых данных. Основная часть этих данных располагается непосредственно в ИКИ РАН, для чего в настоящее время используется 25 специализированных серверов хранения файлов данных под управлением операционной системы UNIX и а также ряда специализированных систем хранения данных (NAS). Важно отметить, что в соответствие с общими тенденциями развития систем спутникового мониторинга объемы архивов спутниковых данных в настоящее время характеризуются практически экспоненциальным ростом [2]. Все это приводит к качественному возрастанию требований к организации надежной и высокоэффективной работы сверхбольших файловых хранилищ спутниковых данных и повышению уровня автоматизации решения основных задач по работе с ними.
В настоящем докладе приводятся общие сведения о реализации сверхбольшого распределенного по большому числу серверов и специализированных систем хранения данных (NAS) хранилища спутниковых данных в ИКИ РАН, использующего в качестве связующего элемента протокол NFS. Рассматриваются основные программные блоки, предназначенные для обеспечения максимально автоматизированной поддержки бесперебойной работы распределенного файлового хранилища.
Блок мониторинга серверов хранения на постоянной основе собирает информацию о различных характеристиках работы серверов хранения, таких как детальная информация о заполнении дискового пространства, скорость записи и чтения данных и др. Использование этой информации позволяет прогнозировать постоянно растущие потребности в расширении дискового пространства, а также оперативно принимать решения о необходимости замены неисправного оборудования. Блок диспетчеризации поступающих на архивацию новых данных позволяет отслеживать степень заполнения дисковых пространств серверов и автоматически переключать поступление данных на другой сервер, располагающий свободным дисковым пространством. Реализован также программный блок, отвечающий за автоматическое поддержание в актуальном состоянии большого количества соединений по NFS, набор которых существенно отличается для разных серверов в соответствии со спецификой решаемых ими задач. Использование этого программного блока позволяет автоматически отключать проблемные соединения и восстанавливать их после устранения сбоев с оборудованием или сетью, что является крайне важным для корректной работы серверов, использующих хранилище файлов. Оперативное оповещение персонала о неполадках в работе используемого оборудования, а также отслеживание процесса их устранения, реализовано на основе технологий, разработанных в ИКИ РАН [3]. В заключении приводятся общие сведения об используемых нами для хранения спутниковых данных программно-аппаратных решениях, включая специализированные системы хранения данных (NAS).
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014) c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1, 4].

Ключевые слова: центр коллективного пользования, ЦКП «ИКИ-Мониторинг», архивы спутниковых данных, распределенные файловые хранилища
Литература:
  1. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
  2. Лупян Е.А., Бурцев М.А., Прошин А.А., Кобец Д.А. Развитие подходов к построению информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2018. Т. 15. № 3. С. 53-66. DOI: DOI: 10.21046/2070-7401-2018-15-3-53-66.
  3. Мамаев А.С., Прошин А.А., Флитман Е.В. Создание системы документирования и контроля распределенных информационных систем // Современные проблемы дистанционного зондирования Земли из космоса. 2008. Выпуск 5. Т. 2. С. 557–560.
  4. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 5. С.263-284.

Презентация доклада

Технологии и методы использования спутниковых данных в системах мониторинга

116