Поддержка функционирования сверхбольших файловых хранилищ спутниковых данных ЦКП «ИКИ-Мониторинг»

В настоящее время архивы ЦКП «ИКИ-Мониторинг» [1, 4] содержат более 2,5 петабайт спутниковых данных, находящихся в режиме непосредственного доступа. При этом ежедневно в архивы поступает более 2 терабайт новых данных. Основная часть этих данных располагается непосредственно в ИКИ РАН, для чего в настоящее время используется 25 специализированных серверов хранения файлов данных под управлением операционной системы UNIX и а также ряда специализированных систем хранения данных (NAS). Важно отметить, что в соответствие с общими тенденциями развития систем спутникового мониторинга объемы архивов спутниковых данных в настоящее время характеризуются практически экспоненциальным ростом [2]. Все это приводит к качественному возрастанию требований к организации надежной и высокоэффективной работы сверхбольших файловых хранилищ спутниковых данных и повышению уровня автоматизации решения основных задач по работе с ними.
В настоящем докладе приводятся общие сведения о реализации сверхбольшого распределенного по большому числу серверов и специализированных систем хранения данных (NAS) хранилища спутниковых данных в ИКИ РАН, использующего в качестве связующего элемента протокол NFS. Рассматриваются основные программные блоки, предназначенные для обеспечения максимально автоматизированной поддержки бесперебойной работы распределенного файлового хранилища.
Блок мониторинга серверов хранения на постоянной основе собирает информацию о различных характеристиках работы серверов хранения, таких как детальная информация о заполнении дискового пространства, скорость записи и чтения данных и др. Использование этой информации позволяет прогнозировать постоянно растущие потребности в расширении дискового пространства, а также оперативно принимать решения о необходимости замены неисправного оборудования. Блок диспетчеризации поступающих на архивацию новых данных позволяет отслеживать степень заполнения дисковых пространств серверов и автоматически переключать поступление данных на другой сервер, располагающий свободным дисковым пространством. Реализован также программный блок, отвечающий за автоматическое поддержание в актуальном состоянии большого количества соединений по NFS, набор которых существенно отличается для разных серверов в соответствии со спецификой решаемых ими задач. Использование этого программного блока позволяет автоматически отключать проблемные соединения и восстанавливать их после устранения сбоев с оборудованием или сетью, что является крайне важным для корректной работы серверов, использующих хранилище файлов. Оперативное оповещение персонала о неполадках в работе используемого оборудования, а также отслеживание процесса их устранения, реализовано на основе технологий, разработанных в ИКИ РАН [3]. В заключении приводятся общие сведения об используемых нами для хранения спутниковых данных программно-аппаратных решениях, включая специализированные системы хранения данных (NAS).
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014) c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1, 4].