Анализ возможностей облачных технологий для распределённого хранения и обработки данных дистанционных наблюдений с целью мониторинга состояния окружающей среды

В настоящее время системы дистанционного зондирования являются одним из основных источников объективной информации для оценки и контроля состояния окружающей среды и рационального природопользования в различных регионах планеты. С ростом числа специализированных космических аппаратов и их функциональных возможностей, практически взрывным образом растут и объемы принимаемых инструментальных данных.
Для их использования в решении крупномасштабных научных задач (например, исследования вулканической активности, изучения изменения растительного покрова и т.п.) в последние годы быстрыми темпами развиваются технологии обработки и методы анализа данных дистанционных наблюдений (Лупян и др., 2011, Смагин и др., 2013, Ефремов и др., 2012, Лупян и др., 2014, Лупян и др., 2012).
Для эффективного использования подобного рода информации необходимо наличие специализированной платформы, которая бы решала как технологические задачи, связанные со сбором, унификацией данных, формированием из них структурированных архивов и наборов сверхбольших данных, так и предоставляла для исследователей программные средства и инструменты для их анализа.
В решении этой проблемы сейчас невозможно идти традиционным путем, когда под каждую научную задачу формируются отдельные, постоянно пополняемые архивы из всех доступных источников и разрабатываются средства для работы с ними. Такой подход обладает рядом существенных недостатков и требует значительных затрат ресурсов и времени. Поэтому все чаще разработчики обращаются к облачным вычислениям (Antonopoulus, Gillam, 2010, Pallickara, Pierce, 2010, Zhizhin et al., 2011), переводя решение трудоемких задач в виртуальную вычислительную среду, взаимодействие с которой для прикладных информационных систем организуется через RESTful web-сервисы.
Для реализации этого подхода авторами ведутся исследования и разработка современных методов и алгоритмов хранения, обработки и анализа сверхбольших объемов данных дистанционного зондирования с использованием возможностей облачных вычислительных сред. Работа предполагает создание программных инструментов, позволяющих формировать и поддерживать распределенные архивы данных дистанционных наблюдений и результатов их обработки в таких средах, а также предоставлять пользователям (в том числе различных специализированных информационных систем) сервисы для доступа к ним. В качестве модельных наборов данных в этих исследованиях выступают постоянно пополняющиеся распределенные архивы ЦКП ИКИ-Мониторинг (Лупян и др., 2015), ВЦ ДВО РАН и НИЦ «Планета», суммарный объем которых превышает 1 Пбайт.
Одним из направлений работ является создание прототипа системы распределённого хранения данных ДЗЗ с применением высокопроизводительной платформы OpenStack Swift (Pepple, 2011) и оценка его эффективности относительно используемых в настоящее время методов и технологий хранения данных на примере системы «Вега – Дальний Восток» (Смагин и др., 2013).
В докладе будут рассмотрены первые результаты проведенных исследований и перспективы их применения в работе действующих информационных сервисов ИКИ РАН и ВЦ ДВО РАН для работы с данными ДЗЗ.
Работы проводятся при поддержке проектов Российского фонда фундаментальных исследований (№15-29-07953) и Программы фундаментальных исследований ДВО РАН «Дальний Восток» (№15-I-4-072).