Анализ возможности и эффективности использования облачных вычислений для распределенного хранения, обработки и анализа сверхбольших наборов данных дистанционного наблюдения для решения крупномасштабных научных задач в области мониторинга состояния окружающей среды

Увеличение числа и улучшение качественных характеристик средств дистанционного наблюдения за окружающей средой, развитие методов анализа спутниковых данных, а также расширение областей их использования привели в последние годы к взрывному росту архивов спутниковой информации и результатов их обработки. Объемы существующих распределенных архивов уже перешагнули петабайтные рубежи. Естественно, что для эффективной работы с такими архивами данных необходимо создание новых подходов и средств с использованием последних достижений информационных технологий.
В то же время следует отметить, что создание технологий и программных средств для ведения сверхбольших архивов данных, их распределённой обработки и использования в определенной мере запаздывает. Это снижает возможность и эффективность применения указанных данных и технологий в решении крупномасштабных научных задач и проблем.
Такая тенденция наблюдается и в России, где только несколько лет назад при поддержке Роскосмоса стала создаваться современная единая территориально-распределенная система работы с данными ДЗЗ (ЕТРИС ДЗЗ). Она должна, в частности, решать задачи и по организации эффективной работы с распределенными архивами спутниковой информации. В данный момент эти работы еще далеки от завершения.
Коллективом авторов начаты исследования и разработка современных методов и алгоритмов хранения, обработки и анализа сверхбольших объемов данных дистанционного зондирования с использованием возможностей облачных вычислительных сред. Работа предполагает создание программных средств и инструментария, позволяющего формировать и поддерживать распределенные архивы данных дистанционных наблюдений и результатов их обработки, обеспечивающие для пользователей (в том числе различных специализированных информационных систем) удобные сервисы для доступа и распределенного анализа данных.
Разработанные алгоритмы и технологии будут отработаны и внедрены на основе действующих, постоянно пополняющихся распределенных архивов ВЦ ДВО РАН, ИКИ РАН и ФГБУ «НИЦ «Планета», суммарный объем которых уже сегодня превышает 1 Пбайт и ежедневно увеличивается более чем на 1 Тбайт. Это позволит, в том числе, реализовать работы со сверхбольшими наборами данных в информационной системе «Вега-ДВ», ориентированной на решение широкого круга задач по изучению возобновляемых природных ресурсов в Дальневосточном регионе с использованием современных технологий дистанционного зондирования.
Работа выполняется при поддержке проектов РФФИ (15-29-07953_офи_м) и грантов по Программе фундаментальных исследований ДВО РАН «Дальний Восток» (15-I-4-0o, 15-I-4-072, 15-I-4-071).