Войти на сайт
МЕЖДУНАРОДНЫЕ ЕЖЕГОДНЫЕ КОНФЕРЕНЦИИ
"СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО
ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА"
(Физические основы, методы и технологии мониторинга окружающей среды, природных и антропогенных объектов)

Девятнадцатая международная конференция «СОВРЕМЕННЫЕ ПРОБЛЕМЫ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ ИЗ КОСМОСА (Физические основы, методы и технологии мониторинга окружающей среды, потенциально опасных явлений и объектов)»

XIX.B.451

Анализ эффективности системы динамического блочного доступа к данным для предоставления их системам обработки

Прошин А.А. (1), Лупян Е.А. (1)
(1) Институт космических исследований РАН, Москва, Россия
Практика позывает, что многие задачи, связанные с обработкой и визуализацией пространственных данных, могут быть наиболее эффективно решены с использованием блочного подхода, в рамках которого используются данные по тайлам, на которые равномерно разбита вся зона интереса. Такой подход позволяет обеспечить требуемую степень распараллеливания обработки на различных вычислительных узлах, реализовать гибкий механизм кэширования и снизить нагрузку на централизованные ресурсы. Наиболее распространенным вариантом реализации описываемого подхода является использование заранее подготовленных архивов данных с фиксированным пространственным разбиением. Однако такой вариант реализации оказывается нецелесообразным, когда возникает необходимость использования разных пространственных разбиений для одних и тех же данных, в частности, когда необходимо совместно обрабатывать различные типы спутниковой информации, отличающиеся как по разрешению, так и по организации их хранения в архиве. В таких случаях наиболее эффективным оказывается динамическое формирование блоков данных в таком пространственном разбиении и с такими характеристиками, которые будут оптимальны для решения конкретной задачи по обработке или визуализации данных. С целью реализации такого механизма в ИКИ РАН была разработана технология динамического блочного доступа к архивам спутниковых данных ЦКП «ИКИ-Мониторинг»[1,2,3].
Настоящий доклад посвящен комплексному анализу основных факторов, влияющих на производительность системы динамического блочного доступа к распределенным архивам спутниковых данных. В первую очередь, к таким факторам можно отнести производительность систем хранения, скорость сетевых соединений, размер и тип предоставляемых спутниковых данных и др. Разработанная методика позволяет в короткие сроки оценить ресурсы, необходимые для предоставления заданного набора блоков данных с нужными характеристиками.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1,2] и входящих в его состав инструментов разработанных, в том числе, в рамках проектов РФФИ 13-07-00513, РФФИ 11-07-12028-офи-м-2011.

Ключевые слова: обработка спутниковых данных, архивы спутниковых данных, большие данные, динамический блочный доступ
Литература:
  1. Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., Кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИКИ РАН для решения задач изучения и мониторинга окружающей среды // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 5. С. 263-284.
  2. Лупян Е.А., Прошин А.А., Бурцев М.А., Кашницкий А.В., Балашов И.В., Барталев С.А., Константинова А.М., Кобец Д.А., Мазуров А.А., Марченков В.В., Матвеев А.М., Радченко М.В., Сычугов И.Г., Толпин В.А., Уваров И.А. Опыт эксплуатации и развития центра коллективного пользования системами архивации, обработки и анализа спутниковых данных (ЦКП «ИКИ-Мониторинг») // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 3. С. 151-170. DOI: 10.21046/2070-7401-2019-16-3-151-170.
  3. Прошин А.А., Лупян Е.А., Балашов И.В., Кашницкий А.В., Матвеев А.М., Руткевич Б.П. Технология динамического блочного представления спутниковых данных системам распределённой обработки // Современные проблемы дистанционного зондирования Земли из космоса. 2020. Т. 17. № 7. С. 79-93. DOI: 10.21046/2070-7401-2020-17-7-79–93.

Презентация доклада

Технологии и методы использования спутниковых данных в системах мониторинга