Анализ эффективности системы динамического блочного доступа к данным для предоставления их системам обработки

Практика позывает, что многие задачи, связанные с обработкой и визуализацией пространственных данных, могут быть наиболее эффективно решены с использованием блочного подхода, в рамках которого используются данные по тайлам, на которые равномерно разбита вся зона интереса. Такой подход позволяет обеспечить требуемую степень распараллеливания обработки на различных вычислительных узлах, реализовать гибкий механизм кэширования и снизить нагрузку на централизованные ресурсы. Наиболее распространенным вариантом реализации описываемого подхода является использование заранее подготовленных архивов данных с фиксированным пространственным разбиением. Однако такой вариант реализации оказывается нецелесообразным, когда возникает необходимость использования разных пространственных разбиений для одних и тех же данных, в частности, когда необходимо совместно обрабатывать различные типы спутниковой информации, отличающиеся как по разрешению, так и по организации их хранения в архиве. В таких случаях наиболее эффективным оказывается динамическое формирование блоков данных в таком пространственном разбиении и с такими характеристиками, которые будут оптимальны для решения конкретной задачи по обработке или визуализации данных. С целью реализации такого механизма в ИКИ РАН была разработана технология динамического блочного доступа к архивам спутниковых данных ЦКП «ИКИ-Мониторинг»[1,2,3].
Настоящий доклад посвящен комплексному анализу основных факторов, влияющих на производительность системы динамического блочного доступа к распределенным архивам спутниковых данных. В первую очередь, к таким факторам можно отнести производительность систем хранения, скорость сетевых соединений, размер и тип предоставляемых спутниковых данных и др. Разработанная методика позволяет в короткие сроки оценить ресурсы, необходимые для предоставления заданного набора блоков данных с нужными характеристиками.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1,2].