Технология динамического блочного доступа к данным в архивах для проведения их эффективной параллельной обработки

Аннотация. В настоящее время для решения многих задач, связанных с изучением и мониторингом процессов и явлений, используется широкий спектр различных типов спутниковых наблюдений, отличающихся как набором спектральных каналов, так и пространственным разрешением. При этом схемы организации их хранения в архивах зависят от их специфики и, как правило, существенно отличаются для разных типов данных. Это приводит к существенному усложнению процедур обработки данных, а в особенности, совместной обработки разных типов данных. Особенно это актуально при реализации параллельной распределенной обработки спутниковых данных по большим территориям, для проведения которой необходимо разбить область интереса на сравнительно небольшие участки, обрабатываемые на отдельных вычислительных узлах. Статья посвящена описанию технологии динамического блочного доступа к данным в архивах для проведения их эффективной параллельной обработки. Эта технология позволяет предоставлять под обработку данные в такой схеме, которая наиболее оптимальна для проведения конкретного типа обработки. В статье приводится краткое описание реализации технологии, а также же рассматривается методика выбора оптимальной схемы предоставления данных для конкретной процедуры обработки.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [1,2] и входящих в его состав инструментов разработанных, в том числе, в рамках проектов РФФИ 13-07-00513, РФФИ 11-07-12028-офи-м-2011.