Унифицированная технология организации блочного доступа к данным в архивах для проведения их эффективной распределенной параллельной обработки

Стремительное развитие спутниковых систем дистанционного зондирования Земли привело к практически экспоненциальному росту поступающих в архивы спутниковых данных [1]. Появляются совершенно новые приборы наблюдения, повышается качество получаемых с них данных, что позволяет использовать их для достаточно точной оценки тех или иных физических характеристик. Все это приводит к существенному расширению области применения данных ДЗЗ, и как следствие, к резкому возрастанию как числа различных задач по обработке спутниковых данных, так и объемов обрабатываемой информации. В результате задачи оптимизации всех процедур, связанных с обработкой спутниковых данных, приобретают все большую важность.
Доклад посвящен разрабатываемой в настоящее время в ИКИ РАН унифицированной технологии организации блочного доступа к данным в архивах для проведения их эффективной распределенной параллельной обработки. Основными целями ее создания являются максимальная унификация и оптимизация всех процедур подготовки данных для обработки. Актуальность этой задачи во многом связана с тем, что спутниковые данные в архивах, как правило, хранятся в формате GeoTIFF в виде отдельных фрагментов (тайлов), что позволяет в каждом конкретном случае использовать только те тайлы, которые необходимы. Поэтому использование прямого блочного доступа к таким файлам зачастую позволяет существенно сократить время чтения данных и, таким образом, ускорить процедуры обработки и визуализации данных. В свою очередь, для эффективной обработки спутниковых данных по большим областям (например, по территории России), целесообразно использовать разбиение исходных данных на фрагменты по регулярной сетке и обрабатывать их в параллельном режиме на множестве серверов обработки. Таким образом, основной задачей рассматриваемой технологии является максимально быстрое формирование исходных данных по заданному фрагменту разбиения.
В докладе приводятся краткие сведения о реализации сверхбольших архивов разнородных спутниковых данных ЦКП «ИКИ-Мониторинг» [2], построенных по разработанной в ИКИ РАН технологии UNISAT [3], а также о технологии организации распределенной многопотоковой обработки спутниковых данных [4], также разработанной в ИКИ РАН. Рассматривается реализованная до недавнего времени схема обеспечения доступа к данным для проведения их обработки. Затем приводится функциональная схема, соответствующая новому подходу к решению этой задачи. В рамках этой схемы, наряду с использованием исключительно только блочного доступа к файлам данных, факторами оптимизации также являются использование вычислительных ресурсов самих серверов хранения данных для предварительной подготовки данных, а также запрос данных для обработки с разных серверов хранения в параллельном режиме. Также реализуется режим, когда необходимые наборы данных единообразным образом формируются на серверах обработки на основе прямого блочного доступа к серверам хранения, что для некоторых типов обработки является предпочтительным. Существенным преимуществом новой подсистемы является также унификация процедур подготовки данных для проведения обработки. Таким образом, предложенный подход позволяет существенно сократить издержки, связанные с операциями чтения данных, а также значительно упростить разработку и внедрение новых типов обработки.
Работа выполнена в рамках темы "Большие данные в космических исследованиях: астрофизика, солнечная система, геосфера" (госрегистрация №0024-2019-0014), c использованием ресурсов ЦКП «ИКИ-Мониторинг» [2, 5]