Автоматизированная система многопоточной обработки спутниковых данных Landsat высокого разрешения для мониторинга наземных экосистем

Использование спутниковых данных высокого пространственного разрешения для создания технологий динамического картографирования наземных экосистем и выявления изменений на лесных территориях России сопряжено с известными специалистам трудностями. Это, прежде всего, огромные объемы информации, обработка которых требует столь значительных компьютерных ресурсов и временных затрат, что это становится весьма дорогостоящим мероприятием, не всегда доступным традиционными методами и программными средствами анализа спутниковых изображений.
Вместе с тем, обработка этих данных неизбежно проходит ряд этапов, часто рутинных, хотя и не всегда тривиальных. Причем продукты промежуточных этапов могут быть использованы для решения вышеперечисленных тематических задач. Отсюда возникает потребность создания архива спутниковых продуктов многоцелевого назначения. Архив должен иметь многослойную структуру, отражающую этапность обработки спутниковых изображений и содержать промежуточные и конечные продукты, востребованные на текущий момент. В тоже время, необходима определенная гибкость, предполагающая создание, как дополнительных структурных элементов архива, так и инструментальных средств их формирования, под задачи, которые, может быть, еще не вполне определены или находятся в стадии научного исследования и разработки.
В рамках фундаментальных программ отделения биологических наук Российской академии наук (ОБН РАН), направленных на изучение динамики и биологического разнообразия лесов, разрабатываются базовые элементы информационной системы космического мониторинга наземных экосистем. Для этого предварительно под снимки высокого разрешения территория России поделена на квадраты 300 х 300 км, с последующей детализацией 100 х 100 км, в границах которых определены пролеты спутниковых данных Landsat. Такое последовательное приближение удобно с точки зрения определенных этапов обработки, представления данных в архиве и организации доступа.
Архитектура программно-аппаратного комплекса содержит следующие основные элементы: файловый сервер под архив спутниковых продуктов, SQL-сервер для систематизации продуктов в архиве, компьютеры-обработчики спутниковых продуктов под различные тематические задачи. В архиве систематизированы и хранятся упакованные продукты различных этапов обработки спутниковых изображений, на SQL-сервере осуществляется поддержка и управление базой метаданных, где регистрируются этапы тематической обработки данных в пространственном и временном аспекте, обработчики осуществляют автоматическую обработку изображений для различных тематических задач и обеспечивают отчетность результатов обработки для SQL-сервера.
Система не содержит единого директивного центра управления. Движение потоков начинается с формирования на заданный квадрат автоматического заказа оригинальных сцен Landsat из многолетнего архива спутниковых изображений различного пространственного разрешения, созданного в Институте космических исследований (Лупян и др., 2007). Заказ направляется в архив ИКИ РАН и регистрируется на SQL-сервере информационной системы. По мере поступления информации о готовности данных для скачивания, исходные сцены Landsat размещаются в структуре файлового сервера, и регистрируются в базе метаданных SQL-сервера.
Компьютер-обработчик на основе зарегистрированного на SQL-сервере заказа и при поступлении данных в локальный архив, запускает в первичную обработку сцены для формирования продуктов с облачным покровом, тенями от облаков и другими артефактами. Результат обработки помещается в архив и регистрируется в базе метаданных SQL-сервера. По тому же принципу реализуются этапы проецирования изображений в проекцию Альберса, создания сезонных композитных изображений и тематической классификации, выявления изменений в лесах и расчета различных количественных характеристик лесов под заданный квадрат.
Все перечисленные процедуры, последовательные для одного квадрата, выполняются обработчиками параллельно в пакетном режиме. При этом, компьютеры-обработчики отслеживают через базу метаданных SQL-сервера появление на файловом сервере продуктов своей зоны ответственности и самостоятельно запускают в обработку пакет данных (сцены, квадраты, временные ряды и тд.). В режиме автомата очередность и приоритетность задач не лимитирована. Каждый компьютер-обработчик автономен и активизирует процессы обработки в зависимости от готовности продуктов предыдущего этапа.
Такой подход с одной стороны, обеспечивает фронтальное продвижение процессов обработки и их систематизации при наполнении архива тематическими продуктами, а с другой, позволяет гибко реагировать на возникающие задачи и потребности системы.