Метод автоматического переноса тематических продуктов типа Scene Classification Land на данные прибора КМСС-2 (Метеор-М) на основе текстурных признаков, перцентильной нормализации и методов машинного обучения

При работе с масками облачности, теней и других мешающих факторов совместно с данными дистанционного зондирования возникает необходимость оценки качества данного продукта при их использовании в разных задачах, в том числе с целью создания набора данных для обучения сверточных нейронных сетей. Особенную ценность представляет наличие такого метода, который можно применять в автоматическом режиме и при этом требующий минимального количества спектральных каналов, которые есть практически во всех данных ДЗЗ.
В данной работе использовались изображения приборов MSI находящихся на борту спутников серии Sentinel-2 и приборов КМСС-2 находящихся на борту спутников серии Метеор-М. При этом данные использовались попарно и приходящиеся на одинаковые территории с отличающимся временем съемки не более чем 3 часа. Камеры MSI снимают в широком диапазоне длин волн и с пространственным разрешением от 10 до 60 метров в зависимости от длины волны. В работе использовались данные только трех спектральных каналов указанных камер - зеленого, красного и ближнего ИК которые есть также в данных КМСС-2 и загрубленные до общего пространственного разрешения 60 метров.
При разработке метода использовался стандартный продукт Scene Classification Land (SCL) в котором вся территория сцены Sentinel-2 разделена на множество классов, таких как чистая поверхность связанная с вегетацией и без вегетации, тени от облачности и связанные рельефом, вода, облачность разного типа и вероятности, снег и другие. Одной из особенностей данного продукта является достаточно большое количество пикселей с кодом unclassified (неклассифицированные) которые могут приходиться как на чистую территорию, так и на связанную с разными мешающими факторами. Помимо этого на данном продукте зачастую наблюдается изменение качества маски SCL на протяжении пролета спутника и есть серьезные проблемы с качеством детектирования таких объектов как тени от облачности. В методе использовалась тематически загрубленная маска, полученная путем объединения разной вероятности и типов облачности в один класс облаков, все типы теней в один класс тень, чистая территория независимо от наличия или отсутствия растительности в единый класс, вода и снег использовались без изменений. Помимо этого все пиксели с кодом unclassified были объединены с пикселями которые зашумлены или где отсутствуют данные.
С целью оценки качества тематически загрубленной маски использовались текстурные признаки на основе Grey Level Co-Occurrence Matrix (GLCM) Contrast, Dissimilarity, Homogenity, Energy, Correlation и Entropy вычисляемые на основе изображений в зеленом, красном и ИК спектральных каналах. При этом отдельной задачей было нахождение наиболее подходящих параметров patch_size и distance данного алгоритма при котором наиболее лучшим образом детектируются участки наиболее высокого качества SCL и отделяются от остальных случаев. Для решения данной задачи были вручную отобраны 10 пар сцен Sentinel-2 с наиболее и наименее визуально качественными загрубленными тематически масками приходящиеся на приблизительно одинаковые территории и за аналогичные периоды времени попарно. При разных значениях параметров patch_size и distance были вычислены значения метрики f-score на тестовых данных после обучения классификатора Random Forest для каждого отдельного класса и найдены значения указанных параметров при которых наиболее лучшим образом разделяются две категории выбранных масок. В результате было установлено, что при значении patch_size, distance 20 и 1 соответственно достигалась наилучшая разделимость между классами качественной и некачественной масок. С целью оптимизации и более эффективного использования метода были отобраны 6 из 18 наиболее информативных текстурных признаков в классификаторе Random Forest. В результате отбора оказалось, что для вычисления наиболее значимых текстурных признаков необходимо использование всего лишь два спектральных канала – зеленый и ИК.
На основе разработанного метода в зоне пересечения изображений Sentinel-2 и КМСС-2 изображения MSI обрабатывались участками размером 512 на 512 пикселей с целью поиска локально качественных масок SCL. Данные участки использовались с целью формирования набора данных для обучения классификатора Random Forest на основе перцентильных признаков, посчитанных по данным трех спектральных каналов. На основе обученного классификатора с зоне пересечения изображений создавалась маска по данным КМСС-2 на основе перцентильных признаков аналогичных спектральных каналов для каждой пары сцен отдельно.
При этом предварительно изображение КМСС-2 допривязывалось с помощью метода геокоррекции данных на основе модернизированного алгоритма SIFT (scale-invariant feature transform) в котором в качестве опорных данных использовались годовые композитные изображения полученные на основе данных Sentinel-2 в ИК канале.
Таким образом в области пересечения данных двух спутников создавалась аналогичная тематически загрубленной SCL маска облачности, теней и других объектов по данным КМСС-2. С целью анализа и оценки качества полученного таким образом тематического продукта использовался вышеописанный метод на основе аналогичных текстурных признаков.
В итоге с помощью разработанного метода были в автоматическом режиме обработаны сотни пар сцен Sentinel-2 и КМСС-2 за разные сезоны и территории зернового пояса России 2021 года. На основе текстурных признаков были отобраны участки наиболее качественных масок которые использовались для создания набора данных который применялся для обучения сверточных нейронных сетей таких как Unet, Attention Unet, Attention ResUnet.
Таким образом, в рамках работы создан метод независимой автоматической оценки качества тематического продукта SCL и перенесенной маски по данным КМСС-2 на основе текстурных признаков GLCM. Было показано, что информативные метрики могут быть построены на основе всего-лишь шести наиболее важных текстурных признаков, которые вычисляются на основе только двух спектральных каналов, что показывает простую переносимость разработанного метода и его применимость к практически любым системам ДЗЗ. Автоматическим образом была создана обучающая разметка высокого тематического качества по классам «чистая поверхность», «тень», «вода» и «облачность» на перенесенной маске на данных КМСС-2, обучены сверточные нейронные сети серии архитектур Unet.
Исследование выполнено при поддержке Министерства науки и высшего образования Российской Федерации (соглашение № 075-15-2024-663, уникальный идентификатор 13.2251.21.0264) с использованием ресурсов ЦКП "ИКИ-Мониторинг".