Исследование применимости мультимодальной нейросетевой модели TerraMind для обработки данных комплекса многозональной спутниковой съёмки космического аппарата Метеор-М

На сегодняшний день (2025г.) в области обработки данных дистанционного зондирования Земли (ДЗЗ) наметилась тенденция применения технологий искусственного интеллекта не только для решения отдельных узких прикладных тематических задач, но в части создания генеративных мультимодельных нейросетевых моделей. Первой такой мультимодельной моделью является TerraMind. Для обучения этой модели применялись следующие виды модальности данных: 1) оптико-электронные данные Sentinel-2; 2) радиолокационные данные Sentinel-1; 3) цифровая модель рельефа и рассчитанный вегетационный индекс NDVI; 4) результаты мультиклассовой разметки типовой поверхности Земли LULC; 5) текстовое описание анализируемых фрагментов изображений; 6) географические координаты. В статье (Jakubik et al., 2025) приводится более детальное описание формирование обучающей выборки и стратегии обучения, а также сопоставления результатов работы TerraMind относительно известных решений.
В настоящей работе рассматривается применимость и ограничения TerraMind для решения задачи классификации данных комплекса многозональной спутниковой съемки (КМСС) космического аппарата (КА) «Метеор-М» № 2-4 в части детектирования облачности и водной поверхности на основе изображений мозаичных покрытий, формируемых по данным суточной съёмки с использованием технологии (Васильев и др., 2021). В частности, приводятся различия исходных данных КМСС и Sentinel-2 в части состава спектральных каналов и пространственного разрешения. Данные ограничения демонстрируют существенные различия в качестве классификации в зависимости от выбора размера фрагмента обрабатываемых изображений. Для сравнения приводятся результаты классификации на основе специализированной модели ResNet, предварительно обученной на основе интерактивно размеченных изображений КМСС. При этом дополнительно отмечается склонность к переобучаемости модели ResNet с учетом разметки. Каскадная стратегия обработки данных, используя TerraMind в качестве грубого фильтра, а классификатор ResNet для уточнения результатов классификации, демонстрирует наиболее надёжный показатель качества сегментации. В заключении отмечаются перспективы использования TerraMind для обработки данных российских КА ДЗЗ