Использование нейросетевых технологий для дешифрирования мультиспектральных данных аэрокосмической съемки

Нейросетевые технологии прочно вошли в современную жизнь, включая такие области науки, как цифровую обработку изображений с целью классификации, сегментации и детектирования на них объектов. Методы глубокого обучения хорошо себя зарекомендовали при обработке цветных изображений в формате RGB. Мультиспектральные изображения широко используются для решения задач оценки природных ресурсов, ландшафтного картирования, анализа состояния лесов, сельскохозяйственных полей и т.п. Трудности, возникающие при сегментации и классификации мультиспектральных данных с помощью нейросетевых технологий, связаны с особенностями изображений, такими как большое число спектральных каналов, высокая размерность данных и изменчивость спектральных характеристик.
В работе предлагается решение задачи классификации природного ландшафта заповедника «Утриш» в Краснодарском крае по многоспектральным данным, полученным с космического аппарата Sentinel-2, с использованием сверточных нейронных сетей. Для этого был проведен анализ существующих архитектур нейронных сетей, которые условно можно разделить на три группы: сети для обнаружения (н., YOLOv8), сети для классификации (н., ResNet, CNN) и сети семантической сегментации (н., FCN, U-Net, DeepLabv3). В части анализа растительности набольший интерес представляют последние две группы алгоритмов. При этом для каждого алгоритма требуется особая подготовка и обоснование объема обучающего и валидационного набора данных, от которого зависит точность прогнозирования модели на реальных данных.
В работе предлагается использование модели одномерной сверточной нейронной сети (1-D CNN), учитывающей только спектральную информацию об объектах. Сеть содержала несколько сверточных слоев, применялась регуляризация во избежание возможности переобучения, а размеры ядра свертки варьировались от 1x2 до 1x9. В качестве исходной информации о распределении классов для разметки многоспектральных изображений была использована карта растительности, представленная в [1]. Всего было выбрано около 25 классов. При тестировании модели было показано, что точность оценки принадлежности класса к определенному виду растительности падает с увеличением количества классов, что можно наблюдать и с помощью традиционных мер разделимости спектров. Соответственно в алгоритм был добавлен итерационный процесс увеличения количества классов до тех пор, пока можно получать приемлемые оценки точности. Дальнейшее разделение классов не представлялось возможным.
Результат работы применяемой сверточной сети показал точность разделения классов на тестовой выборке ~80%.
Далее в работе рассматриваются перспективы сегментации с помощью U-Net, которая использует 3-D CNN подход для извлечения не только спектральной, но и пространственной информации, за счет чего количество правильно распознанных классов увеличится. В свою очередь, для эффективного использования такого подхода к классификации растительности на территории России должны быть созданы соответствующие базы данных изображений для обучения сети. При этом они должны собираться на региональном уровне за счет большого разнообразия природных ландшафтов страны.