Обнаружение дорог с различными типами покрытий по многоспектральным спутниковым изображениям с использованием методов глубокого обучения

Задача распознавания дорог по данным дистанционного зондирования Земли является одной из актуальных задач, для решения которой применяются методы машинного обучения. В последние годы широкое распространение получили методы глубокого обучения, позволяющие по сравнению с традиционными методами повысить качество распознавания. Однако их главным ограничением является наличие и доступность репрезентативных исходных данных для обучения таких моделей. Анализ публикаций показал, что в большинстве исследований для решения задачи обнаружения дорог применяются RGB-изображения.
Анализ базы данных спектральных характеристик различных грунтов и поверхностей, накопленной в Военно-космической академии по результатам полевых измерений, позволил определить устойчивые спектральные различия дорожных покрытий в узких спектральных диапазонах. Полученные результаты позволяют сделать вывод о возможности применения мультиспектральных данных для повышения качества обнаружения дорог. Данный вывод также подтверждается результатами, опубликованными в исследованиях Hollendonner, Fu и др.; Chen S. и др.; Karnik и др.; Sirko и др.
Для решения задачи распознавания дорог по мультиспектральным изображениям использовался набор данных SpaceNet 3 Roads, который содержит многоспектральные снимки с космического аппарата WordView-3. Для сегментации дорог выбрана сеть архитектуры U-Net с предварительно обученным VGG16 в качестве энкодера. При этом предложенный подход сочетает пиксельную сегментацию изображений с морфологическими методами обработки для создания геометрической непрерывности дорог.
Основным ограничением и проблемным вопросом при обучении являлся значительный дисбаланс классов в применяемом датасете. В нем содержится только около 0,8% дорог с грунтовыми покрытиями. Вследствие этого их спектральные характеристики недостаточно представлены обучающей выборке. Для решения отмеченной проблемы предложено перейти к многоклассовой классификации, выделив дороги с грунтовым покрытием в отдельный класс. При этом для устранения дисбаланса классов введены дополнительные весовые коэффициенты, повышающие вклад этого класса в функцию потерь при обучении нейронной сети.
Проверка результатов на тестовой выборке показала прирост метрики F1 на 6.8 п.п. по отношению к модели, обученной на RGB данных, и на 5.4 п.п. модели, обученной на двух классах. Кроме того, проведена апробация обученной сети на многоспектральных изображениях космического аппарата WordView-2, полученным для территорий Ленинградской области и Австралии. Значение метрики F1 составило порядка 80%, что говорит о достаточно высоком качестве решения задачи обнаружения дорог.
На основе проведенного анализа можно сделать вывод, что использование многоспектральных данных позволяет с большой долей вероятности идентифицировать дороги с разными покрытиями и повысить качество решения задачи по сравнению с моделями, обученными на RGB-изображениях. В свою очередь при использовании нейронной сети для сегментации необходимо обеспечить репрезентативную выборку, которая содержала бы сбалансированные классы дорог с разными покрытиями на разных фонах. Также большое внимание должно быть уделено параметрам постобработки, настройке обучения сети, а также выбора оптимальных параметров при применении модели.