Устойчивость модели сверточной нейронной сети к аддитивным шумам на снимках с БПЛА деревьев пихты

Массовые вспышки стволовых вредителей представляют серьезную угрозу хвойным лесам по всему миру. В России одним из наиболее опасных вредителей пихтовых лесов является уссурийский полиграф. В последние годы для своевременного обнаружения очагов его размножения все чаще применяются методы дистанционного зондирования Земли, основанных на съемке лесов с космических аппаратов или беспилотных летательных аппаратов (БПЛА), оснащенных фото - и (или) видеокамерами. При анализе полученных снимков хвойных лесов сегодня все чаще применяют модели глубокого обучения, в частности – сверточные нейронные сети (СНС). Такие модели обеспечивают высокую точность семантической сегментации снимков и, соответственно, высокую точность попиксельной классификации хвойных деревьев на снимках по классам их жизненного состояния (степени поражения вредителем). Однако полученные с космических аппаратов или с БПЛА снимки могут быть искажены помехами различной физической природы, которые обычно негативно влияют на качество их сегментации при использовании модели СНС.
В данной работе исследуется устойчивость модели СНС Mo-U-Net, являющейся модификацией классической полносверточной модели U-Net, к аддитивным шумам при различных значениях их параметров. Известно, что одним из подходов к повышению устойчивости моделей СНС к помехам является использование робастных функций потерь (РФП), поэтому в работе при обучении модели Mo-U-Net применялась РФП Уэлша. В качестве исходных данных для исследований использовались RGB-снимки с разрешением 0,1 м участков поврежденных уссурийским полиграфом деревьев пихты сибирской, полученные в Бакчарском районе Томской области с помощью фотокамеры, установленной на БПЛА. Качество сегментации снимков моделью Mo-U-Net оценивалось по метрике IoU для каждого класса жизненного состояния деревьев и по метрике mIoU, рассчитываемой как среднее значение метрик IoU для пяти классов: четырех классов жизненного состояния деревьев пихты и класса «Фон». Известно, что значения метрик IoU и mIoU больше 0,5 говорят о высоком качестве сегментации снимков и, соответственно, о высокой устойчивости модели СНС к помехам.
По исходным RGB-снимкам и полученным для них экспертами картам сегментации был создан набор данных (датасет). Для этого каждый снимок и соответствующая ему карта сегментации были разрезаны на фрагменты размером 256х256х3 пикселей. Затем датасет был разделен на три выборки: обучающую (2004 фрагмента), валидационную (672 фрагмента) и тестовую (91 фрагмент). Перед обучением модели Mo-U-Net обучающая выборка преобразовывалась в новую выборку, каждый фрагмент которой на 25% площади имел аддитивные шумы. Внесение шумов осуществлялось путем увеличения амплитуды яркости зашумляемого пикселя фрагмента на амплитуду шума в виде случайной величины из распределения Гаусса с математическим ожиданием M и среднеквадратичным отклонением q. Значения этих параметров задавались перед каждым экспериментом: для M из ряда 10, 15 и 20 при постоянном значении q, равном 2,0, или для q из ряда 0,5, 1,0, 1,5 и 2,0 при постоянном значении M, равном 20. По сути в каждом эксперименте при обучении модели Mo-U-Net использовалась новая выборка (ее фрагменты имели аддитивный шум с новыми значениями параметров M и q), однако при оценке устойчивости модели во всех экспериментах применялись неизменяемые валидационная и тестовая выборки. Дополнительно проводился эксперимент, когда обучение модели осуществлялось на фрагментах без шумов. Его результаты использовались при сравнительном анализе с результатами других экспериментов.
Из результатов экспериментов сделан вывод о том, что модель Mo-U-Net с РФП Уэлша по метрике mIoU на тестовой выборке демонстрирует довольно высокую устойчивость к аддитивным шумам: значения этой метрики снижались, но оставались в пределах 0,633 - 0,618, что значительно выше порогового значения 0,5. Можно считать, что РФП Уэлша способствует устойчивости исследуемой модели Mo-U-Net к аддитивным шумам для довольно больших диапазонов изменения параметров M и q нормального распределения случайных амплитуд шумов. Аналогичный вывод сделан из анализа результатов экспериментов при оценке точности классификации по метрике IoU на тестовой выборке деревьев пихты классов «Живое», «Свежий сухостой» и «Старый сухостой», а также класса «Фон». Однако для деревьев класса «Отмирающее» значения метрики IoU во всех экспериментах не превышают порог 0,5, что говорит о неустойчивости модели Mo-U-Net с РФП Уэлша к аддитивным шумам и не позволяет рекомендовать ее для классификации деревьев пихты данного класса на снимках с аддитивными шумами.