Анализ устойчивости моделей полносверточных нейронных сетей к импульсным помехам на снимках деревьев пихты

Массовое распространение стволовых вредителей представляет серьезную угрозу хвойным лесам. Одним из опасных вредителей пихтовых насаждений на территории России является уссурийский полиграф. Для обнаружения очагов размножения таких вредителей и оценки жизненного состояния пораженных деревьев хвойных пород применяются методы дистанционного зондирования Земли, в том числе съемка лесов с помощью беспилотных летательных аппаратов (БПЛА), оснащенных соответствующей фото- и (или) видеоаппаратурой. Для автоматизированного анализа полученных с БПЛА снимков сегодня используются модели сверточных нейронных сетей, выполняющие семантическую сегментацию (попиксельную классификацию) пораженных вредителями деревьев по классам их жизненного состояния. Однако исходные снимки могут содержать импульсные помехи, снижающие качество их сегментации и, соответственно, точность классификации деревьев. Одной из основных причин появления импульсных помех являются локальные нарушения работы приемной матрицы фото- или видеокамеры. В частности, деградация и дефекты элементов матрицы могут приводить к возникновению аномальных пикселей с существенно отличающимися от уровня полезного сигнала амплитудами яркости. Причем на сформированном исходном снимке могут появляться не только отдельные искаженные пиксели, но и локализованные группы таких пикселей. Все это указывает на актуальность задачи исследования устойчивости используемых моделей сверточных нейронных сетей к импульсным помехам. Цель данной работы — исследовать устойчивость моделей полносверточных нейронных сетей Mo-U-Net и At-Mo-U-Net (с механизмом внимания) к импульсным помехам на RGB-снимках деревьев пихты сибирской, пораженных уссурийским полиграфом.

В качестве исходных данных используются RGB-снимки участков пихтовых насаждений, пораженных уссурийским полиграфом и полученных с помощью фотокамеры, установленной на БПЛА. Снимки с пространственное разрешение 0,1 м/пиксель и соответствующие им полученные экспертами маски (карты) сегментации разделены на фрагменты размером 256 на 256 пикселей для каждого из трех каналов. Исходный набор данных (датасет) включает обучающую, валидационную и тестовую выборки для комплексной оценки моделей. При семантической сегментации деревьев пихты выделяются четыре класса их жизненного состояния и класс фона. Качество сегментации и, соответственно, устойчивость моделей полносверточных нейронных сетей в условиях импульсных помех оцениваются с использованием метрик IoU для отдельных классов жизненного состояния и метрики mIoU для усредненной оценки по всем классам. Перед проведением экспериментов по исследованию устойчивости моделей Mo-U-Net и At-Mo-U-Net необходимо каждую из них обучить на фрагментах обучающей выборки с импульсными помехами. Каждый фрагмент такой выборки основан на соответствующем фрагменте обучающей выборки исходного датасета, к которому искусственным образом добавлены смоделированные импульсные помехи. Для задания пространственного распределения пикселей с помехами используется модель Томаса, позволяющая представить их в виде совокупности локальных кластеров. Центр каждого кластера рассматривается как положение локального источника искажения, а дочерние точки кластера представляют из себя пиксели, подвергаемые зашумлению. Пространственные отклонения дочерних точек относительно центра кластера задаются случайным образом таким образом, что вероятность их появления выше в непосредственной близости от центра и уменьшается с удалением от него. Такой подход позволяет имитировать локализованный характер распространения дефектов на RGB-снимках. Число дочерних точек каждого кластера в модели Томаса является случайной величиной, распределенной по закону Пуассона. В настоящем исследовании изменяется математическое ожидание λ числа дочерних точек кластера, принимающее значения 5, 10, 15, 20, 25, 50, 75 и 100. При этом общая доля S площади каждого фрагмента, занимаемая пикселями с помехами, и амплитуда их яркости А остаются постоянными и составляют, соответственно, 0,25 и 1,5. Таким образом, изменяется не общая площадь зашумления или амплитуда помех, а характер их пространственной группировки. При малом значении математического ожидания λ для формирования заданного (через значение S) количества зашумленных пикселей в среднем требуется больше кластеров, чем при большем значении λ. Иными словами, при увеличении этого параметра число кластеров на фрагменте уменьшается, а локальная концентрация дочерних точек вокруг каждого из центров кластеров возрастает. Необходимо исследовать влияние параметра λ (и тем самым оценить влияние пространственного распределения пикселей с импульсными помехами на фрагменте) на устойчивость моделей нейронных сетей при постоянных значениях площади зашумления S каждого фрагмента и амплитуды яркости А пикселей с помехами.

Выполнялись две серии экспериментов. В первой серии импульсные помехи по разработанному алгоритму моделирования вносились на фрагменты обучающей выборки в виде кластеров, причем в каждом из экспериментов кластеры помех моделировались с использованием только одного значения математического ожидания λ из указанного выше ряда значений этого параметра. При этом фрагменты тестовой выборки импульсных помех не имеют. Это позволяет оценить влияние пространственной структуры импульсных помех через задание значений λ на устойчивость процедуры обучения каждой модели. Во второй серии экспериментов исследуется устойчивость уже обученных моделей при внесении импульсных помех также в виде кластеров во фрагменты тестовой выборки. По результатам этих экспериментов для различных сочетаний значений λ при зашумлении фрагментов обучающей и тестовой выборок оценивалась устойчивость каждой из моделей Mo-U-Net и At-Mo-U-Net.

По результатам экспериментов первой серии установлено, что при наличии импульсных помех на фрагментах обучающей выборки с ростом значений λ изменения значений метрик IoU и mIoU носят немонотонный характер. Наиболее низкие значения метрики IoU при всех заданных значениях λ наблюдаются для деревьев пихты класса «Отмирающее», причем они значительно ниже принятого порогового значения 0,5. Однако при любом заданном в экспериментах λ значения метрики mIoU для обеих моделей превышают пороговое значение 0,5, что указывает на высокую усредненную устойчивость каждой процедуры обучения к импульсным помехам. При анализе результатов второй серии экспериментов выявлено, что влияние λ при моделировании кластеров помех на фрагментах тестовой выборки на устойчивость моделей следует оценивать только по результатам исследования одного и того же обученного экземпляра каждой модели. При этом с ростом значения λ наблюдается плавное снижение устойчивости каждого из экземпляров моделей. По результатам первой и второй серии экспериментов также показано, что использование механизма внимания в модели At-Mo-U-Net не обеспечило в большинстве экспериментов ожидаемой ее более высокой устойчивости к импульсным помехам по сравнению с моделью Mo-U-Net. Это имеет место при исследованиях как устойчивости процедуры обучения, так и устойчивости самой модели.