Модель U-Net и её модификации для семантической сегментации поврежденных деревьев сосны сибирской на снимках с БПЛА

Одним из новых факторов, вызывающих массовое усыхание кедровников, является насекомое-вредитель союзный короед Ips amitinus Eichh., заселяющий деревья сосны сибирской кедровой (кедра). Для своевременного выявления заселенных деревьев и проведения фитосанитарных мероприятий важно выявлять начальные стадии повреждения, малозаметные при наземных обследованиях. Использование беспилотных летательных аппаратов (БПЛА) обеспечивает высокую оперативность наблюдений и получение снимков крон деревьев со сверхвысоким пространственным разрешением.
Доклад посвящен разработке моделей глубокого обучения и их исследованию при решении задачи семантической сегментации деревьев кедра, поврежденных союзным короедом, на снимках с БПЛА.
Для анализа состояния деревьев кедра экспертами было выделено пять классов кедра («Условно здоровое», «Свежезаселенное», «С усохшей вершиной», «Свежий сухостой», «Старый сухостой») и класс «Фон». В качестве исходных данных использовались снимки с квадрокоптера DJI Phantom 3 Standard, полученные в июле 2019 г. и собранные в панорамы.
Для решения задачи сегментации изображений с БПЛА был предложен ряд моделей глубокого обучения: полносвёрточная сеть U-Net и две её модификации: multihead-U-Net (MH-U-Net) и multihead-residual-U-Net (MH-Res-U-Net). MH-U-Net – ансамбль из трех моделей U-Net различной глубины, где модели ансамбля делят между собой часть весов и одновременно анализируют изображение в различных масштабах. Модель MH-Res-U-Net обладает всеми особенностями MH-U-Net и дополнительно использует остаточные блоки. Для поиска оптимальных весовых коэффициентов полносверточных сетей максимизировалось значение усредненного коэффициента Жаккара (mIoU) с использованием алгоритма Adam. Оптимизация mIoU частично решает проблему несбалансированности обучающей выборки.
Результаты исследований показали, что все модели успешно классифицируют пиксели пяти классов из шести: модели U-Net и MH-Res-U-Net успешно сегментируют все классы, кроме класса «Свежезаселенное», а модель MH-U-Net – все, кроме класса «Свежий сухостой». Основную сложность для сегментации представили классы промежуточного состояния деревьев. Однако MH-U-Net справляется с сегментацией промежуточного класса «Свежезаселенное», U-Net – класса «С усохшей вершиной», а MH-Res-U-Net – класса «Свежий сухостой». Поэтому одним из перспективных направлений исследований является ансамблирование моделей с целью комбинации их лучших качеств.
Исследование выполнено при финансовой поддержке РФФИ и Администрации Томской области в рамках научного проекта № 18-47-700010 р_а.