База данных спектральных признаков на основе изображений, зарегистрированных БПЛА, как инструмент для мониторинга характеристик отдельных деревьев

В настоящее время в различных сферах науки и техники активно применяются современные технологии хранения и получения данных дистанционного зондирования Земли (ДЗЗ). Так для получения информации о спектральных отражательных характеристиках древостоев все чаще используются беспилотные летательные аппараты (БПЛА) ввиду их мобильности и относительно невысокой стоимости (Алешко и др., 2017; Lamaka et al., 2023). В то же время, для хранения данных ДЗЗ в научной среде применяются спектральные библиотеки (Давидович, Катковский, 2019) и реляционные базы данных (РБД) (Малышев, Фомин, 2019). Однако в случае сохранения исходных мультиспектральных изображений, регистрируемых БПЛА, количество информации, которой необходимо наполнять РБД, будет крайне велико. Таким образом, существует необходимость разработки подхода к обработке данных, зарегистрированных БПЛА, для заполнения РБД сжатой спектральной информацией с целью получения возможности осуществления мониторинга состояния отдельных деревьев.
В качестве РБД в исследовании была использована быстрая и легкая встраиваемая однофайловая база данных – SQLite. Такой выбор был сделан в силу того, что при мониторинге состояния конкретных деревьев, как правило, нет необходимости внешнего доступа к данным, для каждого анализируемого участка результаты мультивременных измерений могут храниться в отдельном файле БД. При этом производительность и скорость работы такой базы данных будет выше, чем в клиент-серверной модели.
Для получения изображений лесных массивов в работе использовался квадрокоптер DJI Phantom 4 Multispectral. Камера данного БПЛА позволяет регистрировать RGB-изображения, а также изображения в 5 спектральных каналах: синем (450 ± 16 нм), зеленом (560 ± 16 нм), красном (650 ± 16 нм), красном крае (730 ± 16 нм) и ближнем инфракрасном (840 ± 26 нм). Высота полета квадрокоптера при измерениях составляла 100 м. Системы кинематики реального времени (RTK) не использовались.
Для данных, зарегистрированных БПЛА, осуществлялась географическая привязка с использованием оригинального способа повышения точности такой привязки применительно к изображениям сверхвысокого пространственного разрешения, основанного на апостериорной информации об объектах в кадре (Ломако и др., 2023а). После этого применялся алгоритм семантической сегментации нейросетью Deep Forest (Weinstein et al., 2019), позволяющий выделять кроны деревьев на изображении путем включения крон в описывающие прямоугольники. Далее осуществлялась дополнительная обработка изображений с использованием алгоритма автоматического уточнения результатов сегментации, основанного на вычислении значений вегетационных индексов по мультиспектральному изображению с последующим гистограммным анализом. Статистическая точность такого алгоритма (F-Score) составляла 91,9% (Ломако, 2023б). Таким образом, в результате обработки на изображениях выделялись географически привязанные области, соответствующие кронам деревьев.
Для каждой области, полученной на предыдущем этапе, можно получить усредненные значения интенсивности в каналах мультиспектрального изображения. Чтобы в дальнейшем иметь возможность осуществлять мультивременной анализ, необходимо пересчитать эти значения с учетом спектрального отклика каналов камеры и радиометрической калибровки. Кроме того, необходимо нормировать эти значения на зарегистрированный синхронно с полевыми измерениями отраженный от ламбертовской поверхности сигнал солнечного излучения (Lamaka et al., 2023). После применения всех вышеописанных операций для изображения каждого дерева становится доступным нормированный вектор спектральных отражательных характеристик. На основе такого вектора может рассчитано большое количество вегетационных индексов для оценки состояния конкретного дерева. Набор таких векторов (один вектор для каждого дерева на изображении) в совокупности с метаданными (геопривязка, время и дата, угол возвышения Солнца и т.п.) в предлагаемом подходе записывается в JSON-документ (от англ. англ. JavaScript Object Notation) установленного формата, который, в свою очередь, может быть загружен в РБД. Так как точность географической привязки в данном случае позволяет идентифицировать отдельные деревья, поиск в РБД может осуществляться по географическим координатам.
Проверка возможности работы с мультивременными измерениями была проведена путем оценки работы алгоритма применительно к набору из пяти разновременных съемок одного и того же участка леса. Оценивалась повторяемость распознанных крон при сегментации – процент деревьев, выделенных в каждой съемке по отношению к общему числу деревьев в кадре. По результатам анализа выявлено, что средняя повторяемость сегментов составила 81,2%. То есть, использование РБД за счет наличия мультивременных измерений предоставляет возможность повышения статистической точности работы алгоритма сегментации для задачи распознавания крон деревьев.
Таким образом, удалось разработать подход к обработке мультиспектральных изображений, зарегистрированных БПЛА, позволяющий использовать быструю и легкую встраиваю однофайловую РБД для мультивременного анализа спектральных отражательных характеристик отдельных деревьев. Кроме того, использование описанного подхода открывает возможность для повышения статистической точности при семантической сегментации изображений лесного массива.