Модифицированный алгоритм повышения детальности оптико-электронного снимка с использованием генеративно-состязательной нейронной сетей

В работе рассматривается методика применения генеративно-состязательной нейронной сети (Generative adversarial network - GAN) в интересах обработки высокодетальных изображений, получаемых в результате оптико-электронной съемки Земли из космоса. Основные тенденции развития технологии сетей GAN направлены на улучшение или масштабирование изображений с высоким пространственным разрешением, которые получаются с использованием мобильных цифровых камер, имеющих ограниченный динамический диапазон 8 бит. Однако в области дистанционного зондирования возникают проблемы, такие как обработка растровых данных, имеющих более широкий динамический диапазон. При этом данные имеют географическую привязку и при их обработке необходимо сохранение геометрических пропорций и свойств объектов на изображении.
В настоящий момент многочисленные исследования доказывают эффективность модели нейронной сети GAN как замены классической технологии интерполяции изображений. Однако выявлено, что один и тот же алгоритм обеспечивает разное качество результата обработки в зависимости от характеристик бортовой специальной аппаратуры и свойств исходного изображения.
Важным этапом в обучении сети GAN является подготовка обучающего набора данных, который состоит из пар изображений низкого и высокого пространственного разрешения. При этом пары изображений имеют квазиидентичную пространственную структуру. Для решения задачи повышения детальности изображения стоит отметить нежелательное применение технологий обратной интерполяции при разработке обучающего набора, так как данный подход по сути приводит к повторению технологии деконволюции и в ряде случаев может работать с меньшей точностью. Использование разновременных снимков, имеющих существенный временной интервал получения, может приводить к ошибкам работы алгоритма, проявляющимся в генерации на изображении артефактов и ложных объектов.
В основе алгоритма обучения модели нейронной сети GAN лежит использование комбинации двух нейронных сетей: генератора и дискриминатора. С учетом широкого динамического диапазона данных оптико-электронной съемки из космоса предлагается использовать карту признаков сверточной нейронной сети VGG-19, что обеспечивает более точную оценку работы генератора на этапе обучения и минимизирует потери структурной схожести изображений.
Исследования показали, что при использовании набора данных с близкой по схожести структурой и настроенной картой признаков VGG-19, алгоритм GAN имеет необходимую устойчивость к переобучению при относительно малом объёме обучающего набора и обеспечивает высокие показатели структурной схожести по показателю SSIM (Structural similarity index measure).