Комплексирование различных моделей повышения разрешения изображений для анализа спутниковых данных

В настоящей работе предлагается подход к построению алгоритмов и программных блоков повышения разрешения спутниковых изображений на основе комплексирования нейросетевых и традиционных методов.

Основные методы:
«ВС» — вероятностный алгоритм слияния мультиспектрального и панхроматического спутниковых изображений [1];
«СД» — нейросетевое преобразование радиометрического домена изображения [2];
«ОСР» — нейросетевой алгоритм сверхразрешения одиночного спутникового изображения [2];
«ПЛП» — преобразование локального представления для повышения разрешения изображения на основе модели LIIF [3]; поддерживает произвольную кратность увеличения, в том числе ×2, ×3 и ×4.

Вероятностный метод повышения пространственного разрешения мультиспектральных космических изображений с использованием опорного панхроматического изображения основан на вычислении математического ожидания яркости пикселей в каналах улучшенного мультиспектрального изображения. При этом учитываются вероятностные характеристики окрестности пикселя в мультиспектральном изображении и яркость панхроматического изображения в соответствующей точке [1].

Нейросетевой блок смены домена (СД) преобразует радиометрические характеристики изображения в направлении характеристик целевого сенсора. Блок ОСР повышает пространственное разрешение. Совместное использование адаптации домена и сверхразрешения рассмотрено в работе [2]; в предлагаемом пакете эти операции доступны как отдельные блоки для построения схем обработки.

Блок ПЛП, основанный на локальной неявной функции изображения LIIF [3], включает следующие операции:

1. преобразование исходного изображения из радиометрического домена в условное признаковое пространство,
2. трансформация изображения из исходной в целевую сетку в условном признаковом пространстве,
3. обратное преобразование исходного изображения из условного признакового пространства в пространство радиометрического домена путём предсказания значений каналов по локальным значениям в признаковом
Такое представление позволяет получать изображение с заданным масштабом выходной сетки. Увеличение числа пикселей само по себе не означает восстановления всех деталей, отсутствующих во входных данных: блок ПЛП способен сохранять локальные контрасты на изображении, но не восстанавливать их.

Разработан пакет программных блоков, реализующих нейросетевые и классические методы повышения пространственного разрешения спутниковых изображений. Блоки имеют унифицированные интерфейсы ввода-вывода и позволяют строить различные последовательности обработки спутниковых данных («СР-конструктор»).
Для предварительного сопоставления схем использовались безэталонные показатели резкости и локального контраста BREN, Cont и GLLV. Эти показатели не заменяют оценку по независимым эталонным изображениям высокого разрешения.
Рассмотрены схемы ВС → СД → ОСР, ВС → СД → ПЛП, ВС → ПЛП и ПЛП → ВС. На вход подаются панхроматическое и RGB-изображения; ВС выполняет их слияние, а положение ПЛП определяет, применяется ли повышение разрешения до или после слияния. Для схем с конечным ПЛП исследуется увеличение в три раза относительно сетки панхроматического изображения. По результатам предварительного сравнения по показателям BREN, Cont и GLLV на исследованном фрагменте наилучшие значения получены для схемы ВС → СД → ПЛП. Следующей по этим показателям стала схема ВС → СД → ОСР.