Метод формирования наборов данных для обучения алгоритмов повышения пространственного разрешения спутниковых изображений на основе статистического моделирования деградаций

Одной из основных проблем при обучении алгоритмов сверхразрешения спутниковых изображений является формирование репрезентативных обучающих пар высокого (HR) и низкого (LR) пространственного разрешения. В большинстве работ изображения низкого разрешения получают искусственным уменьшением исходных изображений высокого разрешения с использованием заранее заданного оператора интерполяции, чаще всего бикубического и других деградаций с эвристическими параметрами. Такой подход удобен для обучения и тестирования моделей, однако реальная деградация спутникового изображения существенно сложнее. Она определяется множеством параметров, пространственной дискретизацией, остаточными геометрическими смещениями, радиометрическими преобразованиями, шумами, особенностями предварительной обработки и различиями условий съёмки. В результате между синтетическими изображениями низкого разрешения и реальными спутниковыми данными возникает разрыв, который может существенно снижать качество работы алгоритмов сверхразрешения на реальных изображениях [1-3].

В настоящей работе предлагается подход к построению статистической библиотеки деградаций по ограниченному набору пространственно совмещённых спутниковых изображений высокого и низкого разрешения. В отличие от использования одной фиксированной модели деградации предполагается восстановление множества локальных реализаций оператора перехода от изображения высокого разрешения к наблюдаемому изображению низкого разрешения. Полученная библиотека предназначена для последующего формирования синтетических обучающих пар на основе реальных изображений высокого разрешения и тем самым позволяет приблизить распределение искусственно формируемых LR-изображений к распределению данных реальной съёмочной системы.

Исходные совмещённые HR-LR-пары разбиваются на соответствующие пространственные фрагменты. Для каждого фрагмента независимо оценивается локальный оператор деградации. Его основными составляющими являются остаточное пространственное смещение изображений, размытие,уменьшение пространственного разрешения и радиометрическое преобразование. Таким образом, переход от HR к LR рассматривается как последовательность физически интерпретируемых операций, а не как произвольное преобразование изображения.

Для компенсации остаточных ошибок предварительного совмещения формируется набор возможных пространственных преобразований. Кандидаты на локальное смещение определяются с использованием структурной информации изображения и методов частотного совмещения. После этого для каждого кандидата оцениваются параметры пространственного размытия и радиометрического преобразования. Выбор параметров выполняется только по части доступных пикселей фрагмента, тогда как оставшаяся часть используется независимо для проверки качества полученной модели. Такое разделение позволяет уменьшить вероятность выбора чрезмерно сложного преобразования, которое хорошо описывает используемый при оптимизации участок изображения, но плохо воспроизводит реальную деградацию на независимых пикселях.
Даже после подбора параметров пространственного и радиометрического преобразования расчётное LR-изображение не совпадает с реальным полностью. Получаемый остаток содержит как случайную, так и структурированную составляющие. В предлагаемом подходе остаток не используется непосредственно в качестве поправки к новым изображениям, поскольку в этом случае в синтетические данные могут переноситься пространственные структуры исходной сцены. Вместо этого исследуются статистические характеристики различных составляющих остатка: плавных низкочастотных изменений, строковых и столбцовых неоднородностей, высокочастотной компоненты и случайной составляющей. Для генерации новых изображений сохраняются параметры и статистики этих процессов, а не исходный остаток конкретного фрагмента.

Таким образом, результатом обработки обучающей группы совмещённых изображений является не набор готовых LR-фрагментов, а библиотека параметров оператора деградации и статистических характеристик остаточной составляющей. В ней сохраняются распределения пространственных сдвигов, параметров размытия и радиометрических преобразований, характеристики различных типов остатка, а также взаимосвязи между этими параметрами. Дополнительно могут учитываться признаки исходного HR-фрагмента, что позволяет в дальнейшем выбирать не произвольную деградацию из библиотеки, а параметры, статистически соответствующие типу наблюдаемой сцены.
Экспериментальная проверка метода проводилась на спутниковых данных различного пространственного разрешения. На первом этапе была сформирована группа из шести непересекающихся сцен, содержащая 16 098 соответствующих пространственных фрагментов. Анализ показал, что использование только базового оператора, включающего уменьшение изображения, пространственное совмещение, размытие и преобразование яркости, не позволяет полностью описать реальные LOW-изображения. Последовательный учёт структурированных составляющих остатка обеспечил существенное уменьшение ошибки на независимой части данных. Медианное значение среднеквадратической ошибки на контрольных пикселях уменьшилось с 12,331 для базового оператора до 6,510 после учёта дополнительных компонент, что соответствует снижению примерно на 47,2 %. При этом различие между ошибками на используемой для оценки параметров и контрольной частях изображения показало необходимость ограничения сложности модели остатка и независимого контроля каждого дополнительного преобразования.

Отдельной задачей является проверка переносимости полученной статистической модели на новые сцены. Для этого предлагается использовать принцип замыкания распределений: изображения независимой контрольной группы повторно анализируются тем же алгоритмом, после чего полученные параметры деградации, их совместные распределения и характеристики остаточных компонент сравниваются с библиотекой, построенной по исходной группе сцен. Такой способ проверки представляется более корректным, чем требование попиксельного совпадения синтетического и реального LOW-изображений, поскольку для реальных спутниковых данных невозможно полностью воспроизвести все условия съёмки и обработки. Основным критерием становится принадлежность деградаций независимых сцен тому же статистическому пространству параметров, которое было восстановлено по исходным данным.
После такой проверки библиотека может применяться к изображениям высокого разрешения, для которых соответствующие реальные LR-изображения отсутствуют. Для каждого HR-фрагмента выбирается допустимая комбинация параметров пространственного преобразования, размытия, дискретизации, радиометрического изменения и остаточных воздействий. При этом целью является не создание максимально разнообразных аугментаций, а генерация множества физически и статистически правдоподобных реализаций изображения, которые могла бы сформировать рассматриваемая съёмочная система. Полученные пары могут использоваться для обучения нейросетевых методов сверхразрешения и других алгоритмов восстановления спутниковых изображений [4]. Подход особенно актуален для методов реального сверхразрешения, качество которых в значительной степени определяется соответствием модели деградации реальным данным [3, 5].
Таким образом, предложен подход к восстановлению статистической модели деградации спутниковых изображений на основе ограниченного набора реальных совмещённых HR–LOW-пар. Его принципиальным отличием от фиксированного бикубического уменьшения является представление деградации в виде набора физически интерпретируемых операторов и статистически описываемых остаточных воздействий. Формирование библиотеки таких параметров позволяет перейти от одной детерминированной модели деградации к распределению правдоподобных преобразований и использовать его для построения расширенных обучающих выборок сверхразрешения по реальным изображениям высокого разрешения.