Инкрементальная методика сжатия временных рядов спутниковых данных с использованием алгоритма LERC

Объёмы доступных спутниковых данных дистанционного зондирования Земли растут постоянно и радикально. Так, только архивы ЦКП "ИКИ-Мониторинг" (Лупян и др., 2019) ежегодно увеличиваются более чем на петабайт, поэтому актуальна задача сжатия данных при сохранении пригодности данных для научной обработки. Алгоритмы сжатия без потерь семейства Лемпеля-Зива-Уэлча и подобных позволяют сократить объём спутниковых данных лишь в полтора-два раза. Ранее в ИКИ РАН были предложены два подхода к преодолению этого предела: разностная схема хранения временных рядов с постоянным шагом между опорными изображениями (Прошин, Бурцев, 2023) и сжатие с контролируемой ошибкой алгоритмом LERC (Прошин и др., 2024, 2025). В настоящей работе эти подходы развиваются и объединяются. Предложена разностная схема с переменным шагом, в которой новое опорное изображение назначается, когда значение разностной метрики между текущим и предыдущим опорным изображением превышает заданный порог. Исследованы пять метрик: средняя абсолютная ошибка, среднеквадратическая ошибка, коэффициент корреляции, нормализованная взаимная информация и индекс структурного сходства SSIM. Эксперименты проведены на девяти временных рядах ежедневных данных MODIS (каналы RED, NIR и индекс NDVI) продолжительностью 207 дней 2022 г. для трёх тайлов, охватывающих Причерноморье, Западную Сибирь и Восточную Сибирь. Показано, что разностная схема с постоянным шагом обеспечивает экономию дискового пространства от 22 до 55 процентов при оптимальном шаге от 4 до 7 дней, а переменный шаг увеличивает экономию до 45–62 процентов. Все метрики, кроме среднеквадратической ошибки, монотонно связаны с объёмом сжатого разностного изображения и пригодны для выбора опорных изображений. Алгоритм LERC с подбором допустимой ошибки по методике (Прошин и др., 2024) обеспечивает экономию 63–72 процентов. Последовательное применение LERC и разностной схемы с переменным шагом даёт наибольшую экономию — от 78 до 90 процентов. При этом выявлен эффект наложения выбросов квантования в разностях сжатых изображений, из-за которого при слишком большом шаге разностное изображение может занимать больше места, чем исходное. Также рассмотрены пространственные искажения, возникающие из-за поблочной обработки изображений алгоритмом LERC. Предложено рассчитывать допустимую ошибку не по полному диапазону значений, а по диапазону в два среднеквадратических отклонения от среднего значения: это заметно снижает искажения при уменьшении экономии менее чем на один процентный пункт. Отмечено, что ошибка индексов, рассчитываемых по каналам, сжатым LERC, не контролируется, поэтому такие индексы целесообразно хранить отдельно. Результаты могут быть использованы для оптимизации хранения данных в ЦКП "ИКИ-Мониторинг". Работа выполнена на мощностях ЦКП "ИКИ-Мониторинг" в рамках темы Минобрнауки "Космос-Д", номер государственной регистрации 122042500019-6