Разработка алгоритмов для обеспечения целостности и полноты исторических данных о ледовой обстановке в Арктике

Арктический регион в последние десятилетия привлекает к себе все больше внимания и становится одним из важнейших для нашей страны с точки зрения экономики и геополитики. Таяние морского льда открывает новые возможности для судоходства, освоения территории, добычи полезных ресурсов и научных исследований. Это делает актуальным разработку и совершенствование методов информационного описания природных условий Арктики. Одной из важных задач в этом направлении является создание сводной базы данных об исторических ледовых условиях за максимально длительный период наблюдений (далее – БД). На основе такой информации могут решаться различные задачи по стратегическому моделированию судоходства (Таровик и др., 2017), стохастическому описанию ледовой обстановки будущего (Май и др., 2022) и отслеживанию климатических изменений. Основными источниками информации для получения ледовых данных являются данные национальных исследовательских центров, таких как Арктический и Антарктический научно-исследовательский институт (ААНИИ), National Snow and Ice Data Center (NSIDC), EU Copernicus Programme (Copernicus), International Arctic Buoy Programme (IABP), Ocean and Sea Ice Satellite Application Facility (OSI SAF).

Однако поскольку объем архивной информации о ледовых условиях исключительно велик, соответствующие данные не могут не иметь пропусков и неточностей. Как показывает опыт, данные практически из всех источников имеют как пропуски (отдельные параметры или данные по целым регионам), так и противоречащие друг другу значений (например, несовпадение общей и частных сплоченностей льда). Настоящая работа посвящена созданию прикладных алгоритмов для обеспечения целостности и непротиворечивости больших данных о ледовой обстановке на основе комбинирования и сопоставления различных источников.

Основой для создания базы данных ледовых условий послужила информация из электронных ледовых карт ААНИИ за период с 1997 по 2022 гг. (http://wdc.aari.ru/datasets/d0004/), имеющих временную дискретность около одной недели.

Анализировались следующие параметры льда: общая сплоченность, частные сплоченности, возрастные градации и формы морского льда. Методика формирования БД включала в себя следующие общие этапы:
1. Перепроецирование отдельной векторной или растровой ледовой карты в проекцию и экстент прямоугольной 25 км сетки.
2. Послойная региональная раздельная по источникам данных (ААНИИ, Гидрометцентр России, НИЦ Планета, NSIDC США) растеризация векторных карт формата SIGRID-3.
3. Формирование массива фактических ледовых условий недельной дискретности путем послойного объединения региональных раздельных по источникам данных полей параметров с использованием в качестве ведущей для создания временных меток одной из серий региональных ледовых карт.
4. Устранение пропусков по времени и пространству в массиве фактических ледовых условий путем экстраполяции данных по пространству (до 3-х шагов) и времени (-/+ 1 шаг);
6. Объединение полученного массива фактических ледовых условий недельной дискретности.
7. Вывод полученного массива в формате реляционной базы данных (SQLite) с различными идентификаторами для ячеек.

Для заполнения отсутствующих данных значениями «чистой воды» и устранения других несоответствий данных о сплоченности ледяного покрова были выбраны следующие источники спутниковых данных:
OSI-450-a – база данных, имеющая относительно низкую погрешность, а также охватывающая необходимый временной промежуток с 1997 по 2005, который не покрывается другими источниками.
OSI-401-d – данные этой базы имеют относительно высокое пространственное разрешение (10×10 км), что позволяет получать информацию о сплоченности льда с высокой степенью детализации. Качество данных выше, чем у OSI-450, поэтому, начиная с марта 2005 и по конец временного ряда мы используем продукт OSI-401.

Для удобства дальнейшей работы, информация о фактических ледовых условиях была переведена из формата базы данных (SQLite) в матричный бинарный формат, что позволило использовать MATLAB. Далее необходимо было сопоставить координатные сетки и узлы сеточных областей проектов OSI-401 и OSI-450. Для этого проводилось интерполирование значений из OSI-401 и OSI-450 в узлы координатной сетки исходной базы данных. Помимо этого, базы спутниковых данных отличаются друг от друга временной дискретностью. Поэтому из ежедневной информации, содержащейся в данных OSI, брались только те значения, которые соответствуют еженедельной временной дискретности. При этом была учтена задержка в 2-3 дня, которая характерна для процесса создания ледовых карт (Афанасьева и др. 2019).

Первый этап коррекции базы данных заключался в визуальном отслеживании изменения полей характеристик льда и выделении зон, где, по мнению эксперта, отмечались неестественные значения. На первом этапе было обнаружено несколько характерных областей в которых выявлялись очевидные несоответствия данных или данных не было вовсе.

Для заполнения отсутствующих данных в морях Тихого океана и в северной части Баренцева моря, а также в других, менее крупных по размеру, областях привлекались спутниковые данные. В случае отсутствия информации о ледовых условиях в исходной базе данных, заполнялись значениями из стороннего источника только ячейки чистой воды. Алгоритм искал соответствующие условию ячейки, заполнял их новой информацией из спутниковых баз данных и сохранял полученные значения ячеек в виде новых массивов. Таким образом, удалось заполнить данные на весьма обширной акватории.

Работая над проблемой, распространенной по большей части в районе побережья Камчатки, был создан алгоритм, который позволял найти несоответствия в отдельных ледовых характеристиках. Так, например, было отмечено, что в проблемных ячейках наблюдалась десятибалльная сплоченность льда, но при этом толщина льда равнялась нулю, что очевидно некорректно. Обнаружив данную закономерность, мы смогли сформулировать условие, благодаря которому, алгоритм находил «ошибочные» ячейки и удалял их.

Что касается ячеек, где наблюдалась отрицательная или больше, чем десятибалльная сплоченность, то для их коррекции с помощью алгоритма пропорционально распределялись значения частных сплоченностей, чтобы в сумме они давали 10 баллов. Наиболее сложным в техническом аспекте стало исправление отсутствия или плохого качества данных по всей береговой зоне (в непосредственной близости к суше). Для исправления таких данных алгоритм определял зону с отсутствием данных и заполнял ее модальным значением окружающих ее ячеек. Это действие повторялось внутри цикла, что позволило «по пикселям» заполнить требующие корректировки области. Следует отметить, что при исполнении данного алгоритма, заполняются и некоторые ячейки, которые формально могут относится к суше. После отработки всех алгоритмов нам удалось получить базу данных с исправленными областями, где ранее были некорректные данные, или они отсутствовали. Используя скорректированную базу данных, можно выявить статистические закономерности изменения ледовитости в наиболее важных для развития Северного морского пути морях.

В ходе работы была сформирована база данных архивных ледовых условий и обеспечена целостность и полнота содержащейся в ней информации. Последнее достигнуто при помощи автоматизированного алгоритма коррекции проблемных пространственно-временных зон, где наблюдаются пропуски, несогласованности и ошибки. Полученная база данных позволяет отследить эмпирические зависимости и статистические особенности пространственно-временного распространения ледовых характеристик. Полученные в ходе работе результаты могут использоваться для систематизации информации о ледяном покрове и применяться для безопасного планирования маршрутов судов по Северному морскому пути.

Работа выполнена при поддержке Российского Научного фонда (грант № 23-19-00039).