Комплексная система мониторинга атмосферных процессов и опасных явлений погоды на основе спутниковых данных и методов ИИ, применяемых в НИЦ «Планета»

Изменения климата, вызванные как природными, так и антропогенными факторами, уже оказывают влияние на все регионы земного шара, причём во многих регионах погодные и климатические экстремальные явления наблюдаются чаще, чем раньше. Для понимания быстро меняющегося климата необходимы длинные ряды наблюдений с наземных и судовых метеорологических станций, радиозондов и других средств наблюдения. Но реалии таковы, что пункты наземных наблюдений часто неравномерны, и сами приборы порой могут выходить из строя, что требует получения новых источников данных, которые бы не уступали натурным измерениям по точности и имели сопоставимое время на обработку и доведение до потребителя. Одним из наиболее важных таких источников являются спутниковые системы дистанционного зондирования Земли, позволяющие обеспечивать круглосуточное и глобальное наблюдение за земной поверхностью и атмосферными слоями. Возможности интерпретации динамики спутниковых полей сделали их важным компонентом при составлении прогнозов погоды и экстренных предупреждений об угрозе возникновения опасных природных явлений. Например, ученые оценили данные разных математических моделей, нацеленных на анализ климата и облачности в Арктике, и установили, что модели при их сравнении выдают разные результаты, что связано с недостатком и разнородностью исходных данных и погрешностями в измерениях. С запуском на высокоэллиптическую орбиту космической системы «Арктика-М» впервые в мире появилась возможность с периодичностью 15 минут получать важнейшие данные о метеорологических параметрах (трехмерные поля ветра, температуры, влагосодержания атмосферы, общее содержание в атмосфере водяного пара и озона и т.д.) на всем огромном пространстве Арктики выше 60° с. ш. Использование такого объема данных для усвоения в схемах численного прогноза погоды позволит заметно повысить точность прогнозов погоды регионального и глобального покрытия. Однако параллельно возникают сложности, связанные с необходимостью анализа огромных массивов разнородной информации, которая часто не имеет единой логической структуры и требует современных и эффективных методов их обработки и интерпретации.
В докладе представлена комплексная система мониторинга атмосферных процессов и опасных явлений погоды на основе спутниковых данных и методов искусственного интеллекта (ИИ), применяемых в НИЦ «Планета». Система направлена на обеспечение высокого качества спутниковой информационной продукции и повышение оперативности ее доведения до потребителя за счет использования различных видов нейронных сетей, алгоритмов на основе компьютерного зрения, передовых методов оптимизации процессов обработки спутниковой информации и использования систем распространения получаемой продукции на основе ГИС и Веб-технологий. Подобная синергия методов и технологий стала возможна ввиду быстрого развития высокопроизводительных вычислительных систем и программных компонентов, позволяющих реализовать сложные алгоритмы обучения. Наряду с важнейшими для качества спутниковых данных процедурами калибровки, проводимыми по эталонным зарубежным приборам, впервые для предобработки данных с отечественных оптических сенсоров применен нейросетевой алгоритм минимизации шумов в виде полос, которые не позволяли получать качественные тематические продукты. Результаты работы алгоритма получили высокую оценку со стороны Государственного заказчика (Госкорпорация «Роскосмос») и внедрены в оперативную работу. Подходы на основе применения нейронных сетей позволили получить линейку уникальных продуктов, превосходящих по качеству и скорости обработки российские и некоторые зарубежные аналоги. Так, например, для получения профилей температуры и влажности, общего содержания озона и водяного пара в атмосфере были применены полносвязные сети (MLP), показывающие более высокую скорость обработки по сравнению с физическими моделями и повышение точности в сравнении с классическими статистическими методами. Визуальные трансформеры (ViT) хорошо учитывают контекст на изображениях, что позволило с их помощью достичь высокой точности обнаружения осадков. Графовые сети (GNN) оказались наиболее эффективны в задачах моделирования структурных данных, а диффузионные (DiT) - позволили получить высокую детализацию при краткосрочном прогнозировании (наукастинге). Использование мощных вычислительных систем на основе кластера графических процессоров (GPU) позволило на порядок увеличить скорость обработки однотипных операций для больших объемов данных и произвести гибкое распараллеливание вычислительных процедур. Наряду с применением специализированных библиотек для машинного обучения удалось ускорить процессы получения информационных продуктов более чем в сто раз.
Одновременно с применением методов ИИ особое внимание при работе уделяется валидации получаемых продуктов. Для каждого типа продукции предусмотрена многоуровневая проверка с применением автоматических методов обработки больших массивов данных, сопоставление с результатами различных наземных наблюдений и аналогичными зарубежными спутниковыми системами.
На сегодняшний день результаты работы комплексной системы мониторинга атмосферных процессов и опасных явлений погоды активно используются в подразделениях Росгидромета, играют важную роль в обеспечении безопасности полетов авиации, являются базовой основой по многим направлениям научных изысканий в вопросах изменения климата и создания долговременных рядов спутниковых наблюдений. Широкий инструментарий на базе региональных и глобальных геоинформационных систем обеспечивает доступ к большому перечню информационных продуктов практически в режиме реального времени.