Повышение эффективности детектирования облачности глубокой конвекции на основе машинного обучения и информации о молниевых разрядах по данным учащенных измерений двух геостационарных МИСЗ, и модельных индексов конвективной неустойчивости

Введение

Опасные и катастрофические конвективные явления связаны с интенсивными конвективными процессами в атмосфере и развитием мощной облачности глубокой конвекции. В зарубежной литературе такие процессы называют конвективными штормами. Большая временная и пространственная изменчивость процессов затрудняет их краткосрочное прогнозирование. Недостаток информационного обеспечения в области изучения конвективных процессов в последние десятилетия дополняется регулярными радиолокационными сетевыми данными, и все большую роль стали играть дистанционные методы учащенных (каждые 5, 15 мин и менее) измерений геостационарных МИСЗ, включая информацию о молниевых разрядах.
Расширение функционала методов машинного обучения также позволяет исследовать возможности распознавания, мониторинга, прогнозирования и предупреждения населения по всему миру. В данной работе использован комплекс информационных продуктов, получаемых на основе статистического и гидродинамического моделирования, при сопоставлении и оценке качества распознавания, прогнозирования интенсивной облачности глубокой конвекции с данными новых регулярных спутниковых измерений о молниевых разрядах с МИСЗ Метеосат-12.
Целью исследования - разработка метода автоматического детектировании ОГК с грозами по учащённым спутниковым данным и выходным полям гидродинамической модели и оценка вклада ряда параметров, включающих предикторы в зависимости от стадии развития ОГК в качество распознавания, мониторинга и наукастинг контуров отдельных ОГК и их скоплений.

Исходные данные

На первом этапе исследования сформирована выборка исходных данных. Для этого использовалась – 1) учащённая информация МИСЗ «Meteosat-11», измерения радиометра SEVIRI с разрешением 5 минут в каждом пикселе от 4-х до 6-ти км по территории зоны обзора северо-восточной части диска для каждого срока; 2) информация выходных полей модели ICON-Ru 6.6 ENA с шагом сетки 6.6 км для Европейской территории России и сопредельных территорий. Для анализа выбрано 9 дней 2025г для изучения случаев с наибольшим числом конвективных и грозовых явлений погоды летом 2025 года: 10-11 мая, 12-14 июля, 20-21 июля, 1-2 августа и 4 августа.
На втором этапе для анализа проведен отбор данных “облачных объектов с наиболее вероятной конвективной ячеистой структурой”, представляющих собой кластеры пикселей, выделенных внутри изотермы 225 K. Всего выделено 99 514 таких уникальных «облачных объектов», на основе формальных порогов. В каждый пятиминутный срок съемки с МИСЗ объект характеризовался определенными сочетаниями параметров, называемыми «состоянием». Время с момента зарождения до рассматриваемого срока можно считать «возрастом» объекта. Соответственно, промежуток времени (интервал) с момента зарождения до распада - продолжительностью жизни ОГК.

Методология

Задача заключалась в сопоставлении информации измерений МИСЗ о наличии верхней границы (ВГ) облачности глубокой конвекции (ОГК) с данными продукта Meteosat Third Generation (MTG) Lightning Imager (LI) Level 2, представляющими собой результаты детектирования гроз в диапазоне электромагнитного спектра (ЭМ) со средней длиной волны 777,4 нм с геостационарного спутника нового поколения Meteosat-12. Пространственное разрешение этой информации в подспутниковой точке составляет 4,5 км, частота обновления - около 1 мс. Данный инструмент измерений позволяет наблюдать не только за молниевыми разрядами, достигающими поверхности Земли, но и за грозами внутри облачности (не достигающими поверхности Земли).
В данном исследовании облачный объект относился к классу «ОГК с грозами» в заданный срок, если вблизи контура объекта наблюдались молниевые разряды в течение следующего часа. Это определение включает в себя, в первую очередь, ОГК на стадии развития (когда для облака характерно большое число молниевых разрядов средней интенсивности) и на стадии зрелости (когда для облака характерны мощные, более редкие молниевые разряды). Таким образом, подтверждено, что в 97,5% случаев контуры выделенных облачных объектов связаны с информацией о молниевых разрядах.
На третьем этапе исследования были построены статистические модели автоматической классификации облачных объектов на классы “ОГК с грозами” и “ОГК без гроз” по различным наборам параметров: выходным полям ЧПП (включая температуру и точку росы на уровне 2М, индексы конвективной неустойчивости CAPE ML и CIN ML), параметрам ВГО (включая площадь, форму и распределение температуры в нескольких ИК-диапазонах). Каждый набор использовался как в статичном варианте (значения только за текущий срок), так и в динамическом (учитывались значения за предыдущие сроки, и их изменение). Модели были обучены на разных комбинациях наборов для оценки влияния каждого набора на качество прогноза. В качестве типа модели был выбран градиентный бустинг. Исходная выборка была разделена на обучающую (80% объектов) и контрольную (20% объектов из выборки). Гиперпараметры (свободные параметры) моделей подбирались на обучающей выборке с помощью метода рандомизированной кросс-валидации с целью максимизации площади под ROC-кривой (ROC AUC).
Эксперименты показали, что доля ложных тревог (FAR) на всей независимой (контрольной) выборке не превышала 13% при вероятности детектирования (POD) на уровне 95%, причём доля ложных тревог сильно варьировалась в зависимости от используемого набора предикторов. Большинство ложных тревог относилось к облачным объектам возрастом менее 30 мин. При этом, более 98% всех объектов распадались в первые 30 минут жизни, более 99% объектов - в первый час жизни (то есть менее 1% объектов существовал дольше 1 часа).
Дополнительно, выборка была разделена на несколько интервалов по возрасту объекта: менее 30 мин, 30-60 мин, 60-180 мин, 180-360 мин и более 360 мин. Каждый объект, по мере развития, мог перейти из одной группы в следующую или распасться. Для каждой группы и каждого набора параметров была обучена отдельная модель градиентного бустинга. Такое разделение позволило оценить коэффициент информативности каждого предиктора для каждой возрастной группы (временного интервала).

Основные результаты

1. Разработан метод автоматического детектирования облаков глубокой конвекции (ОГК), сочетающий учащенные данные спутника «Meteosat-11», а также индексы неустойчивости, поля температуры и точки росы по модели ICON-Ru 6.6 ENA.
2. Метод показал значительную зависимость информативности предикторов и итогового качества распознавания от “возраста” конвективного облака.
3. Для ОГК “возрастом” до 30 минут (начальной стадии) комплексация спутниковой информации и полей ЧПП позволяет существенно улучшить качество распознавания (FAR ~10%) по сравнению с использованием только спутниковых данных (FAR ~44%).
4. Для ОГК “возрастом” от 30 минут до 6 часов качество детектирования ниже (19-28% в зависимости от группы). Наилучших результатов удаётся добиться при комплексации спутниковой информации и полей ЧПП.
5. Для зрелых ОГК (“возрастом “от 6 часов) метод демонстрирует преимущественно высокую эффективность (FAR ~4%) при использовании полей ЧПП и сопоставимую эффективность (FAR ~6%) при использовании спутниковой информации. Как правило, это МКК с высокой вероятностью гроз.