Forecasting radiation fog by combining station and satellite data using Machine Learning
Loading...
Files
Date
Publisher
Philipps-Universität Marburg
Abstract
Fog and the associated poor visibility conditions significantly compromise safety in car, ship, and air traffic. Accurate forecasting of fog formation and dissipation is crucial but remains challenging due to the complexity of the physical processes involved and the influence of local topography and weather conditions on fog dynamics.
Machine learning (ML) methods have shown great potential in fog forecast, offering a promising alternative to traditional numerical weather prediction models (NWP). The goal of the dissertation is to develop a model that predicts fog formation and dissipation by combining satellite data with station data for the very short-term forecasting ranges from one to four hours into the future.
The dissertation consists of three main working packages. In the first work package (WP1), an ML- and classification-based forecasting framework for radiation fog was developed. This included a novel design of model training and evaluation procedures that consider the specific characteristics of a fog dataset and ensure accurate evaluation against benchmark models and chance. This is contrary to the established evaluation scheme that doesn’t contextualize performance indices like F1 score (further discussed in: Vorndran et al. 2023 – Article 1). Station data was used for model training.
In the second work package (WP2), the classification-based ML fog forecast model based on meteorological point observations developed in WP 1 was significantly improved. This was achieved by a rigorous preprocessing of the noisy input data. This preprocessing consisted in the first step of low pass filtering via a gaussian moving average filter. Subsequently, in the second step the first order derivative of selected variables was added to the training dataset. Thus, removing fog-irrelevant high frequency portions of the signal and adding a time development component (further explained in: Schütz et al. 2024 – Article 2).
In the final work package (WP3), the forecasting model was trained with station and satellite data, to learn about the potential of satellite data predictors for area-wide forecasts. Furthermore, the classification-based forecast was changed to a regression-based forecast of horizontal visibility values to provide more precise information on the radiation fog development as urgently needed for operational forecast applications (e.g. airport weather). Different combinations of station and satellite data were assembled to analyze the effects of various data configurations on model performance (further explained in: Schütz et al. (under review) – Article 3).
The dissertation has resulted in a highly efficient machine learning model for radiation fog forecasting. The model demonstrates superior performance compared to baseline models such as logistic regression and persistence, achieving an F1 score of 0.88 in predicting fog. The prediction performance of the model was improved by 17% with rigid predictor selection and preprocessing. The efficient approach, both in computational resources and dataset configuration, underscores the model's potential for the practical application in operational forecasting systems.
Nebel und die damit verbundenen schlechten Sichtverhältnisse beeinträchtigen die Sicherheit im Auto-, Schiffs- und Flugverkehr. Eine genaue Vorhersage der Nebelbildung und -auflösung ist deshalb von entscheidender Bedeutung, bleibt aber aufgrund der Komplexität der beteiligten physikalischen Prozesse und des Einflusses der lokalen Topografie und Wetterbedingungen auf die Nebeldynamik eine Herausforderung.
Maschinelle Lernverfahren (ML) bieten großes Potenzial für die Nebelvorhersage und können eine vielversprechende Alternative oder Ergänzung zu traditionellen numerischen Wettervorhersagemodellen (NWP) darstellen. Ziel der Dissertation ist es, ein Modell zu entwickeln, das durch die Kombination von Satellitendaten mit Stationsdaten im sehr kurzfristigen Vorhersagebereich von einer bis vier Stunden die Nebelentstehung und -auflösung vorhersagt.
Die Dissertation besteht aus drei Arbeitspaketen. Im ersten Arbeitspaket (WP1) wurde ein ML- und klassifikationsbasierter Vorhersagerahmen für Strahlungsnebel entwickelt. Dies umfasste ein neuartiges Design von Modelltrainings- und Evaluierungsverfahren, die die spezifischen Eigenschaften von Nebeldatensätzen berücksichtigen und eine belastbare Evaluierung gegenüber Benchmark-Modellen gewährleisten. Dies steht im Gegensatz zu etablierten Bewertungsschemata, die Leistungsindizes wie den F1-Score nicht kontextualisieren (siehe auch: Vorndran et al. 2023 - Artikel 1). Für das Modelltraining wurden Stationsdaten verwendet.
Im zweiten Arbeitspaket (WP2) wurde das in WP 1 entwickelte klassifikationsbasierte ML-Nebelvorhersagemodell auf Grundlage meteorologischer Punktbeobachtungen erheblich verbessert. Dies wurde durch eine rigorose Vorverarbeitung der verrauschten Eingangsdaten erreicht. Diese Vorverarbeitung bestand im ersten Schritt aus einer Tiefpassfilterung mittels eines Gauß’schen gleitenden Mittelwertfilters. Anschließend wurde die erste Ableitung ausgewählter Variablen dem Trainingsdatensatz hinzugefügt. Auf diese Weise wurden nebelirrelevante hochfrequente Signalanteile entfernt und eine Zeitentwicklungskomponente hinzugefügt (näher erläutert in: Schütz et al. 2024 - Artikel 2).
Im letzten Arbeitspaket (WP3) wurde das Vorhersagemodell mit Stations- und Satellitendaten trainiert, um das Potenzial von Satellitendaten für flächendeckende Vorhersagen zu untersuchen. Darüber hinaus wurde die klassifikationsbasierte Vorhersage auf eine regressionsbasierte Vorhersage der horizontalen Sichtweite umgestellt, um präzisere Informationen über die Entwicklung von Strahlungsnebel zu erhalten, die für operationelle Vorhersage (z.B. am Flughafen) dringend benötigt werden. Es wurden verschiedene Kombinationen von Stations- und Satellitendaten zusammengestellt, um die Auswirkungen verschiedener Datensatzkonfigurationen auf die Modellleistung zu analysieren (näher erläutert in: Schütz et al. (under review) - Artikel 3).
Das Ergebnis der Dissertation ist ein effizientes maschinelles Lernmodell für die Vorhersage von Strahlungsnebel. Das Modell zeigt im Vergleich zu den Benchmark-Modellen wie der logistischen Regression und der Persistenz eine überragende Leistung und erreicht bei der Vorhersage von Nebel einen F1-Wert von 0,88. Die Vorhersageleistung des Modells wurde durch eine sorgfältige Auswahl der Prädiktoren und Vorverarbeitung um 17 % verbessert. Die hohe Effizienz des Ansatzes, sowohl bezüglich der Rechenressourcen als auch der Datensatzkonfiguration, unterstreicht das Potenzial des Modells für die praktische Anwendung in operationellen Vorhersagesystemen.