Abb.1: Die KI-Analyse von Sentinel-1-Bildern aus dem Jahr 2018 zeigt eine Überschwemmung in einem Pariser Vorort (Farbe Magenta). IBM und die ESA haben ihr TerraMind-KI-Modell anhand des neuen TerraMesh-Datensatzes verbessert, um Überschwemmungen von bereits vorhandenen Wasserflächen unterscheiden zu können.

IBM und die ESA haben ihre multimodalen TerraMind-Modelle anhand eines neu entwickelten Datensatzes optimiert. Der soll dazu beitragen, uns besser auf Naturkatastrophen vorbereiten und darauf reagieren zu können.

Im vergangenen Jahr wüteten in Bolivien rekordverdächtige Waldbrände, die eine Fläche von der Größe Griechenlands verwüsteten, Tausende von Menschen vertrieben und großen Verlusten an Ernten und Vieh führten. Als Ursache der Brände wurden Landrodungen, das Abbrennen von Weideland und eine schwere Dürre während des wärmsten Jahres seit Beginn der Aufzeichnungen genannt.

Die Waldbrände in Bolivien sind nur eines von Hunderten extremer Überschwemmungs- und Waldbrandereignissen, die in einem neuen globalen, multimodalen Datensatz namens ImpactMesh erfasst wurden. Dieser wurde diese Woche von IBM Research in Europa und der Europäischen Weltraumorganisation (ESA) als Open Source veröffentlicht. Der Datensatz ist zudem multitemporal - das heißt, er enthält Momentaufnahmen von überfluteten oder von Bränden betroffenen Gebieten vor und nach einem Ereignis. Das Filmmaterial wurde im Laufe des letzten Jahrzents von den Erdumlaufbahnsatelliten Copernicus Sentinel-1 und Sentinel-2 aufgenommen.

Um ein klareres Bild der Veränderungen auf Landschaftsebene zu erhalten, wird jedes der Extremereignisse im Datensatz durch drei Arten von Beobachtungen dargestellt – optische Bilder, Radarbilder und eine Höhenkarte des betroffenen Gebiets. Wenn Sturmwolken und Rauchwolken die optischen Sensoren daran hindern, das Ausmaß von Überschwemmungen und Waldbränden aus dem Weltraum zu erfassen, können Radarbilder und die Höhendaten des Geländes helfen, das Ausmaß des Geschehens zu verdeutlichen.

Abb. 2: Eine Analyse von Satellitenbildern zeigt unter Verwendung des optimierten TerraMind-Modells von IBM und der ESA das Ausmaß der Brandnarben, die ein Waldbrand auf Korfu, Griechenland, im Jahr 2023 hinterlassen hat.

Die heutigen geospatialen Foundation Models werden anhand von Rohdaten aus Satellitenaufnahmen für einen bestimmten Ort und Zeitpunkt als Abstraktion der physischen Welt vortrainiert. Sie werden entweder anhand von multitemporalen Vorher-Nachher-Bildern trainiert, wie es bei den Prithvi-Modellen von IBM und der NASA der Fall war, oder anhand von Daten unterschiedlicher Modalitäten, wie es beim TerraMind-Modell von IBM und der ESA der Fall war. Dieses wurde Anfang dieses Jahres im Rahmen des Future EO-Programms der ESA veröffentlicht. Der ImpactMesh-Datensatz wurde entwickelt, um diese Ansätze miteinander zu verbinden und die Auswirkungen von Überschwemmungen und Bränden deutlicher hervorzuheben.

Um sein Potenzial vorzuführen, nutzten Forschende von IBM und der ESA den Datensatz, um ihr früheres TerraMind-Modell für die Kartierung von Naturkatastrophen anzupassen. In ersten Experimenten stellten sie fest, dass TerraMind die Modelle, die mit einzelnen Sentinel-2-Bildern trainiert wurden, um mindestens 5 % übertreffen konnte. Das war möglich, indem das Modell anhand von Höhendaten sowie optischen und Radarbildern eines Gebiets vor und nach einem Waldbrand optimiert wurde.

Abb.3: Der ImpactMesh-Datensatz von IBM und ESA ist die erste globale multimodale und multitemporale Sammlung von Bildern, die extreme Überschwemmungen und Waldbrände des letzten Jahrzehnts dokumentieren.

Überschwemmungen und Waldbrände machen zusammen fast die Hälfte aller in den letzten zehn Jahren verzeichneten Naturkatastrophen aus, und es gibt Hinweise darauf, dass diese Ereignisse mit der Erwärmung des Erdklimas immer schwerwiegender werden.

Auf ImpactMesh trainierte KI-Modelle könnten für eine Reihe von Anwendungen eingesetzt werden, von der Planung der unmittelbaren Reaktion nach einer Katastrophe bis hin zur Schadensbewertung und der Ermittlung, wo (und wo nicht) etwas wieder aufgebaut werden sollte. Die einzigartige Datenbasis des Datensatzes, die sowohl die Zeit vor als auch nach der Katastrophe abdeckt, könnte auch bei der Erstellung genauerer Risikokarten hilfreich sein.

„Unser Ziel ist es, Forschende und Einsatzkräfte in die Lage zu versetzen, Erdbeobachtungsdaten für eine schnellere und genauere Katastrophenkartierung zu nutzen“, sagte Giuseppe Borghi, Leiter der Φ-Lab-Abteilung der ESA. „Dies ist ein Schritt hin zum Aufbau von Resilienz angesichts eines sich verändernden Planeten.“

Abb. 4: Die Karte zeigt extreme Überschwemmungen in Australien 2022. Darauf konnte das TerraMind-Modell von IBM und der ESA, das mit dem ImpactMesh-Datensatz optimiert wurde, trotz starker Wolkenbedeckung überschwemmte Gebiete mithilfe der links gezeigten Radarbilder identifizieren.

Der ImpactMesh-Datensatz und die angepassten TerraMind-Modelle sind Teil einer laufenden Zusammenarbeit zwischen IBM und der ESA. Im April veröffentlichten die Forscher ihr multimodales TerraMind-Modell, das zu diesem Zeitpunkt bei gängigen Kartierungsaufgaben auf dem Community-Benchmark PANGAEA ein Dutzend anderer Geodatenmodelle übertraf.

Die Arbeit ist Teil anhaltender Bemühungen von IBM Research, branchenführende Open-Source-KI-Modelle, -Tools und -Benchmarks zur Erforschung unseres Planeten zu entwickeln.

„ImpactMesh könnte einen neuen Standard für die Anwendung von Geodaten-KI bei Naturkatastrophen setzen“, sagte Juan Bernabé-Moreno, Director of IBM Research Europe, Ireland, and UK. „Durch fortschrittliche Modellarchitekturen, umfangreiche Erdbeobachtungsdaten und offene Zusammenarbeit können wir unsere Vorbereitung und Reaktion auf extreme Ereignisse verbessern.“

Zusätzlich zu ImpactMesh veröffentlichen IBM und die ESA TerraKit, ein Open-Source-Paket, das es einfacher macht, Geodatensätze zu erstellen und KI-Modelle mit den aktuellsten Informationen abzustimmen. Mit TerraKit kann man die von ImpactMesh zusammengestellte Sammlung kuratierter Daten zu Überschwemmungen und Waldbränden erweitern oder einen neuen Datensatz von Grund auf erstellen.

Die neu optimierten TerraMind-Modelle sowie ImpactMesh sind auf Hugging Face unter einer freizügigen Apache 2.0-Lizenz verfügbar. „Wir hoffen, dass Forschende diese Arbeit ausweiten und die Art und Weise, wie wir Naturkatastrophen erfassen und darauf reagieren, verbessern können“, sagte Benedikt Blumenstiel, Software Engineer bei IBM, der beim Aufbau des Datensatzes und der Optimierung der Modelle mitgewirkt hat.