THINK Blog DACH

Von Larissa Jourdan, Client Engineering Business Technology Leader, Anja Popovic, Advisory Innovation Designer, und Thomas Müller, Advisory Client Technology Engineer.

Ayuda, robo! Das ist spanisch und heißt Hilfe, Überfall! Stellen Sie sich vor, Sie wurden soeben auf der Straße ausgeraubt und benötigen schnell Hilfe. Sie rufen den Notruf der Polizei an. Die Person am Telefon versteht jedoch ihre Sprache nicht. Wie teilen Sie mit, wo Sie sind? Wie erklären Sie was passiert ist?

Was wäre, wenn Sprache keine Rolle mehr spielen würde… und die Polizei – Ihr Freund und Helfer – Sie in der Sprache, die sie am besten beherrschen, versteht … und Sie alle wichtigen Infos in Ihrer Muttersprache schnell kommunizieren könnten?

KI-unterstützte Dialoge zum besseren Verständnis und schnelleren Bearbeitung von Notrufen

Das IBM Client Engineering Team hat zusammen mit der Deutschen Hochschule der Polizei und den am Projekt beteiligten Polizeileitstellen Dortmund (NRW), Würzburg (Bayern) und Osnabrück (Niedersachsen) im September 2022 ein Pilotprojekt gestartet, um die tägliche Arbeit in der Notrufannahme zu erleichtern, besonders was die Sprachbarrieren betrifft.

Gesucht wurde eine Lösung, die die Bearbeitungszeit der Notrufe minimiert und es somit ermöglicht, weitere Notrufe schneller entgegen nehmen zu können. Zudem: Wie kann Frustrationstendenzen auf Seiten der Anrufer und der Bearbeitenden durch eine bessere Verständigung vorgebeugt werden? Wie können die Polizeistreifen besser abgesichert werden durch bessere Informationen über den Sachverhalt?

Und allem voran: wie können wir Menschen in unserer Gesellschaft, die der deutschen Sprache nicht mächtig sind, schnell mit einer Polizeistreife am benötigten Ort helfen?

In einer ersten Innovations-Phase wurde zusammen mit Notrufsachbearbeiter_innen, die Notrufe am Telefon in der Leitstelle entgegennehmen, ein Lösungsansatz erarbeitet, der einen erheblichen Mehrwert für die Notrufsachbearbeiter_innen wie auch die Polizeileitstellen darstellen würde.

Anforderungen an Geschwindigkeit und Dialogqualität

In nur fünf Wochen entstand in enger Zusammenarbeit zwischen Notrufsachbearbeiter_innen und dem IBM Client Engineering Team ein Prototyp, in dem iterativ das Feedback aus dem Team in Live-Umgebung programmiert wurde.

Die Anforderungen an diesen Lösungsansatz waren herausfordernd: Zum einen bedarf es einer hohen Qualität der Sprachübersetzungen und Transkribierungen durch vortrainierte KI-Sprachmodelle (NLU – Natural Language Understanding). Des Weiteren sollte die Geschwindigkeit der Übersetzung nahezu simultan sein und die Fehlerquote der erkannten und übersetzten Begriffe gleichzeitig gering. Außerdem sollte die Lösung den deutschen Datenschutz-Gesetzen genügen.

Das Team hat mit Hilfe von IBM Watson Text-to-Speech (TTS) und Speech-to-Text (S2T) und Watson Translator Technologie ein Interface entwickelt, dass sich nach Aktivierung durch den/die Notrufsachbearbeiter_in über die bestehende Software-Anwendung legt. Dieses ist nur für diese zu sehen und hilft ihnen dabei, die anrufende Person im Dialog dank der Übersetzungen zu leiten. Im Gegensatz zu gängigen, kommerziellen Übersetzungstools bietet der IBM Watson Assistant für den Unternehmenskontext die Möglichkeit, die Hoheit über die Daten zu bewahren, indem der Kunde selbst entscheidet, welche Daten über welche Kanäle und für welche Nutzer und Instanzen geteilt werden dürfen und welche nicht. Des Weiteren gibt es die Möglichkeit gerade in sensiblen Kontexten wie der inneren Sicherheit Daten auch physisch zu isolieren und in isolierter Umgebung zu speichern, so dass keine unbefugten Nutzer Zugriff darauf haben. Mit modernen Verschlüssungstechniken besteht die Möglichkeit, auf die komplette Datenkommunikation eine Verschlüsselung anzuwenden. Zudem ist die Watson Assistant Technologie ISO-zertifiziert für Cybersicherheit und Datenschutz, um den hohen Anforderungen von Unternehmen und Organisationen, wie z.B. staatlichen Institutionen gerecht zu werden.

Wenn ein Notruf hereinkommt, verarbeitet das System über NLU den gesprochenen Dialog, sucht automatisch die erkannte Sprache heraus (falls vorhanden und vortrainiert) und übersetzt und transkribiert den Dialog in die deutsche Sprache. Die Übersetzung ist in einem kleinen Fenster simultan zum Dialog zu lesen. Falls die anrufende Person weder Deutsch versteht noch spricht, kann der/die Notrufsachbearbeiter_in über das Texteingabefeld eine Nachricht eingeben. Das System übersetzt das Geschriebene in die Sprache der anrufenden Person und gibt das Ergebnis per Sprachausgabe (männliche oder weibliche Stimme wählbar) an den Anrufenden durch.

ElsA erscheint bei Bedarf und hilft ad-hoc

Der Prototyp namens ElsA (kurz für Einsatzleitstellenassistenz) lässt sich bei Bedarf einfach zuschalten und hilft ad hoc. Mehr dazu, wie es funktioniert in folgendem Video:

»Sehr beeindruckend – Ich bin überrascht, wie genau es doch ist« (Judith, Notrufsachbearbeiterin aus der Leitstelle Osnabrück)

»Das mit dem Raub war schon eine Glanzleistung! Das vom System übersetzt zu bekommen, wie sieht der Täter aus, wohin ist er geflüchtet usw.« (Thomas, Notrufsachbearbeiter aus Leitstelle Osnabrück)

Die positive Resonanz hat gezeigt, dass ElsA einen sinnvollen Platz in der täglichen Polizeiarbeit einnehmen könnte. Getestet wurden zum einen Französisch zu deutsch und vice versa und Anrufe in spanischer Sprache. Hierbei waren immer Notrufsachbearbeiter_innen dabei, die den Anruf entgegennahmen und ElsA getestet haben. Diese Sprachen sind bereits in Watson TTS/S2T hinterlegt.

Durch die Verwendung von ElsA konnten Dialoge überraschend schnell in beide Richtungen nahezu fehlerfrei verstanden werden. Auch Straßen- und Ortsnamen (»minimale must-have Information bei Notrufen) konnten durch die Arbeit der Data Scientisten im Dialog richtig extrahiert und dargestellt werden. Natürlich mussten die Notrufsachbearbeiter_innen an der ein oder anderen Stelle nachfragen – dank ElsA konnten diese Nachfragen jedoch schnell und sinngemäß übersetzt und von den Anrufenden beantwortet werden.

Fähigkeiten wie die eigene Stimme für ElsA’s Sprachausgabe zu hinterlegen, Ausbau der Sprachmodelle mit weiteren relevanten Sprachen, die technische Anbindung an die bestehenden internen Polizeisysteme in der jeweiligen Leitstelle und dadurch weitere Extraktionen von benötigten Informationen während des Notrufdialogs, ein einfaches Onboarding und Schulung ins ElsA-Werkzeug für Notrufer_innen und Halten des Notrufs durch ElsA stehen unter anderem auf der Liste für die Weiterentwicklung der Assistenz im Rahmen einer zukünftigen Zusammenarbeit und föderaler Skalierung ElsAs.