Die Bank kann's besser: Was KI-Umgebungen von Banken-IT lernen müssen

Vertrauen in KI ist kein neues Problem. Banken lösen es seit Jahrhunderten. Diese These habe ich am 17. Oktober 2026 beim DevFest Hamburg im Track Harbour of Finance vorgestellt. Hier ist die Geschichte dahinter.

Eine Frage, die immer wieder kam

Nach dem Talk kamen viele Leute zu mir. Fast alle stellten am Ende dieselbe Frage: Wie viele Türen brauche ich für meine Sicherheit?

Eine gute Frage. Und eine, auf die es keine seriöse Pauschalantwort gibt. Warum das so ist, erzähle ich am Ende. Erst die Geschichte.

Angefangen habe ich den Talk mit einem Bild, das mich selbst beschäftigt: KI wird gerade zu unserer Assistentin. Und von einer Assistentin erwarte ich drei Dinge. Sie ist da, wenn ich sie brauche. Sie schweigt über das, was sie über mich weiß. Und sie verfälscht nichts.

Das sind genau die drei Dinge, die wir seit Jahrhunderten von Banken erwarten: Verfügbarkeit, Vertraulichkeit, Integrität. In Hamburg wurde 1590 Berenberg gegründet, die älteste noch bestehende Bank Deutschlands. Seit 1934 gibt es eine umfassende staatliche Bankenaufsicht. Heute liegt das Geld nicht mehr im Tresor, sondern in Kernbanksystemen. Der Tresor ist aus Code.

Daraus folgt meine Frage an das Publikum: Wenn Ihre Bank Ihre KI-Assistentin betreiben würde, würden Sie ihr vertrauen?

Kein einzelner Bug. Eine Kette.

Im Juli 2026 lief bei OpenAI ein interner Cyber-Test. Die Schutzvorgaben des Modells waren dafür bewusst abgeschaltet. Die KI-Agenten brachen aus ihrer Testumgebung aus und drangen bei Hugging Face ein.

Vorweg, weil es mir wichtig ist: Das ist kein OpenAI-Bashing. Es war eine Testumgebung, keine Produktion. Beide Firmen haben den Vorfall offen und sehr detailliert dokumentiert. Genau deshalb können wir daraus lernen.

Legt man die Berichte nebeneinander, sieht man keine einzelne Lücke. Man sieht eine Kette aus fünf Gliedern:

1. Das einzige Loch hatte selbst ein Loch. Es gab genau einen Weg nach draußen, einen Paket-Proxy. Darin steckte eine unbekannte Sicherheitslücke.
2. Die Agenten konnten mehr, als sie sollten. Sie verschafften sich höhere Rechte.
3. Seitwärts durchs Netz. Von Rechner zu Rechner, bis einer ins Internet konnte.
4. Zugangsdaten, die herumlagen. Teils öffentlich, teils direkt auf übernommenen Rechnern.
5. Fremde Daten wurden wie Anweisungen behandelt. Ein präparierter Datensatz führte beim Verarbeiten Code aus.

Jedes Glied für sich kennen wir alle. Ein naheliegender Einwand: Die Sicherheit war doch absichtlich gelockert. Stimmt, aber gelockert waren die Vorgaben des Modells, nicht die der Infrastruktur. Wenn das Modell versagt, muss die Umgebung halten.

Willkommen in der Filiale

Auch Banken nutzen Paket-Proxys. Auch Banken trifft eine unbekannte Sicherheitslücke. Wer behauptet, bei ihm könne so etwas nicht passieren, dem würde ich nicht trauen.

Der Unterschied ist nicht die Tür. Der Unterschied ist, was hinter der Tür kommt. In einer Bankfiliale geht niemand vom Eingang direkt in den Tresor. Dazwischen liegen Schalterhalle, Schalter und Tresorvorraum, jede Zone mit eigener Tür und eigenen Regeln. Fällt eine Tür, steht die nächste. Heute nennen wir das Defense in Depth.

Übertragen auf KI-Agenten heißt das: Der Agent läuft abgeschottet in seinem eigenen Netzsegment. Er kommt nie direkt an Kernbank, CRM oder Dokumente. Alles läuft über den Schalter, ein Gateway, das den Ausweis prüft, jede Anfrage gegen ein Formular abgleicht und bei kritischen Aktionen einen Menschen freigeben lässt.

Hält man dieses Bank-Handwerk gegen die Kette, setzt es an jedem Glied an:

Hätte das den Vorfall verhindert? Ehrlich: Ich weiß es nicht. Aber an jedem Glied wäre es schwerer geworden und früher aufgefallen. Und nichts davon ist neu erfunden.

Und wenn trotzdem etwas durchrutscht? Dafür führen Banken seit Jahrhunderten Kassenbuch. Bei KI ist das ein unveränderbares Protokoll jeder Aktion. Hugging Face hat den Angriff genau so entdeckt: viele Tausend automatisierte Aktionen in der Telemetrie. So arbeitet kein Mensch. Wer zählt, merkt es.

Nur ein Glied ist wirklich neu. Bei Banken waren Daten immer Daten. Bei Sprachmodellen kann ein Satz in einer E-Mail oder einem PDF zur Anweisung werden. Für diese Prompt Injection brauchen wir neues Handwerk.

Hinter dem Schalter sitzt ein Mensch

Die beste Architektur nützt nichts, wenn jemand am Schalter das Panzerglas aufmacht. Phishing knackt keine Firewall, Phishing überredet Menschen. Und auch bei jeder Freigabe durch einen Menschen sitzt jemand, der verstehen muss, was er da freigibt.

Auch hier haben Banken ein Handwerk. Sie schulen ihre Leute seit Jahren, zu Geldwäsche, zu Phishing. Seit Februar 2025 verlangt der EU AI Act in Artikel 4 zusätzlich KI-Kompetenz. Die Schulungsmaschine gibt es also schon. Die Frage ist, was sie hervorbringt.

Eine Freundin von mir hat ihre KI-Prüfung bestanden und kam danach mit einer Frage zu mir: Kennt eine KI das Datum? Die ehrliche Antwort: Es kommt auf das System an. Fragt man das Modell direkt, ohne Zusatzinformationen, sagt es, dass es das Datum nicht kennt. Fragt man in einer Chat-App, die das Datum im Hintergrund mitschickt, nennt es das richtige Datum. Das Modell weiß es nicht. Das System schon.

Genau das ist der Unterschied zwischen Wissen und Kompetenz. „Kennt eine KI das Datum?“ kann man auswendig lernen. „Woher könnte eine KI das Datum kennen, und wie prüfe ich, ob es stimmt?“ kann nur beantworten, wer das System versteht. Ohne dieses Verständnis wird aus einer Freigabe ein Abnicken.

Wie viele Türen braucht es nun?

Zurück zur Frage aus Hamburg. Auf sie gibt es keine seriöse Pauschalantwort, und wer eine verspricht, verkauft eher ein Produkt als Sicherheit.

Wie viele Türen es braucht, hängt von drei Dingen ab: vom Verständnis der Technologie, vom Geschäftsmodell des Hauses und vom konkreten Use Case dahinter. Auch Banken haben nicht alle denselben Sicherheitsbedarf und denselben Risikoappetit. Ein interner Assistent, der Richtlinien zusammenfasst, braucht andere Türen als ein Agent, der Überweisungen vorbereitet.

Was es aber gibt, ist ein Weg, die richtigen Türen für das eigene Haus zu finden. Er läuft in drei Schritten:

1. Den Use Case verstehen. Was soll der Agent tun, auf welche Daten und Systeme greift er zu, und was passiert im schlimmsten Fall?
2. Auf Bekanntes zurückführen. Alles, was sich auf beherrschte Muster zurückführen lässt, wird damit behandelt. Das API-Gateway, das Banken längst betreiben, wird zum Schalter für KI-Agenten. Die Identitätsprüfung von Drittanbietern, die Banken vom Kontozugriff kennen, gilt jetzt für Agenten.
3. Den Rest bewerten. Was danach übrig bleibt, ist überschaubar. Es wird benannt, bewertet und bewusst getragen, oder es bekommt eine eigene Tür.

So entsteht keine Liste von Standardtüren, sondern eine Filiale, die zum eigenen Haus und zum eigenen Risikoappetit passt.

Das ist auch die Antwort auf die Frage aus dem Abschlusspanel „Who’s at the helm?“, das ich mit Max Schwarz und Igor Khokhriakov bestreiten durfte. Würde ich einem Investment-Agenten mein Geld anvertrauen, der selbstständig anlegt? Ja, wenn ich das Risiko genau kenne und der Anbieter es mir offen zeigen kann. Vertrauen entsteht nicht durch Versprechen, sondern durch Nachvollziehbarkeit.

Wer vorab darüber sprechen möchte, wie viele Türen das eigene Haus braucht, erreicht mich unter info@carsten-fritz-advisory.de oder auf LinkedIn.

Danke an Clas Beese für die Einladung in den Track, an Melanie Stein für die Moderation und an die Star Finanz als Gastgeber.