Das feinabgestimmte Gemma-3-Modell von Kasisto beantwortet Bankfragen bei mehr als 40 Instituten

Das Problem

Banken wollen virtuelle Assistenten, die Kundenfragen anhand aktueller Zinstabellen und Richtlinien beantworten. Allzweck-KI-Modelle können Antworten erfinden, sind langsam und kosten bei jeder Anfrage Geld. In einem regulierten Geschäft kann eine falsche Antwort, etwa zur Vorfälligkeitsentschädigung bei einer vorzeitigen Hypothekenrückzahlung, rechtliche und finanzielle Risiken schaffen. Der Assistent muss außerdem ablehnen, wenn die Dokumente die Antwort nicht enthalten.

Was sie gebaut haben

Kasisto, ein Unternehmen, das Banken mit virtuellen Assistenten beliefert, baute FinRAG-12B. Es ist Googles Gemma-3-12B-Modell mit offenen Gewichten, feinabgestimmt darauf, Textstellen zu lesen, die das Suchsystem einer Bank abruft, daraus eine Antwort zu schreiben, bei jeder Aussage die Herkunft anzugeben und abzulehnen, wenn es keine Grundlage gibt. Dieses Muster heißt Retrieval-Augmented Generation (RAG).

Das Modell ist Teil der Assistenten, die Kasisto für Banken betreibt. Laut Paper ist es bei mehr als 40 Finanzinstituten im Einsatz. Bei der Kreditgenossenschaft wurde es mit einem älteren Produktionsmodell verglichen; das Paper nennt getrennt davon ein früheres Kasisto-Modell, FinRAG-v3, aufgebaut auf Mistral-7B-Instruct.

Wie sie vorgegangen sind

Kasisto trainierte das Modell in zwei Stufen. Die erste nutzte öffentliche Finanzdaten, um Antwortformate und Quellenangaben beizubringen. Die zweite nutzte Kasistos eigene Bankgespräche, um zu lehren, wann abzulehnen ist. Rund 22 % der Trainingsbeispiele waren Fragen, auf die die Dokumente keine Antwort enthielten. Das Team filterte die Trainingsdaten mit einem KI-Richter, um die Qualität hoch zu halten, und verwendete nur 143 Millionen Token.

Die Autoren beziffern die Trainingsrechnung auf etwa 1.800 Dollar an GPU-Zeit. Für die Produktion wird das Modell auf 4-Bit-Gewichte komprimiert, was es von 24 GB auf 8,4 GB schrumpfen lässt und den Betrieb auf einer einzelnen GPU ermöglicht.

Ergebnisse

Bei einer großen US-Kreditgenossenschaft verglichen die Autoren ein älteres Produktionsmodell mit FinRAG-12B anhand von 3.297 Stichprobenanfragen über sieben Monate. Der Anteil der Anfragen, die ohne Übergabe an einen Menschen gelöst wurden, stieg von 77,4 % auf 84,5 %, ein Plus von 7,1 Prozentpunkten. In den Offline-Latenztests der Autoren, die keine Produktionsmessungen sind, war das neue Modell zudem 3- bis 5-mal schneller als GPT-4.1, nach veröffentlichten API-Preisen etwa 20- bis 50-mal günstiger pro Anfrage und brauchte 3,2-mal weniger Zeit für eine fertige Antwort als FinRAG-v3.

In Offline-Tests mit 258 Bankfragen lehnte das Modell 12 % der Fragen ab, zwischen den 4,3 % des Basismodells (zu wenige Ablehnungen) und den 20,2 % von GPT-4.1 (zu viele).

Was schiefgelaufen ist

Die Zufriedenheitswerte bewegten sich weniger als die Lösungsquote. Die Gesamtzufriedenheit stieg von 59,5 % auf 62,9 %, doch laut Paper könnte der Unterschied Zufall sein. Die Zufriedenheit bei gelösten und bei ungelösten Anfragen blieb nahezu unverändert, daher schließen die Autoren, dass weniger ungelöste Anfragen die Verbesserung getrieben haben. Das feinabgestimmte Modell zitierte außerdem weniger Textstellen als das nicht abgestimmte Basismodell, ein Kompromiss, den die Autoren zugunsten selektiverer Quellenangaben akzeptieren.

Was Sie übernehmen können

Stimmen Sie ein kleines Modell mit offenen Gewichten erst dann auf Ihr eigenes Support-Material ab, wenn Sie ein klares Ziel für Ablehnungen festgelegt haben. Lassen Sie es neben Ihrem aktuellen Modell in derselben Pipeline laufen und vergleichen Sie die Lösungsquoten auf Live-Anfragen. Berechnen Sie die Kosten pro Anfrage, bevor Sie zwischen Selbsthosting und einer nutzungsabhängigen API wählen.