Het afgestemde Gemma 3-model van Kasisto beantwoordt bankvragen bij meer dan 40 instellingen

Het probleem

Banken willen virtuele assistenten die klantvragen beantwoorden op basis van actuele rentetabellen en beleid. Algemene AI-modellen kunnen antwoorden verzinnen, zijn traag en kosten bij elke vraag geld. In een gereguleerde sector kan een fout antwoord over bijvoorbeeld de boete bij vervroegd aflossen van een hypotheek juridische en financiële risico's opleveren. De assistent moet ook weigeren te antwoorden wanneer de documenten het antwoord niet bevatten.

Wat ze bouwden

Kasisto, een bedrijf dat virtuele assistenten aan banken levert, bouwde FinRAG-12B. Het is Googles open-weight (met open gewichten) Gemma 3 12B-model, afgestemd om passages te lezen die het zoeksysteem van een bank ophaalt, daaruit een antwoord te schrijven, bij elke bewering aan te geven waar die vandaan komt en te weigeren wanneer er geen onderbouwing is. Dit patroon heet retrieval-augmented generation (RAG).

Het model maakt deel uit van de assistenten die Kasisto voor banken exploiteert. Het paper zegt dat het is ingezet bij meer dan 40 financiële instellingen. Bij de kredietunie werd het vergeleken met een ouder productiemodel; het paper noemt los daarvan een eerder Kasisto-model, FinRAG-v3, gebouwd op Mistral-7B-Instruct.

Hoe ze het aanpakten

Kasisto trainde het model in twee fasen. De eerste gebruikte openbare financiële gegevens om antwoordformaten en bronvermeldingen aan te leren. De tweede gebruikte Kasisto's eigen bankgesprekken om te leren wanneer te weigeren. Ongeveer 22% van de trainingsvoorbeelden waren vragen zonder antwoord in de documenten. Het team filterde de trainingsgegevens met een AI-rechter om de kwaliteit hoog te houden en gebruikte slechts 143 miljoen tokens.

De auteurs noemen de trainingsrekening ongeveer 1.800 dollar aan GPU-tijd. Voor productie wordt het model gecomprimeerd tot gewichten van 4 bit, waardoor het krimpt van 24 GB naar 8,4 GB en op één GPU kan draaien.

Resultaten

Bij één grote Amerikaanse kredietunie vergeleken de auteurs een ouder productiemodel met FinRAG-12B op 3.297 steekproefvragen over zeven maanden. Het aandeel vragen dat zonder overdracht aan een mens werd opgelost steeg van 77,4% naar 84,5%, een winst van 7,1 procentpunt. In de offline latentietests van de auteurs, die geen productiemetingen zijn, was het nieuwe model ook 3 tot 5 keer sneller dan GPT-4.1, op basis van gepubliceerde API-prijzen ongeveer 20 tot 50 keer goedkoper per vraag, en had het 3,2 keer minder tijd nodig om een antwoord af te ronden dan FinRAG-v3.

In offline tests met 258 bankvragen weigerde het model 12% van de vragen, tussen de 4,3% van het basismodel (te weinig weigeringen) en de 20,2% van GPT-4.1 (te veel).

Wat er misging

De tevredenheidsscores bewogen minder dan de oplossing. De algemene tevredenheid steeg van 59,5% naar 62,9%, maar het paper zegt dat het verschil toeval kan zijn. De tevredenheid bij opgeloste en onopgeloste vragen bleef vrijwel gelijk, dus concluderen de auteurs dat minder onopgeloste vragen de verbetering veroorzaakten. Het afgestemde model citeerde ook minder passages dan het niet-afgestemde basismodel, een afweging die de auteurs accepteren voor selectievere bronvermeldingen.

Wat u kunt overnemen

Stem een klein model met open gewichten pas af op uw eigen supportmateriaal nadat u een duidelijk doel voor weigeringen hebt gesteld. Laat het naast uw huidige model in dezelfde pijplijn draaien en vergelijk de oplossingspercentages op live vragen. Bereken de kosten per vraag voordat u kiest tussen zelf hosten en een API met betaling per gebruik.