Il modello Gemma 3 affinato di Kasisto risponde alle domande bancarie in oltre 40 istituti

Il problema

Le banche vogliono assistenti virtuali che rispondano alle domande dei clienti a partire da tabelle di tassi e politiche aggiornate. I modelli di IA generalisti possono inventare risposte, sono lenti e costano denaro a ogni richiesta. In un settore regolamentato, una risposta sbagliata su, per esempio, la penale di estinzione anticipata di un mutuo può creare un rischio legale e finanziario. L'assistente deve anche rifiutarsi di rispondere quando i documenti non contengono la risposta.

Cosa hanno costruito

Kasisto, un'azienda che fornisce assistenti virtuali alle banche, ha costruito FinRAG-12B. È il modello Gemma 3 12B a pesi aperti di Google, affinato per leggere i passaggi che il sistema di ricerca di una banca recupera, scrivere una risposta da essi, citare da dove proviene ogni affermazione e rifiutarsi quando manca un fondamento. Questo schema si chiama generazione aumentata dal recupero (RAG).

Il modello fa parte degli assistenti che Kasisto gestisce per le banche. Il paper dice che è in uso presso più di 40 istituti finanziari. Presso la cooperativa di credito è stato confrontato con un modello di produzione precedente; il paper cita separatamente un precedente modello di Kasisto, FinRAG-v3, costruito su Mistral-7B-Instruct.

Come ci sono riusciti

Kasisto ha addestrato il modello in due fasi. La prima ha usato dati finanziari pubblici per insegnare i formati di risposta e le citazioni. La seconda ha usato le conversazioni bancarie di Kasisto per insegnare quando rifiutare. Circa il 22% degli esempi di addestramento erano domande senza risposta nei documenti. Il team ha filtrato i dati di addestramento con un giudice IA per mantenere alta la qualità e ha usato soltanto 143 milioni di token.

Gli autori indicano il costo dell'addestramento in circa 1.800 dollari di tempo GPU. Per la produzione il modello è compresso a pesi a 4 bit, il che lo riduce da 24 GB a 8,4 GB e gli permette di girare su una sola GPU.

Risultati

Presso una grande cooperativa di credito statunitense, gli autori hanno confrontato un modello di produzione precedente con FinRAG-12B su 3.297 richieste campionate in sette mesi. La quota di richieste risolte senza passare a una persona è salita dal 77,4% all'84,5%, un guadagno di 7,1 punti percentuali. Nei test di latenza offline degli autori, che non sono misure di produzione, il nuovo modello è stato anche da 3 a 5 volte più veloce di GPT-4.1, circa da 20 a 50 volte più economico per richiesta ai prezzi API pubblicati, e ha impiegato 3,2 volte meno tempo a completare una risposta rispetto a FinRAG-v3.

Nei test offline su 258 domande bancarie, il modello ha rifiutato il 12% delle domande, tra il 4,3% del modello di base (troppi pochi rifiuti) e il 20,2% di GPT-4.1 (troppi).

Cosa è andato storto

I punteggi di soddisfazione si sono mossi meno della risoluzione. La soddisfazione complessiva è salita dal 59,5% al 62,9%, ma il paper dice che la differenza potrebbe essere dovuta al caso. La soddisfazione per le richieste risolte e non risolte è rimasta quasi invariata, quindi gli autori concludono che il miglioramento sia stato trainato da meno richieste irrisolte. Il modello affinato ha anche citato meno passaggi del modello di base non affinato, un compromesso che gli autori accettano in cambio di citazioni più selettive.

Cosa replicare

Affinare un piccolo modello a pesi aperti sul proprio materiale di assistenza solo dopo aver fissato un obiettivo chiaro per i rifiuti. Farlo girare accanto al modello attuale nella stessa pipeline e confrontare i tassi di risoluzione su richieste reali. Calcolare il costo per richiesta prima di scegliere tra hosting in proprio e un'API a consumo.