Dostrojony model Gemma 3 firmy Kasisto odpowiada na pytania bankowe w ponad 40 instytucjach

Problem

Banki chcą wirtualnych asystentów, którzy odpowiadają na pytania klientów na podstawie aktualnych tabel oprocentowania i zasad. Ogólne modele AI mogą zmyślać odpowiedzi, są powolne i kosztują przy każdym zapytaniu. W branży regulowanej błędna odpowiedź na przykład o opłatę za wcześniejszą spłatę kredytu hipotecznego może stwarzać ryzyko prawne i finansowe. Asystent musi też odmówić odpowiedzi, gdy dokumenty jej nie zawierają.

Co zbudowano

Kasisto, firma dostarczająca wirtualnych asystentów bankom, zbudowało FinRAG-12B. To model Gemma 3 12B Google'a o otwartych wagach, dostrojony do czytania fragmentów pobieranych przez system wyszukiwania banku, pisania na ich podstawie odpowiedzi, wskazywania źródła każdego twierdzenia i odmowy, gdy brakuje oparcia. Ten wzorzec nazywa się generowaniem wspomaganym wyszukiwaniem (RAG).

Model jest częścią asystentów, które Kasisto obsługuje dla banków. Artykuł podaje, że jest wdrożony w ponad 40 instytucjach finansowych. W unii kredytowej porównano go z dotychczasowym modelem produkcyjnym; artykuł osobno wymienia wcześniejszy model Kasisto, FinRAG-v3, zbudowany na Mistral-7B-Instruct.

Jak to zrobiono

Kasisto trenowało model w dwóch etapach. Pierwszy wykorzystał publiczne dane finansowe, by nauczyć formatów odpowiedzi i cytowania. Drugi wykorzystał własne rozmowy bankowe Kasisto, by nauczyć, kiedy odmawiać. Około 22 % przykładów treningowych stanowiły pytania, na które dokumenty nie zawierały odpowiedzi. Zespół filtrował dane treningowe za pomocą sędziego AI, by utrzymać wysoką jakość, i użył tylko 143 milionów tokenów.

Autorzy podają rachunek za trening na około 1 800 dolarów czasu GPU. Na potrzeby produkcji model jest skompresowany do wag 4-bitowych, co zmniejsza go z 24 GB do 8,4 GB i pozwala uruchomić na jednym GPU.

Wyniki

W jednej dużej amerykańskiej unii kredytowej autorzy porównali dotychczasowy model produkcyjny z FinRAG-12B na 3 297 zapytaniach z próby w ciągu siedmiu miesięcy. Odsetek zapytań rozwiązanych bez przekazania człowiekowi wzrósł z 77,4 % do 84,5 %, czyli o 7,1 punktu procentowego. W testach opóźnień offline autorów, które nie są pomiarami produkcyjnymi, nowy model był też od 3 do 5 razy szybszy niż GPT-4.1, (według opublikowanych cen API) około 20 do 50 razy tańszy w przeliczeniu na zapytanie i potrzebował 3,2 razy mniej czasu na dokończenie odpowiedzi niż FinRAG-v3.

W testach offline na 258 pytaniach bankowych model odmówił odpowiedzi na 12 % pytań, czyli między 4,3 % modelu bazowego (zbyt mało odmów) a 20,2 % GPT-4.1 (zbyt dużo).

Co poszło nie tak

Wyniki satysfakcji zmieniły się mniej niż odsetek rozwiązanych zapytań. Ogólna satysfakcja wzrosła z 59,5 % do 62,9 %, ale artykuł podaje, że różnica może być dziełem przypadku. Satysfakcja dla zapytań rozwiązanych i nierozwiązanych pozostała niemal bez zmian, więc autorzy wnioskują, że poprawę przyniosła mniejsza liczba nierozwiązanych zapytań. Dostrojony model cytował też mniej fragmentów niż niedostrojony model bazowy, co autorzy akceptują w zamian za bardziej selektywne cytowania.

Co warto powtórzyć

Warto dostrajać mały model o otwartych wagach na własnych materiałach obsługi dopiero po ustaleniu jasnego celu dla odmów. Warto uruchomić go obok obecnego modelu w tym samym potoku i porównać odsetki rozwiązanych zapytań na zapytaniach rzeczywistych. Warto policzyć koszt zapytania, zanim wybierze się między samodzielnym hostingiem a API rozliczanym za użycie.