El modelo Gemma 3 ajustado de Kasisto responde preguntas bancarias en más de 40 entidades

El problema

Los bancos quieren asistentes virtuales que respondan a las preguntas de los clientes a partir de tablas de tipos y políticas actualizadas. Los modelos de IA de uso general pueden inventar respuestas, son lentos y cuestan dinero en cada consulta. En un negocio regulado, una respuesta errónea sobre, por ejemplo, la penalización por amortización anticipada de una hipoteca puede crear un riesgo legal y financiero. El asistente también debe negarse a responder cuando los documentos no contienen la respuesta.

Qué construyeron

Kasisto, una empresa que suministra asistentes virtuales a bancos, construyó FinRAG-12B. Es el modelo Gemma 3 12B de pesos abiertos de Google, ajustado para leer los pasajes que recupera el sistema de búsqueda de un banco, redactar una respuesta a partir de ellos, citar de dónde procede cada afirmación y negarse cuando no hay respaldo. Este patrón se llama generación aumentada por recuperación (RAG).

El modelo forma parte de los asistentes que Kasisto opera para bancos. El artículo dice que está desplegado en más de 40 entidades financieras. En la cooperativa de crédito se comparó con un modelo de producción anterior; el artículo nombra por separado un modelo previo de Kasisto, FinRAG-v3, construido sobre Mistral-7B-Instruct.

Cómo lo hicieron

Kasisto entrenó el modelo en dos etapas. La primera usó datos financieros públicos para enseñar formatos de respuesta y citas. La segunda usó conversaciones bancarias propias de Kasisto para enseñar cuándo negarse. Alrededor del 22 % de los ejemplos de entrenamiento eran preguntas sin respuesta en los documentos. El equipo filtró los datos de entrenamiento con un juez de IA para mantener la calidad y usó solo 143 millones de tokens.

Los autores cifran la factura del entrenamiento en unos 1.800 dólares de tiempo de GPU. Para producción, el modelo se comprime a pesos de 4 bits, lo que lo reduce de 24 GB a 8,4 GB y permite ejecutarlo en una sola GPU.

Resultados

En una gran cooperativa de crédito de EE. UU., los autores compararon un modelo de producción anterior con FinRAG-12B en 3.297 consultas de muestra durante siete meses. La proporción de consultas resueltas sin traspasarlas a una persona subió del 77,4 % al 84,5 %, una ganancia de 7,1 puntos porcentuales. En las pruebas de latencia fuera de línea de los autores, que no son mediciones de producción, el nuevo modelo también fue de 3 a 5 veces más rápido que GPT-4.1, unas 20 a 50 veces más barato por consulta según los precios publicados de la API, y tardó 3,2 veces menos en terminar una respuesta que FinRAG-v3.

En pruebas fuera de línea con 258 preguntas bancarias, el modelo se negó a responder el 12 % de las preguntas, entre el 4,3 % del modelo base (demasiado pocas negativas) y el 20,2 % de GPT-4.1 (demasiadas).

Qué salió mal

Las puntuaciones de satisfacción se movieron menos que la resolución. La satisfacción global subió del 59,5 % al 62,9 %, pero el artículo dice que la diferencia podría deberse al azar. La satisfacción de las consultas resueltas y no resueltas se mantuvo casi plana, por lo que los autores concluyen que la mejora se debió a que había menos consultas sin resolver. El modelo ajustado también citó menos pasajes que el modelo base sin ajustar, una contrapartida que los autores aceptan a cambio de citas más selectivas.

Qué replicar

Ajuste un modelo pequeño de pesos abiertos con su propio material de atención solo después de fijar un objetivo claro para las negativas. Póngalo a funcionar junto a su modelo actual en el mismo flujo y compare las tasas de resolución en consultas reales. Calcule el coste por consulta antes de elegir entre alojarlo por cuenta propia y una API de pago por uso.