El modelo propio Mellum de JetBrains eleva el código escrito con autocompletado de 0,25 a 0,39 en Python

El problema

Los desarrolladores esperan que sus herramientas de programación terminen líneas y bloques de código mientras escriben. La mayoría de las herramientas de este tipo se apoyan en servicios cerrados de otros proveedores o en grandes modelos de chat, que según JetBrains son costosos y lentos para el uso a la velocidad de escritura y tienen licencias que complican la redistribución. JetBrains ya ofrecía además un pequeño modelo de autocompletado que se ejecuta en el ordenador de cada usuario, y quería más calidad sin el retraso de un modelo grande.

Qué construyeron

JetBrains entrenó Mellum, un modelo de 4 mil millones de parámetros creado solo para el autocompletado de código, y lo usa para el autocompletado en la nube en sus herramientas para desarrolladores. Se entrenó desde cero con código de licencia permisiva. La versión publicada es de pesos abiertos bajo la licencia Apache-2.0 (sus archivos están publicados, de modo que cualquiera puede ejecutarlos y adaptarlos). El artículo dice que los modelos que se ejecutan en producción son similares a los publicados, pero no idénticos.

Cómo lo hicieron

El entrenamiento tuvo varias fases: un preentrenamiento amplio con código, luego un entrenamiento para rellenar el centro de un archivo, luego un entrenamiento con contexto del proyecto tomado de otros archivos y, por último, una fase de preferencias que desalienta resultados poco útiles, como instrucciones vacías y generación interminable. El equipo mantuvo el modelo pequeño para que responda rápido y quepa en GPU económicas. La calidad se comprobó fuera de línea con pruebas de referencia y en línea con la telemetría de los usuarios en las herramientas.

Resultados

En la telemetría de producción, la proporción de código escrito con autocompletado fue mayor con el modelo en la nube que con el local en los nueve lenguajes, por ejemplo 0,39 frente a 0,25 en Python y 0,49 frente a 0,42 en Java. La proporción de sugerencias aceptadas fue mayor en la mayoría de los lenguajes, como Python con 0,34 frente a 0,26, pero igual en Java y Rust y menor en Go y PHP. Una sola solicitud tarda 400 ms en el backend, 700 ms en las horas punta.

Qué replicar

Si su caso de uso es acotado y la latencia importa, pruebe un modelo pequeño creado a propósito antes que uno grande de uso general. Mídalo con el uso real y mantenga una métrica de uso y otra de calidad, porque pueden discrepar.