Il modello interno Mellum di JetBrains porta il codice scritto con il completamento da 0,25 a 0,39 in Python

Il problema

Gli sviluppatori si aspettano che i loro strumenti di programmazione completino righe e blocchi di codice mentre scrivono. La maggior parte degli strumenti di questo tipo si affida a servizi chiusi di altri fornitori o a grandi modelli di chat, che secondo JetBrains sono costosi e lenti per un uso alla velocità di digitazione e hanno licenze che complicano la ridistribuzione. JetBrains distribuiva inoltre già un piccolo modello di completamento che gira sul computer di ogni utente, e voleva una qualità superiore senza il ritardo di un modello grande.

Cosa hanno costruito

JetBrains ha addestrato Mellum, un modello da 4 miliardi di parametri costruito solo per il completamento del codice, e lo usa per il completamento nel cloud nei suoi strumenti per sviluppatori. È stato addestrato da zero su codice con licenze permissive. La versione rilasciata è a pesi aperti con licenza Apache-2.0 (i file sono pubblicati, quindi chiunque può eseguirli e adattarli). Il documento dice che i modelli in produzione sono simili a quelli rilasciati, ma non identici.

Come ci sono riusciti

L'addestramento ha avuto più fasi: un ampio pre-addestramento sul codice, poi un addestramento a riempire la parte centrale di un file, poi un addestramento con il contesto del progetto tratto da altri file e infine una fase di preferenze che scoraggia output inutili come istruzioni vuote e generazione infinita. Il team ha tenuto il modello piccolo perché risponda in fretta e stia su GPU economiche. La qualità è stata verificata offline su benchmark e online con la telemetria degli utenti negli strumenti.

Risultati

Nella telemetria di produzione, la quota di codice scritto con il completamento era più alta per il modello cloud che per quello locale in tutti e nove i linguaggi, per esempio 0,39 contro 0,25 in Python e 0,49 contro 0,42 in Java. La quota di suggerimenti accettati era più alta nella maggior parte dei linguaggi, come Python con 0,34 contro 0,26, ma uguale per Java e Rust e più bassa per Go e PHP. Una singola richiesta richiede 400 ms sul backend, 700 ms nei picchi.

Cosa replicare

Se il caso d'uso è circoscritto e la latenza conta, provare un piccolo modello costruito apposta prima di uno grande e generalista. Misurarlo sull'uso reale e tenere sia una metrica di utilizzo sia una di qualità, perché possono divergere.