Het eigen model Mellum van JetBrains verhoogt de met aanvulling geschreven code in Python van 0,25 naar 0,39

Het probleem

Ontwikkelaars verwachten dat hun programmeertools regels en blokken code afmaken terwijl ze typen. De meeste tools van dit soort leunen op gesloten diensten van andere aanbieders of op grote chatmodellen, die volgens JetBrains duur en traag zijn voor gebruik op typsnelheid en licenties hebben die herverspreiding bemoeilijken. JetBrains leverde bovendien al een klein aanvulmodel dat op de computer van elke gebruiker draait, en wilde hogere kwaliteit zonder de vertraging van een groot model.

Wat ze bouwden

JetBrains trainde Mellum, een model met 4 miljard parameters dat alleen voor codeaanvulling is gebouwd, en gebruikt het voor cloudaanvulling in zijn ontwikkelaarstools. Het is van de grond af getraind op code met permissieve licenties. De vrijgegeven versie is open-weight onder de Apache-2.0-licentie (met open gewichten: de bestanden zijn gepubliceerd, dus iedereen kan het draaien en aanpassen). Volgens het artikel lijken de modellen die in productie draaien op de vrijgegeven modellen, maar zijn ze niet identiek.

Hoe ze het aanpakten

De training had meerdere fasen: brede code-voortraining, daarna training in het invullen van het midden van een bestand, daarna training met projectcontext uit andere bestanden en ten slotte een voorkeursfase die onbruikbare uitvoer ontmoedigt, zoals lege statements en eindeloze generatie. Het team hield het model klein zodat het snel reageert en op kostenefficiënte GPU's past. De kwaliteit werd offline gecontroleerd met benchmarks en online met gebruikerstelemetrie in de tools.

Resultaten

In de telemetrie uit productie was het aandeel code dat met aanvulling is geschreven bij het cloudmodel in alle negen talen hoger dan bij het lokale model, bijvoorbeeld 0,39 tegenover 0,25 in Python en 0,49 tegenover 0,42 in Java. Het aandeel geaccepteerde suggesties was in de meeste talen hoger, zoals in Python met 0,34 tegenover 0,26, maar gelijk bij Java en Rust en lager bij Go en PHP. Een enkel verzoek kost aan de backend 400 ms, op pieken 700 ms.

Wat u kunt overnemen

Als uw toepassing smal is en latentie telt, test dan een klein, speciaal gebouwd model voordat u naar een groot algemeen model grijpt. Meet het aan live gebruik en houd zowel een gebruiksmaat als een kwaliteitsmaat bij, want die kunnen elkaar tegenspreken.