Das hauseigene Modell Mellum von JetBrains hebt den per Vervollständigung geschriebenen Codeanteil in Python von 0,25 auf 0,39

Das Problem

Entwickler erwarten von ihren Programmierwerkzeugen, dass sie Zeilen und Codeblöcke beim Tippen ergänzen. Die meisten Werkzeuge dieser Art stützen sich auf geschlossene Dienste anderer Anbieter oder auf große Chatmodelle, die nach Angaben von JetBrains für Tippgeschwindigkeit teuer und langsam sind und deren Lizenzen die Weitergabe erschweren. JetBrains lieferte zudem bereits ein kleines Vervollständigungsmodell aus, das auf dem Rechner jedes Nutzers läuft, und wollte höhere Qualität ohne die Verzögerung eines großen Modells.

Was sie gebaut haben

JetBrains hat Mellum trainiert, ein Modell mit 4 Milliarden Parametern, das nur für die Codevervollständigung gebaut ist, und nutzt es für die Cloud-Vervollständigung in seinen Entwicklerwerkzeugen. Es wurde von Grund auf mit Code unter freizügigen Lizenzen trainiert. Die veröffentlichte Version ist ein Open-Weight-Modell unter der Apache-2.0-Lizenz (mit offenen Gewichten: Die Dateien sind veröffentlicht, jeder kann es betreiben und anpassen). Dem Papier zufolge sind die Modelle im Produktivbetrieb den veröffentlichten ähnlich, aber nicht identisch.

Wie sie vorgegangen sind

Das Training hatte mehrere Stufen: breites Code-Vortraining, dann Training im Ausfüllen der Mitte einer Datei, dann Training mit Projektkontext aus anderen Dateien und schließlich eine Präferenzstufe, die unbrauchbare Ausgaben wie leere Anweisungen und endlose Generierung unterbindet. Das Team hielt das Modell klein, damit es schnell antwortet und auf kostengünstige GPUs passt. Die Qualität wurde offline an Benchmarks und online anhand der Nutzer-Telemetrie in den Werkzeugen geprüft.

Ergebnisse

In der Telemetrie aus dem Produktivbetrieb war der Anteil des mit Vervollständigung geschriebenen Codes beim Cloud-Modell in allen neun Sprachen höher als beim lokalen Modell, zum Beispiel 0,39 gegenüber 0,25 in Python und 0,49 gegenüber 0,42 in Java. Der Anteil angenommener Vorschläge war in den meisten Sprachen höher, etwa in Python mit 0,34 gegenüber 0,26, aber bei Java und Rust gleich und bei Go und PHP niedriger. Eine einzelne Anfrage dauert im Backend 400 ms, zu Spitzenzeiten 700 ms.

Was Sie übernehmen können

Wenn Ihr Einsatzfall eng gefasst ist und es auf die Latenz ankommt, testen Sie ein kleines, eigens gebautes Modell, bevor Sie zu einem großen allgemeinen greifen. Messen Sie es am Live-Einsatz und behalten Sie sowohl eine Nutzungs- als auch eine Qualitätskennzahl, denn die beiden können sich widersprechen.