Własny model Mellum firmy JetBrains podnosi udział kodu pisanego z uzupełnianiem z 0,25 do 0,39 w Pythonie

Problem

Programiści oczekują, że ich narzędzia dokończą linie i bloki kodu w trakcie pisania. Większość takich narzędzi opiera się na zamkniętych usługach innych dostawców lub na dużych modelach czatu, które według JetBrains są drogie i wolne przy pracy w tempie pisania, a ich licencje utrudniają redystrybucję. JetBrains dostarczał też już mały model uzupełniania, który działa na komputerze każdego użytkownika, i chciał wyższej jakości bez opóźnienia dużego modelu.

Co zbudowano

JetBrains wytrenował Mellum, model o 4 miliardach parametrów zbudowany wyłącznie do uzupełniania kodu, i używa go do uzupełniania w chmurze w swoich narzędziach dla programistów. Wytrenowano go od zera na kodzie z liberalnymi licencjami. Udostępniona wersja jest typu open-weight (o otwartych wagach: pliki są opublikowane, więc każdy może ją uruchomić i dostosować) na licencji Apache-2.0. Według artykułu modele działające na produkcji są podobne do udostępnionych, ale nie identyczne.

Jak to zrobiono

Trening miał kilka etapów: szerokie wstępne trenowanie na kodzie, potem trenowanie uzupełniania środka pliku, potem trenowanie z kontekstem projektu pobranym z innych plików, a na końcu etap preferencji, który zniechęca do bezużytecznych wyników, takich jak puste instrukcje i niekończąca się generacja. Zespół utrzymał model mały, aby odpowiadał szybko i mieścił się na tanich procesorach graficznych. Jakość sprawdzano offline na testach wzorcowych oraz online na podstawie telemetrii użytkowników w narzędziach.

Wyniki

W telemetrii z produkcji udział kodu pisanego z uzupełnianiem był wyższy dla modelu chmurowego niż dla lokalnego we wszystkich dziewięciu językach, na przykład 0,39 wobec 0,25 w Pythonie i 0,49 wobec 0,42 w Javie. Udział przyjętych podpowiedzi był wyższy w większości języków, np. w Pythonie 0,34 wobec 0,26, ale taki sam dla Javy i Rusta oraz niższy dla Go i PHP. Pojedyncze żądanie zajmuje po stronie backendu 400 ms, w szczycie 700 ms.

Co warto powtórzyć

Jeśli Wasz przypadek jest wąski, a liczy się opóźnienie, warto przetestować mały model zbudowany do tego celu, zanim sięgnie się po duży ogólny. Warto mierzyć go na żywym użyciu i trzymać zarówno miarę użycia, jak i miarę jakości, bo mogą się rozchodzić.