Checkr stimmt Llama 3 auf seine schwierigsten Hintergrundprüfungs-Datensätze ab und schlägt in eigenen Tests GPT-4

Das Problem

Checkr liefert Hintergrundprüfungen für mehr als 100.000 Kunden und führt jeden Monat Millionen davon durch. Nach einer Prüfung muss der Arbeitgeber entscheiden, ob der Bewerber zur Stelle passt, ein Schritt namens Adjudication (Bewertung). Checkr bietet eine automatisierte Bewertung an. Für 98 % der Datensätze funktioniert ein abgestimmtes statistisches Modell gut. Die übrigen 2 % sind unsaubere Textdatensätze, die in 230 Kategorien einsortiert werden müssen. Das frühere neuronale Netz von Checkr klassifizierte nur 1 % aller Datensätze mit passabler Genauigkeit; das andere 1 % blieb unklassifiziert und machte den Kunden zusätzliche Arbeit.

Was sie gebaut haben

Checkr baute einen Klassifikator auf Basis von Llama-3-8B-Instruct, einem offenen Modell (Open-Weight) von Meta. Open-Weight bedeutet, dass die Modelldateien veröffentlicht sind, sodass ein Unternehmen das Modell anpassen und selbst betreiben kann. Das Team nutzte Fine-Tuning, also das weitere Trainieren eines Modells mit den beschrifteten Beispielen des Unternehmens. Es trainierte ein kleines Modell mit 150.000 Zeilen von Checkr-Daten.

Wie sie vorgegangen sind

Checkrs Ingenieur für maschinelles Lernen verglich mehrere Ansätze anhand derselben Daten. GPT-4 erreichte mit Anweisungen und den 230 Kategorien 87-88 % bei den leichteren 98 % der Fälle und 80-82 % bei den schwierigsten 2 %. Das zusätzliche Abrufen von Beispielen verbesserte die Genauigkeit bei den leichteren Fällen, nicht aber bei den schwierigen. Ein feinabgestimmtes Llama-2-7b schnitt in beiden Gruppen besser ab als GPT-4. Das beste Ergebnis lieferte das Fine-Tuning von Llama-3-8B-Instruct.

Das Team testete mehrere Plattformen für Fine-Tuning und Betrieb und entschied sich für Predibase. Sie nutzt LoRAX, ein Open-Source-Werkzeug, das viele kleine feinabgestimmte Zusatzmodule (LoRA-Adapter) auf einem einzigen Basismodell bereitstellt, sodass neue Anwendungen keine zusätzlichen GPUs brauchen.

Ergebnisse

Der Ingenieur berichtet von 90 % Genauigkeit bei den schwierigsten 2 % der Fälle, besser als bei GPT-4 und allen anderen Fine-Tuning-Experimenten. Im Produktivbetrieb dauern Antworten 0,15 Sekunden, also 30-mal schneller als in den GPT-4-Experimenten. Die Inferenzkosten sanken im Vergleich zu GPT-4 um den Faktor 5. Die synchrone Aufgabe hat strenge Geschwindigkeitsvorgaben, weil Kunden Ergebnisse nahezu in Echtzeit erwarten.

Was Sie übernehmen können

Grenzen Sie zuerst das Problem ein und vergleichen Sie dann ein kleines feinabgestimmtes Modell mit einem Allzweckmodell anhand Ihrer eigenen Daten, bevor Sie sich entscheiden.