LinkedIns Multi-Agenten-Code-Review: 63,9 % der stichprobenartig erfassten Vorschläge von Entwicklern angenommen

Das Problem

Code-Review ist ein Engpass der Softwareauslieferung. LinkedIn hat mehr als 10.000 aktive Code-Repositories und jede Woche zehntausende Pull Requests (vorgeschlagene Codeänderungen). KI-Coding-Werkzeuge erzeugten mehr Code pro Entwickler, und die Wartezeit auf ein erstes menschliches Review wuchs. Generische KI-Reviewer lieferten Kommentare, die die Konventionen der einzelnen Teams verfehlten, und lärmende Kommentare erziehen Entwickler dazu, das Werkzeug zu ignorieren.

Was sie gebaut haben

Einen Multi-Agenten-Reviewer. Ein Orchestrator schickt jeden Pull Request gleichzeitig an mehrere Review-Sub-Agenten. Jeder Sub-Agent ist eine andere Paarung aus einem KI-Modell und dem zugehörigen Werkzeugumfeld. Der Orchestrator sammelt ihre Befunde, entfernt Duplikate, prüft sie und veröffentlicht ein einziges Review. LinkedIn verglich dies mit den gehosteten Review-Produkten der Modellanbieter und entschied sich für den Eigenbau. Es nannte drei Grenzen: Jedes Produkt trägt die blinden Flecken seines Modells, eine einzelne Regeldatei kann weder unternehmensweite noch repositoryspezifische Standards ausdrücken, und ein zugekauftes Produkt lässt sich nicht zuerst an wenigen Repositories testen oder über die ganze Flotte überwachen.

Wie sie vorgegangen sind

Befunde, die mehrere Sub-Agenten unabhängig voneinander melden, gelten als hochverlässlich. Ein Befund, den nur einer meldet, wird vor der Veröffentlichung geprüft. Ein dreistufiges Regelwerk erlaubt es dem Unternehmen, Teamgruppen und einzelnen Repositories, Review-Hinweise zu ergänzen, und kombiniert sie für jede Änderung. Das System läuft auf GitHub-Ereignissen und einem Pool von Worker-Maschinen auf Kubernetes. Jede Worker-Maschine bearbeitet bis zu 12 Pull Requests parallel. LinkedIn betreibt es mit Bereitschaftsdienst per Alarm, Überwachung von Geschwindigkeit und Annahme, gestaffelter Einführung und einer Ausweichlösung, wenn ein Modellanbieter schwächelt.

Die Qualität wird auf zwei Wegen geprüft. Bevor eine Änderung an einem Prompt oder Modell live geht, muss sie in einem blinden direkten Vergleich, den ein KI-Prüfer bewertet, die aktuelle Version schlagen oder ihr zumindest gleichkommen. Nach der Veröffentlichung vergleicht eine automatische Prüfung jeden Vorschlag mit dem schließlich gemergten Code, um zu sehen, ob Entwickler ihn umgesetzt haben.

Ergebnisse

LinkedIn meldet eine kombinierte Annahmequote von 63,9 % bei einer Stichprobe von 1.727 Pull Requests und 5.230 Kommentaren über sieben Tage. Nach Kategorie erreichten Logikfehler 80 % und Fehlerbehebungen 58,1 %, während Refactoring (43,5 %) und Sicherheit (40,6 %) niedriger lagen. LinkedIn deutet die niedrigeren Werte als Zeichen dafür, dass diese Bereiche subjektiver sind. Das Unternehmen gibt an, dass das System in einer typischen Woche mehr als 79.000 Reviews zu mehr als 40.000 Pull Requests in mehr als 7.500 Repositories abschließt, bei einer Aufgabenabschlussquote von 99,1 %. Außerdem meldet es, dass die meisten Reviews in unter 10 Minuten fertig sind und das KI-Review in der Regel eintrifft, bevor ein menschlicher Reviewer die Änderung öffnet. Die Annahme schwankte zwischen einzelnen Repositories von 0 % bis 100 %. LinkedIn sagt, viele Entwickler warteten inzwischen auf das KI-Review, bevor sie Kollegen fragen, und das menschliche Review bleibe bei jeder Änderung vorgeschrieben.