Pakistan verteilt JudgeGPT randomisiert an 1.559 Richter erster Instanz, und Bezirke erledigen mehr Fälle

Das Problem

Pakistan hat im Verhältnis zur Bevölkerung sehr wenige Richter, und Millionen Fälle warten auf eine Entscheidung. The Decoder nennt 2,26 Millionen anhängige Fälle Ende 2024, die meisten davon an Gerichten erster Instanz. Die Richter arbeiten mit wenig Technik und ohne Unterstützungspersonal.

Was sie gebaut haben

JudgeGPT ist ein Chatbot auf Basis der GPT-4-Modellfamilie von OpenAI. Er wurde mit einer eigenen Anweisung und einer Bibliothek von Gerichtsentscheidungen und Gesetzen auf Pakistan zugeschnitten, die er vor der Antwort durchsucht, sodass die Antworten echte Dokumente zitieren. Dieses Verfahren heißt Retrieval-Augmented Generation (RAG).

Wie sie vorgegangen sind

Forschende der ETH Zürich, des Imperial College London und der New Economic School arbeiteten mit der Justiz zusammen. Sie teilten 1.559 Richter erster Instanz an 118 Gerichten nach dem Zufallsprinzip auf drei Gruppen auf: KI-Zugang mit gezielter Schulung, KI-Zugang mit allgemeiner Schulung zu Technologie und Recht oder nur allgemeine Schulung. Die Schulung der ersten Gruppe erfolgte gestaffelt nach Kohorten, beginnend im März 2024. Chatprotokolle zeigten, wie die Richter das Werkzeug nutzten.

Ergebnisse

Richter mit KI und gezielter Schulung nahmen das Werkzeug stärker an, nutzten es häufiger und blieben dabei. Bezirke mit stärkerer Exposition gegenüber diesen Richtern erledigten mehr Fälle: etwa 1.848 mehr pro Bezirk und Jahr bei mittlerer Exposition, ein Plus von 6,3 % gegenüber dem Durchschnitt. Die Berufungen je erledigtem Fall nahmen nicht zu und gingen eher leicht zurück. Die Schulung verlagerte die Nutzung hin zu Überarbeitungs- und Entwurfshilfe und weg von breiten Fragen zur Rechtsrecherche.