Superior Court of Quebec testuje dziewięciu agentów AI z udziałem 22 sędziów; większość chce ich zachować

Problem

Sędziowie sądu pierwszej instancji w Quebecu rozpatrują co roku tysiące spraw cywilnych, rodzinnych, gospodarczych i karnych, a duża część pracy przed wydaniem decyzji to czytanie, redagowanie i wyszukiwanie przepisów. Niektórzy sędziowie już korzystali z narzędzi AI na własną rękę, bez żadnych ram instytucjonalnych. Sąd postanowił przeprowadzić nadzorowany test zamiast zostawić to użycie bez zarządzania.

Co zbudowano

Dziewięciu oddzielnych agentów AI w Microsoft Teams, zbudowanych w Microsoft Copilot Studio. Jeden redaguje i przeformułowuje teksty, jeden tłumaczy między francuskim a angielskim, czterech przeszukuje Kodeks cywilny, Kodeks postępowania cywilnego, Kodeks karny i prawo upadłościowe, jeden sprawdza cytaty prawnicze, jeden zapewnia wsparcie IT, a jeden obejmuje wewnętrzny zbiór wiedzy z prawa rodzinnego. Agentom nie wolno było pisać wyroków ani dokonywać wykładni prawa.

Jak to zrobiono

Dwudziestu dwóch sędziów-ochotników, dobranych tak, by odzwierciedlać zróżnicowanie sądu pod względem regionów, rodzajów spraw i swobody w korzystaniu z technologii, uczestniczyło od 8 grudnia 2025 do 16 marca 2026 roku. Podzielono ich na trzy grupy z rozłożonym w czasie dostępem. Agenci działali w środowisku Microsoft 365 ministerstwa sprawiedliwości Quebecu. Sędziowie ręcznie podawali każdemu agentowi fragmenty tekstu, rozmowy były prywatne między użytkownikami, a agenci nie mogli przeglądać internetu. Sędziowie spotykali się co tydzień, by dzielić się zastosowaniami i uczyć się o ryzykach AI. Sąd mierzył wyniki za pomocą trzech ankiet, danych o użyciu platformy i 90 syntetycznych pytań testowych.

Wyniki

Agenci odnotowali 893 sesje, z czego 479 z asystentem pisania, z którego korzystał każdy odpowiadający sędzia. Według sądu agenci do redagowania i tłumaczenia uzyskali od 9,3 do 9,8 na 10 w jego pytaniach testowych, a agenci do badań prawnych od 7,8 do 9,0. W ankiecie końcowej 89 % chciało nadal korzystać z narzędzi, a 84 % uznało, że AI pasuje do ich roli. Sąd podaje, że żaden sędzia nie stwierdził, by AI wpłynęła na decyzję. Sąd zapowiada, że zachowa najczęściej używanych agentów, zbuduje własną wiedzę o AI i zbada szersze wdrożenie.

Co poszło nie tak

Test sądu wykazał jedno zmyślone imię autora w agencie do cytowań, który za to pytanie dostał 0 na 10. Aktualizacja modelu bazowego przez Microsoft opóźniła start o kilka tygodni i zmusiła zespół do ponownego przetestowania wszystkich agentów. Sędziowie, którym w trakcie odebrano dostęp, zgłaszali wyraźnie gorsze doświadczenie niż ci, którzy go zachowali. Sąd nie mógł też zagwarantować, że dane pozostaną w Kanadzie, i poinformował o tym uczestników.