Auchan uruchamia we własnej infrastrukturze asystenta opartego na Llama do odpowiadania na pytania kadrowe pracowników

Problem

Pracownicy Auchan, francuskiej grupy handlowej, mają pytania do działu kadr, na przykład o zasady urlopów czy urlopy macierzyńskie i ojcowskie. Przed wprowadzeniem asystenta musieli kontaktować się z zespołem HR albo korzystać z oprogramowania zewnętrznych firm, aby uzyskać odpowiedzi.

Co zbudowano

Auchan zbudował chatbota, który odpowiada na pytania pracowników z zakresu HR. Na razie ogranicza się on do spraw kadrowych. Pracownicy pytają asystenta zamiast kontaktować się z zespołem HR. Asystent korzysta z Llama, modelu o otwartych wagach firmy Meta. Otwarte wagi oznaczają, że pliki modelu można pobrać i uruchomić na własnych serwerach.

Jak to zrobiono

Dane w tym narzędziu są osobowe, a Auchan traktuje je jako poufne, dlatego firma uruchamia Llama na własnej infrastrukturze, zamiast korzystać z usługi zewnętrznej. Stosuje generowanie wspomagane wyszukiwaniem (RAG), metodę, w której system najpierw wyszukuje fragmenty w dokumentach firmy, a potem pisze na ich podstawie odpowiedź. Auchan uruchamia obecnie model na procesorach graficznych (GPU). Dyrektor IT mówi, że wyspecjalizowane układy do uruchamiania modeli mogłyby w przyszłości obniżyć koszt.

Wyniki

Auchan podaje, że menedżerowie HR oszczędzają od półtora do dwóch dni w miesiącu. Dyrektor IT i danych mówi, że firma rozważała użycie Llama we wszystkich funkcjach biznesowych, ale uznała je za stosunkowo kosztowne w utrzymaniu, a zwrot z inwestycji w przypadku Auchan nazywa bardzo dyskusyjnym. Widzi jednak realną korzyść w wygodzie użytkowania.

Co warto powtórzyć

Warto wybierać hosting we własnej infrastrukturze tylko tam, gdzie wrażliwość danych uzasadnia koszt, i sprawdzić koszty utrzymania, zanim rozszerzy się go na inne zespoły.