Auchan betreibt einen selbst gehosteten Llama-Assistenten für HR-Fragen der Beschäftigten

Das Problem

Beschäftigte bei Auchan, dem französischen Handelskonzern, haben Fragen an die Personalabteilung, etwa zu Urlaubsregeln oder zu Mutterschutz und Vaterschaftsurlaub. Bis zum Assistenten mussten sie das HR-Team kontaktieren oder Software von Drittanbietern nutzen, um Antworten zu erhalten.

Was sie gebaut haben

Auchan hat einen Chatbot entwickelt, der Fragen der Beschäftigten zu HR-Themen beantwortet. Er ist vorerst auf HR beschränkt. Die Beschäftigten fragen den Assistenten, statt das HR-Team zu kontaktieren. Der Assistent nutzt Llama, ein Open-Weight-Modell von Meta. Open Weight bedeutet, dass sich die Modelldateien herunterladen und auf eigenen Servern betreiben lassen.

Wie sie vorgegangen sind

Die Daten in diesem Werkzeug sind personenbezogen, und Auchan behandelt sie als vertraulich. Deshalb betreibt das Unternehmen Llama auf der eigenen Infrastruktur statt über einen externen Dienst. Es setzt Retrieval-Augmented Generation (RAG) ein, ein Verfahren, bei dem das System zuerst Passagen in Unternehmensdokumenten sucht und dann daraus eine Antwort formuliert. Auchan betreibt das Modell derzeit auf Grafikprozessoren (GPUs). Der IT-Chef sagt, spezialisierte Chips für den Modellbetrieb könnten die Kosten später senken.

Ergebnisse

Auchan berichtet, dass HR-Verantwortliche anderthalb bis zwei Tage pro Monat sparen. Der IT- und Datenchef sagt, das Unternehmen habe erwogen, Llama für jeden Geschäftsbereich zu nutzen, es aber als relativ teuer im Betrieb empfunden, und er nennt die Rendite im Fall von Auchan sehr fraglich. Dennoch sieht er einen echten Gewinn an Bedienkomfort.

Was Sie übernehmen können

Entscheiden Sie sich nur dort für Selbsthosting, wo die Sensibilität der Daten die Kosten rechtfertigt, und prüfen Sie die Betriebskosten, bevor Sie es auf weitere Teams ausweiten.