Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Grab
Grab nutzt GPT-4, um Datentabellen zu dokumentieren und die Datensuche zu beschleunigen
Die Analysten von Grab taten sich schwer, unter mehr als 200.000 Tabellen den passenden Datensatz zu finden, weil nur wenige dokumentiert waren. Grab ließ GPT-4 die Tabellendokumentation entwerfen und stimmte sein internes Suchwerkzeug Hubble ab; nach eigenen Angaben stieg der Anteil der wichtigen Tabellen mit Dokumentation auf rund 90 %.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
94 %
, ein Anstieg um 12 Prozentpunkte
Klickrate der Hubble-Suche am Ende des ersten Halbjahrs 2024 (der Monatsdurchschnitt lag zuvor bei 82 %)1
um 70 Prozentpunkte auf rund 90 % gestiegen
Dokumentationsabdeckung der am häufigsten abgefragten (P80) Tabellen im Data Lake, nachdem GPT-4 die Dokumentation erzeugt hatte (zuvor 20 %)1
rund 95 %
Nutzer, die die erzeugte Dokumentation laut Nutzerfeedback nützlich fanden1
73 %
, ein Anstieg um 17 Prozentpunkte
Befragte, die es nach den Verbesserungen leicht fanden, Datensätze zu entdecken1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Der Data Lake von Grab umfasste mehr als 200.000 Tabellen, und die richtige zu finden dauerte lange. Nur 20 % der am häufigsten abgefragten Tabellen waren dokumentiert. Mitarbeitende fragten Kollegen in Slack nach Daten, und eine Umfrage aus dem Vorjahr ergab, dass 51 % der Datennutzer mehrere Tage brauchten, um den benötigten Datensatz zu finden. Das interne Suchwerkzeug Hubble arbeitete nur mit Stichwörtern und konnte den Kontext einer Frage nicht nutzen. Die durchschnittliche monatliche Klickrate lag bei 82 %; in 18 % der Sitzungen verließen die Nutzer die Suche also, ohne einen Datensatz zu öffnen.
Was sie gebaut haben
Grab startete im ersten Halbjahr 2024 drei miteinander verbundene Vorhaben. Das Unternehmen stimmte die Stichwortsuche von Hubble ab, ließ GPT-4 Tabellendokumentation erzeugen und führte HubbleIQ ein, einen Chatbot, der Fragen zur Datensuche in natürlicher Sprache beantwortet, in Hubble und in Slack.
Wie sie vorgegangen sind
Für die Suche wertete das Team Klickdaten aus und befragte Nutzer. Es hob die meistgenutzten und die zertifizierten Tabellen hervor, schob veraltete nach hinten, blendete irrelevante Datensätze aus und vereinfachte die Oberfläche.
Für die Dokumentation baute Grab einen Generator, der das Schema einer Tabelle (ihren Spaltenaufbau) und Beispieldaten liest und GPT-4 eine Beschreibung schreiben lässt. Der Prompt wurde in mehreren Runden mit Feedback der Dateneigner verfeinert. Über eine Schaltfläche „Generieren“ konnten die Eigner die Dokumentation selbst erstellen. Grab befüllte außerdem die Dokumentation der wichtigsten Tabellen vorab und bat die Eigner, sie zu prüfen. Solange ein Eigner den Text nicht akzeptiert oder bearbeitet hatte, sahen die Datennutzer die Kennzeichnung „KI-generiert“.
Für den Chatbot verband Grab Hubble mit Glean, einem Unternehmenssuchwerkzeug, das es bereits einsetzte, und baute HubbleIQ mit Glean Apps. Grab beschreibt dies als Sprachmodell mit einem eigenen System-Prompt, das die katalogisierten Datensätze lesen kann. Bei Suchen, die wahrscheinlich im Gespräch formuliert sind, zeigt Hubble zuerst die Ergebnisse von HubbleIQ an. Später integrierte Grab HubbleIQ in Slack und plante, es in den Fragekanälen der Analytics-Teams einzusetzen.
Ergebnisse
Die Klickrate der Suche stieg über das Halbjahr auf 94 %, ein Anstieg um 12 Prozentpunkte. Die Dokumentationsabdeckung der am häufigsten abgefragten Tabellen stieg um 70 Prozentpunkte auf rund 90 %, und rund 95 % der Nutzer, die Feedback gaben, fanden die erzeugte Dokumentation nützlich. Eine Folgeumfrage ergab, dass 73 % der Befragten es leicht fanden, Datensätze zu entdecken, ein Plus von 17 Prozentpunkten. Grab berichtet außerdem, dass Hubble einen Höchststand bei den monatlich aktiven Nutzern erreicht habe.
Erkenntnisse für Ihr Projekt
Festigen Sie das Fundament, bevor Sie einen Chatbot ergänzen. Grab hat zuerst die Dokumentationsabdeckung und die Suchqualität verbessert und erst darauf den Chatbot aufgebaut.
Lassen Sie die KI entwerfen und die Dateneigner freigeben. Grab kennzeichnete erzeugte Dokumentation als KI-generiert, bis ein Produzent sie akzeptiert oder bearbeitet hatte.
Beginnen Sie mit einer gemessenen Ausgangslage. Klickrate, Dokumentationsabdeckung und eine Nutzerumfrage gaben Grab klare Vorher-nachher-Zahlen.
Kaufen Sie die Infrastruktur zu, wenn es schnell gehen muss. Grab baute seinen Chatbot auf einem Unternehmenssuchwerkzeug auf, das bereits im Einsatz war, statt die Retrieval-Funktion von Grund auf zu entwickeln.
Einschränkungen
- Alle Zahlen stammen von Grab selbst, aus einem einzigen Beitrag im Engineering-Blog. Keine externe Stelle bestätigt sie.
- Der Beitrag nennt kein Datum für die Inbetriebnahme. Seine Ziele galten für das erste Halbjahr 2024, daher wird nur das Jahr als Einführungsdatum angegeben; das Veröffentlichungsdatum ist der 26. September 2024.
- Der Beitrag nennt nicht das Modell hinter dem Chatbot HubbleIQ, der mit Glean Apps gebaut wurde. GPT-4 wird nur für den Dokumentationsgenerator genannt.
- Der Beitrag nennt keine Ergebnisse für HubbleIQ selbst, etwa zur Antwortqualität oder zur Zeit bis zum Finden eines Datensatzes. Das genannte Ziel, die Suche von Tagen auf Sekunden zu verkürzen, ist ein Ziel und kein Ergebnis.
- Der Beitrag nennt weder Kosten noch Teamgröße und sagt nicht, wie viele Tabellen dokumentiert oder wie viele Nutzer befragt wurden.
Quellen
- Enabling conversational data discovery with LLMs at Grab
Grab Engineering Blog · 2024-09-26 · Unternehmensblog · engineering.grab.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.