Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Grab
Grab gebruikt GPT-4 om datatabellen te documenteren en data sneller vindbaar te maken
De analisten van Grab hadden moeite om tussen meer dan 200.000 tabellen de juiste dataset te vinden, omdat er maar weinig gedocumenteerd waren. Grab liet GPT-4 de tabeldocumentatie opstellen en stemde zijn interne zoektool Hubble af; volgens het bedrijf steeg het aandeel gedocumenteerde sleuteltabellen naar ongeveer 90%.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
94%
, een stijging van 12 procentpunten
Doorklikpercentage van de Hubble-zoekfunctie aan het einde van de eerste helft van 2024 (het maandgemiddelde was daarvoor 82%)1
met 70 procentpunten gestegen naar ongeveer 90%
Documentatiedekking van de vaakst bevraagde (P80) tabellen in het data lake, nadat GPT-4 documentatie had gegenereerd (daarvoor 20%)1
ongeveer 95%
Gebruikers die de gegenereerde documentatie nuttig vonden, volgens gebruikersfeedback1
73%
, een stijging van 17 procentpunten
Respondenten die na de verbeteringen vonden dat datasets makkelijk te vinden zijn1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Het data lake van Grab bevatte meer dan 200.000 tabellen, en de juiste vinden kostte veel tijd. Slechts 20% van de vaakst bevraagde tabellen was gedocumenteerd. Medewerkers vroegen collega's in Slack naar data, en een enquête van het jaar daarvoor liet zien dat 51% van de datagebruikers meerdere dagen nodig had om de dataset te vinden die ze zochten. De interne zoektool, Hubble, zocht alleen op trefwoorden en kon de context van een vraag niet gebruiken. Het gemiddelde maandelijkse doorklikpercentage was 82%, dus in 18% van de sessies vertrokken mensen zonder een dataset te openen.
Wat ze bouwden
Grab voerde in de eerste helft van 2024 drie samenhangende trajecten uit. Het bedrijf stemde de trefwoordzoekfunctie van Hubble af, liet GPT-4 tabeldocumentatie genereren en lanceerde HubbleIQ, een chatbot die vragen over het vinden van data in gewone taal beantwoordt, in Hubble en in Slack.
Hoe ze het aanpakten
Voor de zoekfunctie bestudeerde het team klikdata en interviewde het gebruikers. Het gaf de meestgebruikte en gecertificeerde tabellen voorrang, duwde verouderde tabellen omlaag, verborg irrelevante datasets en vereenvoudigde het scherm.
Voor de documentatie bouwde Grab een generator die het schema van een tabel (de indeling van de kolommen) en voorbeelddata inleest en GPT-4 een beschrijving laat schrijven. De prompt werd in meerdere rondes verfijnd met feedback van de data-eigenaren. Met een knop "genereren" konden eigenaren zelf documentatie laten maken. Grab vulde daarnaast de documentatie van de belangrijkste tabellen vooraf in en vroeg de eigenaren die na te lezen. Totdat een eigenaar de tekst had geaccepteerd of aangepast, zagen datagebruikers het label "door AI gegenereerd".
Voor de chatbot koppelde Grab Hubble aan Glean, een zoektool voor bedrijven die het al gebruikte, en bouwde het HubbleIQ met Glean Apps, dat Grab omschrijft als een taalmodel met een eigen systeemprompt dat de gecatalogiseerde datasets kan lezen. Bij zoekopdrachten die waarschijnlijk in gespreksvorm zijn, staan de resultaten van HubbleIQ bovenaan. Later voegde Grab HubbleIQ toe aan Slack en was het van plan het te plaatsen in de vragenkanalen van analyticsteams.
Resultaten
Het doorklikpercentage van de zoekfunctie steeg in de loop van het halfjaar naar 94%, een stijging van 12 procentpunten. De documentatiedekking van de vaakst bevraagde tabellen steeg met 70 procentpunten naar ongeveer 90%, en ongeveer 95% van de gebruikers die feedback gaven, vond de gegenereerde documentatie nuttig. Een vervolgenquête liet zien dat 73% van de respondenten het makkelijk vond om datasets te vinden, 17 procentpunten meer. Grab meldt ook dat Hubble een recordaantal maandelijks actieve gebruikers bereikte.
Lessen voor uw project
Zet eerst het fundament op orde voordat u een chatbot toevoegt. Grab verbeterde eerst de documentatiedekking en de zoekkwaliteit en bouwde de chatbot pas daarna op die inhoud.
Laat de AI een concept schrijven en de data-eigenaren goedkeuren. Grab markeerde gegenereerde documentatie als door AI gegenereerd totdat een producent die had geaccepteerd of aangepast.
Begin met een gemeten nulmeting. Doorklikpercentage, documentatiedekking en een gebruikersenquête gaven Grab duidelijke cijfers van voor en na.
Koop de infrastructuur in als snelheid telt. Grab bouwde zijn chatbot op een zoektool voor bedrijven die het al gebruikte, in plaats van de zoekfunctie helemaal zelf te ontwikkelen.
Kanttekeningen
- Alle cijfers zijn van Grab zelf, uit één blogbericht van het engineeringteam. Geen enkele externe partij bevestigt ze.
- Het bericht noemt geen datum van ingebruikname. De doelen golden voor de eerste helft van 2024, dus alleen het jaar wordt getoond als implementatiedatum; de publicatiedatum is 26 september 2024.
- Het bericht noemt niet het model achter de HubbleIQ-chatbot, die is gebouwd met Glean Apps. GPT-4 wordt alleen genoemd voor de documentatiegenerator.
- Het bericht geeft geen resultaten voor HubbleIQ zelf, zoals de kwaliteit van antwoorden of de tijd om een dataset te vinden. Het genoemde doel om het zoeken terug te brengen van dagen naar seconden is een doel, geen resultaat.
- Het bericht noemt geen kosten of teamgrootte en zegt niet hoeveel tabellen zijn gedocumenteerd of hoeveel gebruikers zijn bevraagd.
Bronnen
- Enabling conversational data discovery with LLMs at Grab
Grab Engineering Blog · 2024-09-26 · Bedrijfsblog · engineering.grab.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.