Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Grab
Grab usa GPT-4 per documentare le tabelle di dati e accelerare la ricerca dei dati
Gli analisti di Grab faticavano a trovare il dataset giusto tra oltre 200.000 tabelle, perché poche erano documentate. Grab ha usato GPT-4 per redigere la documentazione delle tabelle e ha affinato il proprio strumento di ricerca interno, Hubble; l'azienda dichiara che la quota di tabelle chiave documentate è salita a circa il 90%.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
94%
, un aumento di 12 punti percentuali
Percentuale di clic della ricerca di Hubble alla fine del primo semestre 2024 (la media mensile era dell'82% in precedenza)1
aumentata di 70 punti percentuali, a circa il 90%
Copertura documentale delle tabelle del data lake più interrogate (P80), dopo la documentazione generata da GPT-4 (20% in precedenza)1
circa il 95%
Utenti che hanno trovato utile la documentazione generata, secondo il feedback degli utenti1
73%
, un aumento di 17 punti percentuali
Intervistati che hanno trovato facile scoprire i dataset, dopo i miglioramenti1
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
Il data lake di Grab conteneva oltre 200.000 tabelle e trovare quella giusta richiedeva tempo. Solo il 20% delle tabelle più interrogate aveva una documentazione. Il personale si rivolgeva ai colleghi su Slack per trovare i dati, e un sondaggio dell'anno prima aveva rilevato che il 51% degli utenti dei dati impiegava più giorni per trovare il dataset necessario. Lo strumento di ricerca interno, Hubble, funzionava solo per parole chiave e non poteva sfruttare il contesto di una domanda. La percentuale di clic media mensile era dell'82%, quindi nel 18% delle sessioni gli utenti se ne andavano senza aprire alcun dataset.
Cosa hanno costruito
Nel primo semestre 2024 Grab ha portato avanti tre iniziative collegate. Ha affinato la ricerca per parole chiave di Hubble, ha usato GPT-4 per generare la documentazione delle tabelle e ha lanciato HubbleIQ, un chatbot che risponde in linguaggio naturale alle domande sulla ricerca dei dati, dentro Hubble e su Slack.
Come ci sono riusciti
Per la ricerca, il team ha studiato i dati sui clic e intervistato gli utenti. Ha dato più peso alle tabelle più usate e a quelle certificate, ha spinto in basso quelle obsolete, ha nascosto i dataset irrilevanti e ha semplificato la schermata.
Per la documentazione, Grab ha creato un generatore che legge lo schema di una tabella (la disposizione delle colonne) e dati di esempio e chiede a GPT-4 di scriverne una descrizione. Il prompt è stato rifinito nel corso di più cicli di feedback dei responsabili dei dati. Un pulsante "genera" permetteva ai responsabili di creare da soli la documentazione. Grab ha anche precompilato la documentazione delle tabelle più critiche e chiesto ai responsabili di rivederla. Finché un responsabile non accettava o modificava il testo, gli utenti vedevano l'etichetta "generato dall'IA".
Per il chatbot, Grab ha collegato Hubble a Glean, uno strumento di ricerca aziendale che già usava, e ha costruito HubbleIQ con Glean Apps, che Grab descrive come un modello linguistico con un prompt di sistema personalizzato in grado di leggere i dataset catalogati. Per le ricerche probabilmente conversazionali, i risultati di HubbleIQ compaiono per primi. Più avanti Grab ha aggiunto HubbleIQ a Slack e ha previsto di inserirlo nei canali delle domande dei team di analisi.
Risultati
La percentuale di clic della ricerca è salita al 94% nel corso del semestre, un aumento di 12 punti percentuali. La copertura documentale delle tabelle più interrogate è aumentata di 70 punti percentuali, arrivando a circa il 90%, e circa il 95% degli utenti che hanno dato un riscontro ha trovato utile la documentazione generata. Un sondaggio successivo ha rilevato che il 73% degli intervistati trovava facile scoprire i dataset, 17 punti percentuali in più. Grab segnala inoltre che Hubble ha raggiunto il massimo storico di utenti attivi mensili.
Lezioni per il vostro progetto
Sistemare le fondamenta prima di aggiungere un chatbot. Grab ha prima migliorato la copertura documentale e la qualità della ricerca, poi ha costruito il bot conversazionale su quei contenuti.
Lasciare che l'IA rediga e che i responsabili dei dati approvino. Grab ha contrassegnato la documentazione generata come prodotta dall'IA finché un produttore non l'accettava o la modificava.
Partire da una base di partenza misurata. Percentuale di clic, copertura documentale e un sondaggio tra gli utenti hanno dato a Grab numeri chiari di prima e dopo.
Acquistare l'infrastruttura quando conta la velocità. Grab ha costruito il chatbot su uno strumento di ricerca aziendale che già usava, invece di sviluppare da zero il recupero delle informazioni.
Avvertenze
- Tutti i dati sono di Grab, tratti da un solo articolo del suo blog di ingegneria. Nessuna parte esterna li conferma.
- L'articolo non indica una data di entrata in produzione. I suoi obiettivi erano fissati per il primo semestre 2024, quindi come data di rilascio compare solo l'anno; la data di pubblicazione è il 26 settembre 2024.
- L'articolo non nomina il modello dietro il chatbot HubbleIQ, costruito con Glean Apps. GPT-4 è citato solo per il generatore di documentazione.
- L'articolo non riporta risultati per HubbleIQ stesso, come la qualità delle risposte o il tempo per trovare un dataset. L'obiettivo dichiarato di ridurre la ricerca da giorni a secondi è un obiettivo, non un risultato.
- L'articolo non indica costi né dimensioni del team, e non dice quante tabelle siano state documentate né quanti utenti siano stati intervistati.
Fonti
- Enabling conversational data discovery with LLMs at Grab
Grab Engineering Blog · 2024-09-26 · Blog aziendale · engineering.grab.com
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.