Traduit de l’original anglais. Les chiffres et les sources sont inchangés. Lire l’original en anglais
Grab
Grab utilise GPT-4 pour documenter ses tables de données et accélérer la recherche de données
Les analystes de Grab peinaient à trouver le bon jeu de données parmi plus de 200 000 tables, car peu d'entre elles étaient documentées. Grab a utilisé GPT-4 pour rédiger la documentation des tables et a affiné son outil de recherche interne, Hubble ; l'entreprise indique que la part des tables clés documentées est passée à environ 90 %.
Chiffres clés
Repris tels quels des sources. Copiez n’importe quel chiffre avec sa citation.
94 %
, soit une hausse de 12 points de pourcentage
Taux de clic de la recherche Hubble à la fin du premier semestre 2024 (la moyenne mensuelle était de 82 % auparavant)1
en hausse de 70 points de pourcentage, à environ 90 %
Couverture documentaire des tables du data lake les plus fréquemment interrogées (P80), après la documentation générée par GPT-4 (20 % auparavant)1
environ 95 %
Utilisateurs ayant jugé la documentation générée utile, d'après leurs retours1
73 %
, soit une hausse de 17 points de pourcentage
Répondants à l'enquête ayant trouvé facile de découvrir des jeux de données, après les améliorations1
Ce que cela a demandé
Le coût, la taille de l’équipe et le calendrier ne sont pas communiqués dans les sources.
Le problème
Le data lake de Grab comptait plus de 200 000 tables, et trouver la bonne était long. Seules 20 % des tables les plus fréquemment interrogées étaient documentées. Les équipes sollicitaient leurs collègues sur Slack pour trouver des données, et une enquête menée l'année précédente indiquait que 51 % des utilisateurs de données mettaient plusieurs jours à trouver le jeu de données dont ils avaient besoin. L'outil de recherche interne, Hubble, ne fonctionnait que par mots-clés et ne tenait pas compte du contexte d'une question. Son taux de clic moyen mensuel était de 82 %, ce qui signifie que dans 18 % des sessions, les utilisateurs repartaient sans ouvrir aucun jeu de données.
Ce qu'ils ont construit
Grab a mené trois chantiers liés au premier semestre 2024. L'entreprise a affiné la recherche par mots-clés de Hubble, utilisé GPT-4 pour générer la documentation des tables et lancé HubbleIQ, un chatbot qui répond en langage courant aux questions de recherche de données, dans Hubble et dans Slack.
Comment ils s'y sont pris
Pour la recherche, l'équipe a étudié les données de clics et interrogé des utilisateurs. Elle a mis en avant les tables les plus utilisées et les tables certifiées, relégué les tables obsolètes, masqué les jeux de données non pertinents et simplifié l'écran.
Pour la documentation, Grab a conçu un générateur qui lit le schéma d'une table (la structure de ses colonnes) ainsi que des données d'exemple, et demande à GPT-4 d'en rédiger une description. Le prompt a été affiné au fil de plusieurs cycles de retours des propriétaires des données. Un bouton « générer » permettait aux propriétaires de créer eux-mêmes la documentation. Grab a aussi prérempli la documentation des tables les plus critiques et demandé aux propriétaires de la relire. Tant qu'un propriétaire n'avait pas accepté ou modifié le texte, les utilisateurs voyaient la mention « généré par l'IA ».
Pour le chatbot, Grab a relié Hubble à Glean, un outil de recherche d'entreprise qu'il utilisait déjà, et construit HubbleIQ avec Glean Apps, que Grab décrit comme un modèle de langage doté d'un prompt système personnalisé, capable de lire les jeux de données catalogués. Pour les recherches probablement conversationnelles, les résultats de HubbleIQ s'affichent en premier. Grab a ensuite ajouté HubbleIQ à Slack et prévu de le placer dans les canaux de questions des équipes d'analystes.
Résultats
Le taux de clic de la recherche est passé à 94 % sur le semestre, soit une hausse de 12 points de pourcentage. La couverture documentaire des tables les plus interrogées a progressé de 70 points de pourcentage, pour atteindre environ 90 %, et environ 95 % des utilisateurs ayant donné leur avis ont jugé la documentation générée utile. Une enquête de suivi montre que 73 % des répondants trouvaient facile de découvrir des jeux de données, soit 17 points de pourcentage de plus. Grab indique aussi que Hubble a atteint un record de son nombre d'utilisateurs actifs mensuels.
Enseignements pour votre projet
Consolidez les fondations avant d'ajouter un chatbot. Grab a d'abord amélioré la couverture documentaire et la qualité de la recherche, puis a construit le bot conversationnel sur ce contenu.
Laissez l'IA rédiger et les propriétaires des données valider. Grab a signalé la documentation générée comme produite par l'IA tant qu'un producteur de données ne l'avait pas acceptée ou modifiée.
Partez d'une base de référence mesurée. Le taux de clic, la couverture documentaire et une enquête auprès des utilisateurs ont donné à Grab des chiffres clairs avant et après.
Achetez la tuyauterie quand la rapidité compte. Grab a construit son chatbot sur un outil de recherche d'entreprise qu'il utilisait déjà, plutôt que de développer la recherche documentaire de zéro.
Réserves
- Tous les chiffres sont ceux de Grab, tirés d'un seul article de son blog d'ingénierie. Aucun tiers ne les confirme.
- L'article ne donne pas de date de mise en service. Ses objectifs étaient fixés pour le premier semestre 2024 ; seule l'année est donc retenue comme date de déploiement, et la date de publication est le 26 septembre 2024.
- L'article ne nomme pas le modèle derrière le chatbot HubbleIQ, construit avec Glean Apps. GPT-4 n'est cité que pour le générateur de documentation.
- L'article ne donne aucun résultat pour HubbleIQ lui-même, comme la qualité des réponses ou le temps nécessaire pour trouver un jeu de données. L'objectif affiché de passer de plusieurs jours à quelques secondes est un objectif, pas un résultat.
- L'article ne donne ni coût ni taille d'équipe, et n'indique pas combien de tables ont été documentées ni combien d'utilisateurs ont répondu à l'enquête.
Sources
- Enabling conversational data discovery with LLMs at Grab
Grab Engineering Blog · 2024-09-26 · Blog de l’entreprise · engineering.grab.com
Résumé dans nos propres mots à partir des sources ci-dessus. Une erreur ? Consultez les corrections.