Traducido del original en inglés. Las cifras y las fuentes no cambian. Leer el original en inglés
Grab
Grab usa GPT-4 para documentar sus tablas de datos y acelerar la búsqueda de datos
Los analistas de Grab tenían dificultades para encontrar el conjunto de datos adecuado entre más de 200.000 tablas, porque pocas estaban documentadas. Grab usó GPT-4 para redactar la documentación de las tablas y ajustó su herramienta de búsqueda interna, Hubble; según la empresa, la proporción de tablas clave con documentación subió a cerca del 90 %.
Cifras clave
Copiadas literalmente de las fuentes. Copie cualquier cifra con su cita.
94 %
, un aumento de 12 puntos porcentuales
Tasa de clics de la búsqueda de Hubble al cierre del primer semestre de 2024 (la media mensual anterior era del 82 %)1
aumentó 70 puntos porcentuales, hasta cerca del 90 %
Cobertura de documentación de las tablas del data lake más consultadas (P80), tras la documentación generada por GPT-4 (20 % antes)1
cerca del 95 %
Usuarios que consideraron útil la documentación generada, según sus comentarios1
73 %
, un aumento de 17 puntos porcentuales
Encuestados que encontraron fácil descubrir conjuntos de datos, tras las mejoras1
Qué requirió
Las fuentes no divulgan el coste, el tamaño del equipo ni los plazos.
El problema
El data lake de Grab contenía más de 200.000 tablas, y encontrar la adecuada era lento. Solo el 20 % de las tablas más consultadas tenía documentación. El personal recurría a sus compañeros en Slack para encontrar datos, y una encuesta del año anterior mostró que el 51 % de los usuarios de datos tardaba varios días en encontrar el conjunto de datos que necesitaba. La herramienta de búsqueda interna, Hubble, solo funcionaba por palabras clave y no podía aprovechar el contexto de una pregunta. Su tasa de clics media mensual era del 82 %, de modo que en el 18 % de las sesiones los usuarios se iban sin abrir ningún conjunto de datos.
Qué construyeron
Grab emprendió tres iniciativas relacionadas en el primer semestre de 2024. Ajustó la búsqueda por palabras clave de Hubble, usó GPT-4 para generar la documentación de las tablas y lanzó HubbleIQ, un chatbot que responde en lenguaje natural a preguntas sobre búsqueda de datos, dentro de Hubble y en Slack.
Cómo lo hicieron
En la búsqueda, el equipo estudió los datos de clics y entrevistó a usuarios. Dio más peso a las tablas más usadas y a las certificadas, relegó las obsoletas, ocultó los conjuntos de datos irrelevantes y simplificó la pantalla.
En la documentación, Grab creó un generador que lee el esquema de una tabla (la disposición de sus columnas) y datos de muestra, y pide a GPT-4 que redacte una descripción. El prompt se fue refinando a lo largo de varias rondas de comentarios de los responsables de los datos. Un botón de «generar» permitía a los responsables crear la documentación por sí mismos. Grab también rellenó previamente la documentación de las tablas más críticas y pidió a los responsables que la revisaran. Hasta que un responsable aceptaba o editaba el texto, los usuarios veían la etiqueta «generado por IA».
Para el chatbot, Grab conectó Hubble con Glean, una herramienta de búsqueda empresarial que ya utilizaba, y construyó HubbleIQ con Glean Apps, que Grab describe como un modelo de lenguaje con un prompt de sistema personalizado capaz de leer los conjuntos de datos catalogados. En las búsquedas que probablemente sean conversacionales, los resultados de HubbleIQ aparecen primero. Más tarde, Grab añadió HubbleIQ a Slack y planeó situarlo en los canales de preguntas de los equipos de analítica.
Resultados
La tasa de clics de la búsqueda subió al 94 % a lo largo del semestre, un aumento de 12 puntos porcentuales. La cobertura de documentación de las tablas más consultadas aumentó 70 puntos porcentuales, hasta cerca del 90 %, y cerca del 95 % de los usuarios que dieron su opinión consideró útil la documentación generada. Una encuesta posterior mostró que el 73 % de los encuestados encontraba fácil descubrir conjuntos de datos, 17 puntos porcentuales más. Grab también informa de que Hubble alcanzó un máximo histórico de usuarios activos mensuales.
Lecciones para su proyecto
Arregle los cimientos antes de añadir un chatbot. Grab primero mejoró la cobertura de documentación y la calidad de la búsqueda, y después construyó el bot conversacional sobre ese contenido.
Deje que la IA redacte y que los responsables de los datos aprueben. Grab etiquetó la documentación generada como generada por IA hasta que un productor la aceptaba o la editaba.
Parta de una base medida. La tasa de clics, la cobertura de documentación y una encuesta a usuarios dieron a Grab cifras claras de antes y después.
Compre la infraestructura cuando la rapidez importe. Grab construyó su chatbot sobre una herramienta de búsqueda empresarial que ya utilizaba, en lugar de desarrollar la recuperación de información desde cero.
Salvedades
- Todas las cifras son de la propia Grab y proceden de una sola entrada de su blog de ingeniería. Ningún tercero las confirma.
- La entrada no da una fecha de puesta en marcha. Sus objetivos se fijaron para el primer semestre de 2024, por lo que solo se muestra el año como fecha de despliegue; la fecha de publicación es el 26 de septiembre de 2024.
- La entrada no nombra el modelo que hay detrás del chatbot HubbleIQ, construido con Glean Apps. GPT-4 solo se menciona para el generador de documentación.
- La entrada no ofrece resultados del propio HubbleIQ, como la calidad de las respuestas o el tiempo para encontrar un conjunto de datos. Su objetivo declarado de reducir el descubrimiento de días a segundos es una meta, no un resultado.
- La entrada no indica el coste ni el tamaño del equipo, y no dice cuántas tablas se documentaron ni cuántos usuarios respondieron a la encuesta.
Fuentes
- Enabling conversational data discovery with LLMs at Grab
Grab Engineering Blog · 2024-09-26 · Blog corporativo · engineering.grab.com
Resumido con nuestras propias palabras a partir de las fuentes anteriores. ¿Ha detectado un error? Consulte correcciones.