Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Grab
Grab używa GPT-4 do dokumentowania tabel danych i przyspieszenia wyszukiwania danych
Analitycy Grab mieli problem ze znalezieniem właściwego zbioru danych wśród ponad 200 000 tabel, bo niewiele z nich było udokumentowanych. Grab użył GPT-4 do przygotowania dokumentacji tabel i dostroił wewnętrzne narzędzie wyszukiwania Hubble; według firmy odsetek kluczowych tabel z dokumentacją wzrósł do około 90 %.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
94 %
, wzrost o 12 punktów procentowych
Współczynnik kliknięć w wyszukiwarce Hubble pod koniec pierwszego półrocza 2024 r. (wcześniej średnia miesięczna wynosiła 82 %)1
wzrost o 70 punktów procentowych do około 90 %
Pokrycie dokumentacją najczęściej odpytywanych (P80) tabel data lake po dokumentacji wygenerowanej przez GPT-4 (wcześniej 20 %)1
około 95 %
Użytkownicy, którzy uznali wygenerowaną dokumentację za przydatną, według opinii użytkowników1
73 %
, wzrost o 17 punktów procentowych
Ankietowani, którzy po usprawnieniach uznali, że łatwo znaleźć zbiory danych1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Data lake Grab zawierał ponad 200 000 tabel, a znalezienie właściwej trwało długo. Tylko 20 % najczęściej odpytywanych tabel miało dokumentację. Pracownicy pytali o dane kolegów na Slacku, a ankieta z poprzedniego roku wykazała, że 51 % użytkowników danych potrzebowało kilku dni, by znaleźć potrzebny zbiór danych. Wewnętrzne narzędzie wyszukiwania Hubble działało wyłącznie na słowach kluczowych i nie potrafiło wykorzystać kontekstu pytania. Średni miesięczny współczynnik kliknięć wynosił 82 %, więc w 18 % sesji użytkownicy wychodzili, nie otwierając żadnego zbioru danych.
Co zbudowano
W pierwszej połowie 2024 r. Grab prowadził trzy powiązane działania. Dostroił wyszukiwanie po słowach kluczowych w Hubble, użył GPT-4 do generowania dokumentacji tabel i uruchomił HubbleIQ, chatbota, który odpowiada na pytania o wyszukiwanie danych zwykłym językiem, w Hubble i na Slacku.
Jak to zrobiono
W przypadku wyszukiwania zespół przeanalizował dane o kliknięciach i przeprowadził wywiady z użytkownikami. Podbił pozycję najczęściej używanych i certyfikowanych tabel, obniżył pozycję przestarzałych, ukrył nieistotne zbiory danych i uprościł ekran.
W przypadku dokumentacji Grab zbudował generator, który odczytuje schemat tabeli (układ jej kolumn) oraz przykładowe dane i prosi GPT-4 o napisanie opisu. Prompt dopracowywano w kilku rundach na podstawie opinii właścicieli danych. Przycisk „generuj” pozwalał właścicielom samodzielnie tworzyć dokumentację. Grab wstępnie wypełnił też dokumentację najważniejszych tabel i poprosił właścicieli o jej przegląd. Dopóki właściciel nie zaakceptował ani nie poprawił tekstu, użytkownicy danych widzieli oznaczenie „wygenerowane przez AI”.
W przypadku chatbota Grab połączył Hubble z Glean, korporacyjnym narzędziem wyszukiwania, którego już używał, i zbudował HubbleIQ na Glean Apps, które Grab opisuje jako model językowy z własnym promptem systemowym, potrafiący czytać skatalogowane zbiory danych. Przy wyszukiwaniach, które prawdopodobnie mają charakter rozmowy, wyniki HubbleIQ pokazują się jako pierwsze. Później Grab dodał HubbleIQ do Slacka i planował umieścić go na kanałach z pytaniami zespołów analitycznych.
Wyniki
Współczynnik kliknięć w wyszukiwarce wzrósł w ciągu półrocza do 94 %, czyli o 12 punktów procentowych. Pokrycie dokumentacją najczęściej odpytywanych tabel wzrosło o 70 punktów procentowych do około 90 %, a około 95 % użytkowników, którzy przekazali opinię, uznało wygenerowaną dokumentację za przydatną. Ankieta kontrolna wykazała, że 73 % ankietowanych uznało, iż łatwo znaleźć zbiory danych, czyli o 17 punktów procentowych więcej. Grab podaje też, że Hubble osiągnął rekordową liczbę aktywnych użytkowników miesięcznie.
Wnioski dla Twojego projektu
Warto naprawić fundamenty, zanim doda się chatbota. Grab najpierw poprawił pokrycie dokumentacją i jakość wyszukiwania, a dopiero potem zbudował na tej treści bota konwersacyjnego.
Warto pozwolić AI przygotować szkic, a właścicielom danych go zatwierdzić. Grab oznaczał wygenerowaną dokumentację jako wygenerowaną przez AI, dopóki producent danych jej nie zaakceptował lub nie poprawił.
Warto zacząć od zmierzonego punktu wyjścia. Współczynnik kliknięć, pokrycie dokumentacją i ankieta wśród użytkowników dały Grab jasne liczby przed zmianą i po niej.
Warto kupić infrastrukturę, gdy liczy się szybkość. Grab zbudował chatbota na korporacyjnym narzędziu wyszukiwania, którego już używał, zamiast tworzyć wyszukiwanie od zera.
Zastrzeżenia
- Wszystkie liczby pochodzą od samego Grab, z jednego wpisu na jego blogu inżynierskim. Żadna niezależna strona ich nie potwierdza.
- Wpis nie podaje daty uruchomienia. Jego cele wyznaczono na pierwsze półrocze 2024 r., dlatego jako datę wdrożenia pokazano tylko rok; data publikacji to 26 września 2024 r.
- Wpis nie wskazuje modelu stojącego za chatbotem HubbleIQ, zbudowanym na Glean Apps. GPT-4 wymieniono tylko w odniesieniu do generatora dokumentacji.
- Wpis nie podaje wyników samego HubbleIQ, takich jak jakość odpowiedzi czy czas potrzebny na znalezienie zbioru danych. Deklarowany cel skrócenia wyszukiwania z dni do sekund jest celem, a nie wynikiem.
- Wpis nie podaje kosztu ani wielkości zespołu i nie mówi, ile tabel udokumentowano ani ilu użytkowników ankietowano.
Źródła
- Enabling conversational data discovery with LLMs at Grab
Grab Engineering Blog · 2024-09-26 · Blog firmowy · engineering.grab.com
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.