Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Altana
Altana dostraja Llama 3.1 8B, by przypisywać przesyłki do kodów taryfy celnej
Altana, firma zajmująca się analityką łańcuchów dostaw, dostroiła na platformie Databricks model Llama 3.1 8B firmy Meta, o otwartych wagach, aby przypisywał przesyłki do ponad 10 000 kategorii taryfy celnej. Działa on w ramach konta chmurowego każdego klienta. Wiceprezes ds. AI w Altanie mówi, że systemy GenAI trafiają teraz do produkcji 20 razy szybciej.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
20
razy szybciej
Tempo wdrażania systemów GenAI do produkcji z Llama na Databricks, według wiceprezesa ds. AI w Altanie1
20
–50 %
Poprawa wydajności modeli, główna liczba na stronie Altany w Databricks, obejmująca szersze prace Altany nad GenAI, a nie tylko klasyfikator taryfowy2
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Altana pomaga firmom i rządom widzieć ich łańcuchy dostaw, od surowców po gotowe towary. Część tej pracy polega na przypisywaniu przesyłek do właściwej kategorii taryfy celnej spośród ponad 10 000. Altana chciała też szybciej dostarczać klientom nowe funkcje AI, nie polegając na zewnętrznych usługach AI.
Co zbudowano
Altana używa Llama 3.1 8B firmy Meta, modelu open-weight (o otwartych wagach). Oznacza to, że pliki modelu są publikowane, więc firma może je dostosować i uruchamiać samodzielnie. Model przypisuje dane o przesyłkach do ponad 10 000 kategorii taryfy celnej, korzystając z typów produktów i danych o relacjach z mapy łańcucha dostaw Altany. Altana mówi, że wybrała Llama ze względu na dokładność, niższy koszt i dobre dopasowanie do Databricks, swojej platformy danych.
Jak to zrobiono
Zespół dostroił model na Databricks, czyli dalej trenował go na własnych przykładach Altany, na około milionie par wejście-wyjście. Przeprowadził też dodatkowy trening na danych specyficznych dla dziedziny. Na początku model odpowiadał jak klasyfikator i słabo radził sobie z pytaniami otwartymi, więc zespół dodał szerszą mieszankę wejść i wyjść.
Altana wdraża dostosowane modele na koncie Databricks klienta w AWS lub Azure. Pozwala to uniknąć wywołań zewnętrznych usług AI. Wpis Meta mówi, że zespół widzi elastyczność i oszczędności w korzystaniu z modeli otwartych.
Wyniki
Wiceprezes ds. AI w Altanie mówi, że Llama na Databricks pozwala firmie wprowadzać systemy GenAI do produkcji 20 razy szybciej. Strona Databricks powtarza liczbę 20 razy i dodaje wzrost wydajności modelu o 20–50 %. Meta mówi, że dostrojone modele działają u klientów z handlu detalicznego, odzieży, motoryzacji i innych branż oraz wciąż się poprawiają, w miarę jak klienci z nich korzystają.
Źródła nie podają kosztów ani wielkości zespołu. Żadne nie wyjaśnia, jak zmierzono liczbę 20 razy.
Co warto powtórzyć
Wybierzcie zadanie z jasną poprawną odpowiedzią, dostrójcie mały model otwarty na własnej historii i trzymajcie model w środowisku klienta, jeśli prywatność danych jest argumentem sprzedażowym.
Wnioski dla Twojego projektu
Uruchamiajcie model tam, gdzie są dane. Altana wdraża dostosowane modele na koncie chmurowym każdego klienta, więc żadne dane nie trafiają do zewnętrznej usługi AI.
Dostrajajcie model na własnej, oznaczonej historii. Altana trenowała na około milionie przykładów wejście-wyjście.
Uwzględnijcie skutki uboczne modelu. Model dostrojony wyłącznie do zwracania kodów miał trudności z pytaniami otwartymi, dopóki zespół nie dodał bardziej zróżnicowanych wejść i wyjść.
Warto zacząć od wąskiego, możliwego do sprawdzenia zadania, takiego jak klasyfikacja kodów, a potem dodać na wierzchu chatbota dla klientów.
Zastrzeżenia
- Oba źródła to strony dostawców: blog Meta i historia klienta Databricks. Żadne niezależne źródło nie potwierdza liczb, a żadne nie wyjaśnia, jak zmierzono przyrost szybkości lub wydajności.
- Wpis Meta mówi, że dostrojony model Altany działa produkcyjnie, ale nie podaje daty uruchomienia. Pokazana data wdrożenia to data wpisu.
- Strona Databricks nie ma daty. Wymienia też inne modele, w tym DBRX, Llama 3 i Phi-3, w szerszym systemie Altany. Ten przypadek dotyczy klasyfikatora taryfowego opartego na Llama 3.1 8B.
- Tekst strony Databricks mówi o wydajności lepszej nawet o 50 %, a jej nagłówek o 20–50 %. Twierdzenie o 20 razach dotyczy tego, jak szybko Altana wdraża modele, a nie dokładności klasyfikacji.
- Meta mówi, że zespół planuje dostrojonego chatbota, który pomoże klientom wybierać kody taryfowe. Ta część jest w trakcie rozwoju i nie jest liczona jako wynik.
Źródła
- How Altana employs Llama to elevate global value chain management
Meta AI · 2025-01-30 · Studium przypadku dostawcy · ai.meta.com
- Solving global trade challenges across the supply chain
Databricks · Bez daty · Studium przypadku dostawcy · databricks.com
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.