Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Altana
Altana optimiert Llama 3.1 8B durch Feinabstimmung, um Sendungen Zolltarifnummern zuzuordnen
Altana, ein Anbieter von Lieferketten-Intelligenz, hat Metas Open-Weight-Modell (mit offenen Gewichten) Llama 3.1 8B auf Databricks feinabgestimmt, um Sendungen mehr als 10.000 Zolltarifkategorien zuzuordnen. Es läuft im eigenen Cloud-Konto jedes Kunden. Altanas VP of AI sagt, GenAI-Systeme erreichten die Produktion jetzt 20-mal schneller.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
20
-mal schneller
Tempo, mit dem GenAI-Systeme mit Llama auf Databricks in Produktion gehen, laut Altanas VP of AI1
20
-mal
Schnellere Bereitstellung von GenAI-Modellen in der Produktion, Kernzahl auf Databricks’ Altana-Seite2
20
–50 %
Verbesserung der Modellleistung, Kernzahl auf Databricks’ Altana-Seite, die Altanas gesamte GenAI-Arbeit abdeckt und nicht nur den Tarifklassifizierer2
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Altana hilft Unternehmen und Regierungen, ihre Lieferketten zu durchschauen, von Rohstoffen bis zu Fertigwaren. Ein Teil dieser Arbeit besteht darin, Sendungen der richtigen Zolltarifkategorie zuzuordnen, aus mehr als 10.000. Altana wollte außerdem neue KI-Funktionen schneller zu den Kunden bringen, ohne auf externe KI-Dienste angewiesen zu sein.
Was sie gebaut haben
Altana nutzt Metas Llama 3.1 8B, ein Open-Weight-Modell. Open-Weight bedeutet, dass die Modelldateien veröffentlicht sind, sodass ein Unternehmen sie selbst anpassen und betreiben kann. Das Modell ordnet Sendungsdaten mehr als 10.000 Zolltarifkategorien zu und nutzt dafür Produkttypen und Beziehungsdaten aus Altanas Lieferkettenkarte. Altana sagt, es habe sich wegen der Genauigkeit, der niedrigeren Kosten und der guten Passung zu Databricks, seiner Datenplattform, für Llama entschieden.
Wie sie vorgegangen sind
Das Team stimmte das Modell auf Databricks feinab, das heißt, es trainierte es mit Altanas eigenen Beispielen weiter, rund einer Million Ein- und Ausgabepaaren. Zusätzlich lief ein weiteres Training mit fachspezifischen Daten. Anfangs antwortete das Modell wie ein Klassifizierer und kam mit offenen Fragen schlecht zurecht, daher ergänzte das Team eine breitere Mischung aus Ein- und Ausgaben.
Altana setzt die angepassten Modelle im Databricks-Konto des Kunden auf AWS oder Azure ein. So werden Aufrufe externer KI-Dienste vermieden. Metas Beitrag sagt, das Team sehe in offenen Modellen Flexibilität und Einsparungen.
Ergebnisse
Altanas VP of AI sagt, mit Llama auf Databricks bringe das Unternehmen GenAI-Systeme 20-mal schneller in Produktion. Databricks’ eigene Seite wiederholt die Zahl 20-mal und fügt einen Leistungsgewinn des Modells von 20–50 % hinzu. Meta sagt, die feinabgestimmten Modelle seien bei Kunden im Einzelhandel, in der Bekleidung, in der Automobilindustrie und in anderen Branchen live und würden mit der Nutzung durch die Kunden weiter besser.
Die Quellen nennen weder Kosten noch Teamgröße. Keine erklärt, wie die Zahl 20-mal gemessen wurde.
Was Sie übernehmen können
Wählen Sie eine Aufgabe mit eindeutig richtiger Antwort, stimmen Sie ein kleines offenes Modell auf Ihrer eigenen Historie fein ab und lassen Sie das Modell in der Umgebung des Kunden, wenn Datenschutz ein Verkaufsargument ist.
Erkenntnisse für Ihr Projekt
Betreiben Sie das Modell dort, wo die Daten liegen. Altana setzt angepasste Modelle im eigenen Cloud-Konto jedes Kunden ein, sodass keine Daten an einen externen KI-Dienst gehen.
Stimmen Sie das Modell auf Ihrer eigenen annotierten Historie fein ab. Altana trainierte mit rund einer Million Ein- und Ausgabebeispielen.
Planen Sie die Nebenwirkungen des Modells ein. Ein Modell, das nur auf die Ausgabe von Codes getrimmt war, tat sich mit offenen Fragen schwer, bis das Team vielfältigere Ein- und Ausgaben ergänzte.
Beginnen Sie mit einer engen, überprüfbaren Aufgabe wie der Code-Klassifizierung und setzen Sie danach einen kundenorientierten Chatbot obendrauf.
Einschränkungen
- Beide Quellen sind Anbieterseiten: Metas Blog und Databricks’ Kundengeschichte. Keine unabhängige Quelle bestätigt die Zahlen, und keine erklärt, wie die Gewinne bei Tempo oder Leistung gemessen wurden.
- Der Beitrag von Meta sagt, Altanas feinabgestimmtes Modell sei in Produktion, nennt aber kein Startdatum. Das angegebene Einsatzdatum ist das Datum des Beitrags.
- Die Databricks-Seite trägt kein Datum. Sie nennt außerdem weitere Modelle, darunter DBRX, Llama 3 und Phi-3, in Altanas breiterem System. Dieser Fall behandelt den Zolltarifklassifizierer auf Basis von Llama 3.1 8B.
- Im Text der Databricks-Seite steht eine um bis zu 50 % bessere Leistung, in der Überschrift dagegen 20–50 %. Die Aussage zum Faktor 20 betrifft, wie schnell Altana Modelle ausliefert, nicht die Genauigkeit der Klassifizierung.
- Meta sagt, das Team plane einen feinabgestimmten Chatbot, der Kunden bei der Wahl von Zolltarifnummern hilft. Dieser Teil ist in Entwicklung und wird nicht als Ergebnis gezählt.
Quellen
- How Altana employs Llama to elevate global value chain management
Meta AI · 2025-01-30 · Fallstudie des Anbieters · ai.meta.com
- Solving global trade challenges across the supply chain
Databricks · Ohne Datum · Fallstudie des Anbieters · databricks.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.