Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Altana
Altana stemt Llama 3.1 8B af om zendingen in douanetariefcodes in te delen
Altana, een bedrijf voor inzicht in toeleveringsketens, stemde het open-weight-model (met open gewichten) Llama 3.1 8B van Meta op Databricks af om zendingen toe te wijzen aan meer dan 10.000 douanetariefcategorieën. Het draait binnen het eigen cloudaccount van elke klant. De VP of AI van Altana zegt dat GenAI-systemen nu 20 keer sneller in productie komen.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
20
keer sneller
Snelheid waarmee GenAI-systemen met Llama op Databricks in productie komen, volgens de VP of AI van Altana1
20
keer
Snellere uitrol van GenAI-modellen in productie, kopcijfer op de Altana-pagina van Databricks2
20
–50%
Verbetering van de modelprestaties, kopcijfer op de Altana-pagina van Databricks, dat betrekking heeft op Altana's bredere GenAI-werk en niet alleen op de tariefclassificator2
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Altana helpt bedrijven en overheden hun toeleveringsketens te doorgronden, van grondstoffen tot eindproducten. Een deel van dat werk is het indelen van zendingen in de juiste douanetariefcategorie, uit meer dan 10.000. Altana wilde ook nieuwe AI-functies sneller bij klanten krijgen, zonder afhankelijk te zijn van externe AI-diensten.
Wat ze bouwden
Altana gebruikt Llama 3.1 8B van Meta, een open-weight-model. Open-weight betekent dat de modelbestanden openbaar zijn, zodat een bedrijf ze zelf kan aanpassen en draaien. Het model wijst zendinggegevens toe aan meer dan 10.000 douanetariefcategorieën, met behulp van producttypen en relatiegegevens uit de toeleveringsketenkaart van Altana. Altana zegt Llama te hebben gekozen vanwege de nauwkeurigheid, de lagere kosten en de goede aansluiting op Databricks, het dataplatform.
Hoe ze het aanpakten
Het team stemde het model af op het Databricks-platform, wat betekent dat het verder werd getraind op de eigen voorbeelden van Altana, ongeveer een miljoen paren van invoer en uitvoer. Ook was er extra training op domeinspecifieke data. In het begin antwoordde het model als een classificator en ging het slecht om met open vragen, dus voegde het team een bredere mix van invoer en uitvoer toe.
Altana zet de aangepaste modellen in binnen het Databricks-account van de klant op AWS of Azure. Zo worden aanroepen naar externe AI-diensten vermeden. Het bericht van Meta zegt dat het team flexibiliteit en besparingen ziet in het gebruik van open modellen.
Resultaten
De VP of AI van Altana zegt dat Llama op Databricks het bedrijf in staat stelt GenAI-systemen 20 keer sneller in productie te brengen. De eigen pagina van Databricks herhaalt het cijfer van 20 keer en voegt een prestatiewinst van het model van 20–50% toe. Meta zegt dat de afgestemde modellen live zijn bij klanten in retail, kleding, automotive en andere sectoren en blijven verbeteren naarmate klanten ze gebruiken.
De bronnen geven geen kosten of teamgrootte. Geen van beide legt uit hoe het cijfer van 20 keer is gemeten.
Wat u kunt overnemen
Kies een taak met een duidelijk juist antwoord, stem een klein open model af op uw eigen historie en houd het model binnen de omgeving van de klant als gegevensprivacy een verkoopargument is.
Lessen voor uw project
Draai het model waar de data staat. Altana zet aangepaste modellen in binnen het eigen cloudaccount van elke klant, zodat er geen data naar een externe AI-dienst gaat.
Stem het model af op uw eigen gelabelde historie. Altana trainde op ongeveer een miljoen voorbeelden van invoer en uitvoer.
Houd rekening met de bijwerkingen van het model. Een model dat alleen op het afgeven van codes was afgestemd, had moeite met open vragen totdat het team meer gevarieerde invoer en uitvoer toevoegde.
Begin met een afgebakende, controleerbare taak zoals codeclassificatie en bouw daar daarna een klantgerichte chatbot bovenop.
Kanttekeningen
- Beide bronnen zijn pagina's van leveranciers: de blog van Meta en het klantverhaal van Databricks. Geen enkele onafhankelijke bron bevestigt de cijfers, en geen van beide legt uit hoe de winst in snelheid of prestaties is gemeten.
- Het bericht van Meta zegt dat het afgestemde model van Altana in productie is, maar geeft geen startdatum. De getoonde inzetdatum is de datum van het bericht.
- De pagina van Databricks heeft geen datum. Ze noemt ook andere modellen, waaronder DBRX, Llama 3 en Phi-3, in het bredere systeem van Altana. Deze casus gaat over de tariefclassificator op basis van Llama 3.1 8B.
- De tekst van de Databricks-pagina spreekt van tot 50% betere prestaties, terwijl de kop 20–50% noemt. De bewering van 20 keer gaat over hoe snel Altana modellen oplevert, niet over de nauwkeurigheid van de classificatie.
- Meta zegt dat het team een afgestemde chatbot plant om klanten te helpen tariefcodes te kiezen. Dat deel is in ontwikkeling en telt niet als resultaat.
Bronnen
- How Altana employs Llama to elevate global value chain management
Meta AI · 2025-01-30 · Casestudy van leverancier · ai.meta.com
- Solving global trade challenges across the supply chain
Databricks · Zonder datum · Casestudy van leverancier · databricks.com
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.