Uma van Upwork stelt voorstellen voor freelancers op met afgestemde Llama 3.1 en verlaagt de kosten per token met 19,25%

Het probleem

Upwork is een marktplaats waar bedrijven zelfstandig talent inhuren. Veel freelancers, vooral nieuwe, vinden het moeilijk om op te vallen. Voor elke vacature een voorstel schrijven kost tijd en vraagt om een goed begrip van wat de klant wil. Upwork geloofde dat zijn AI-assistent Uma freelancers kon helpen betere voorstellen sneller te schrijven.

Wat ze bouwden

Upwork upgradede Uma naar Llama 3.1 70B, een model van Meta met open gewichten, wat betekent dat de bestanden openbaar zijn en door een bedrijf kunnen worden gedraaid en aangepast. De geüpgradede Uma beoordeelt vacatures en freelanceprofielen, stelt vragen over de vaardigheden van de freelancer en stelt in realtime een voorstel op maat op.

Hoe ze het aanpakten

Kant-en-klare modellen presteerden in proeven slecht omdat ze de interne kennis van Upwork misten. Daarom stemde het team Llama af, dat wil zeggen dat het het model verder trainde op eigen voorbeelden. Het maakte een dataset die de toon van Uma vastlegt en een andere met sterk presterende voorstelteksten, geschreven door hooggewaardeerde copywriters op het platform en aangevuld met synthetische voorbeelden. Met LoRA, een methode die een klein deel van de gewichten van het model aanpast, bouwde het aparte expertdiensten zoals profielbeoordeling, vacatureanalyse, realtimefeedback en het opstellen van voorstellen, die allemaal één basismodel delen. Fireworks AI levert deze op aanvraag, naast Amazon Web Services en de eigen infrastructuur van Upwork.

Resultaten

Meta meldt dat Upwork 58,8% meer interactie zag dan met eerdere hulpmiddelen en 19,25% lagere kosten per token dan bij propriëtaire modellen. Dit zijn resultaten die Meta doorgeeft, zonder nulmeting of periode en zonder onafhankelijke bevestiging.