Uma di Upwork redige proposte per i freelance con Llama 3.1 affinato e riduce del 19,25% il costo per token

Il problema

Upwork è un marketplace in cui le aziende assumono professionisti indipendenti. Molti freelance, soprattutto i nuovi, faticano a distinguersi. Scrivere una proposta per ogni annuncio richiede tempo e una buona lettura di ciò che vuole il cliente. Upwork riteneva che il suo assistente di IA Uma potesse aiutare i freelance a scrivere proposte migliori più in fretta.

Cosa hanno costruito

Upwork ha potenziato Uma perché giri su Llama 3.1 70B, un modello a pesi aperti di Meta, cioè con file pubblicati che un'azienda può eseguire e adattare. Il nuovo Uma esamina gli annunci di lavoro e i profili dei freelance, pone domande sulle competenze del freelance e redige in tempo reale una proposta su misura.

Come ci sono riusciti

I modelli pronti all'uso andavano male nelle prove perché mancavano delle conoscenze interne di Upwork, così il team ha affinato Llama, cioè ha proseguito l'addestramento del modello sui propri esempi. Ha creato un dataset che cattura il tono di Uma e un altro di scrittura di proposte ad alto rendimento, redatte da copywriter molto apprezzati della piattaforma e ampliate con esempi sintetici. Ha usato LoRA, un metodo che regola una piccola parte dei pesi del modello, per creare servizi esperti separati, come revisione del profilo, analisi dell'annuncio, feedback in tempo reale e stesura della proposta, tutti basati su un unico modello di base. Fireworks AI li eroga on demand, insieme ad Amazon Web Services e all'infrastruttura di Upwork.

Risultati

Meta riferisce che Upwork ha registrato un aumento del 58,8% del coinvolgimento rispetto agli strumenti precedenti e una riduzione del 19,25% del costo per token rispetto ai modelli proprietari. Sono risultati riportati da Meta, senza valori di partenza né periodo e senza conferma indipendente.