Uma z Upwork pisze oferty dla freelancerów z dostrojoną Llama 3.1 i obniża koszt tokena o 19,25 %

Problem

Upwork to platforma, na której firmy zatrudniają niezależnych specjalistów. Wielu freelancerów, zwłaszcza początkujących, ma trudności z wyróżnieniem się. Napisanie oferty do każdego ogłoszenia zajmuje czas i wymaga dobrego rozpoznania, czego chce klient. Upwork uważał, że jego towarzysz AI, Uma, może pomóc freelancerom pisać lepsze oferty szybciej.

Co zbudowano

Upwork przebudował Umę tak, aby działała na Llama 3.1 70B, modelu open-weight od Meta, czyli takim, którego pliki są publikowane i mogą być uruchamiane oraz dostosowywane przez firmę. Ulepszona Uma analizuje ogłoszenia o pracę i profile freelancerów, zadaje pytania o umiejętności freelancera i w czasie rzeczywistym przygotowuje dopasowaną ofertę.

Jak to zrobiono

Gotowe modele wypadały w próbach słabo, bo brakowało im wewnętrznej wiedzy Upwork, więc zespół dostroił Llama, czyli dalej trenował model na własnych przykładach. Stworzył jeden zbiór danych oddający ton Umy i drugi z wysokiej jakości tekstami ofert, napisanymi przez wysoko ocenianych copywriterów platformy i uzupełnionymi przykładami syntetycznymi. Użył LoRA, metody dostrajającej niewielką część wag modelu, aby stworzyć osobne usługi eksperckie, takie jak przegląd profilu, analiza ogłoszenia, informacja zwrotna w czasie rzeczywistym i pisanie ofert, wszystkie oparte na jednym modelu bazowym. Fireworks AI udostępnia je na żądanie, obok Amazon Web Services i własnej infrastruktury Upwork.

Wyniki

Meta podaje, że Upwork odnotował wzrost zaangażowania o 58,8 % w porównaniu z poprzednimi narzędziami oraz obniżkę kosztu tokena o 19,25 % w porównaniu z modelami własnościowymi. Są to wyniki przytaczane przez Metę, bez podanego stanu wyjściowego i okresu oraz bez niezależnego potwierdzenia.