Convirza obsługuje 60 modeli oceny rozmów z jednej bazy Llama 3 i obniża koszty 10-krotnie w porównaniu z OpenAI

Problem

Convirza pomaga firmom analizować rozmowy z klientami i oceniać pracę konsultantów. Przetwarza miliony rozmów miesięcznie i wyciąga z nich informacje do kart wyników. Jej dawny system korzystał z modeli Longformer (rodzaj modelu do analizy tekstu) wytrenowanych na ponad 60 wskaźnikach. Trenowanie trwało od 9 do ponad 24 godzin na iterację. Każdy model wymagał też własnej mocy obliczeniowej, co kosztowało od 500 do 1 500 dolarów na wskaźnik miesięcznie i ograniczało możliwość dodawania wskaźników na zamówienie klientów.

Co zbudowano

Convirza wytrenowała osobny mały dodatek (adapter LoRA) dla każdego z 60 wskaźników i obsługuje je wszystkie z jednego modelu bazowego, Llama-3-8b firmy Meta. Llama-3-8b to model o otwartych wagach: jego pliki są opublikowane i firma może go dostosować. Dostrajanie (fine-tuning) oznacza dalsze trenowanie na własnych oznakowanych przykładach firmy. Adaptery działają na zarządzanej platformie Predibase, zbudowanej na LoRAX, otwartoźródłowym narzędziu, które obsługuje wiele adapterów z jednego modelu bazowego.

Jak to zrobiono

Convirza wybrała zarządzaną platformę zamiast samodzielnie budować obsługę wielu adapterów, bo obciążenie mocno się waha, a praca inżynierska byłaby duża. W pierwszym miesiącu wytrenowała i wdrożyła adaptery dla ponad 20 wskaźników. Platforma skaluje procesory graficzne automatycznie, więc w szczycie Convirza może sięgnąć po dwucyfrową liczbę układów A100, a gdy rozmów ubywa, zejść z powrotem.

Wyniki

Według Predibase Convirza uzyskała 10-krotnie niższe koszty niż z OpenAI, średni wynik F1 wyższy o 8 % niż OpenAI (F1 równoważy przeoczone przypadki i fałszywe alarmy) oraz przepustowość wyższą o 80 %. W porównaniu z dawnymi modelami Longformer przepustowość jest 4 razy wyższa. Średni czas wnioskowania wynosi poniżej sekundy, a wiceprezes Convirzy ds. AI mówi, że średni czas odpowiedzi na 60 adapterach pozostaje poniżej dwóch sekund.

Co warto powtórzyć

Jeśli Wasza funkcja AI wymaga wielu wariantów na miarę, przetestujcie układ z jednym adapterem na zadanie na wspólnym modelu bazowym, zanim zaczniecie płacić za osobną moc obliczeniową dla każdej funkcji.