Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Meta
Meta ulepsza swoje postacie AI w Instagramie, WhatsAppie i Messengerze w 15 wersjach modelu Llama 3.1
Autorzy z Meta opisują, jak 15 razy ponownie wytrenowali model czatu Llama 3.1 70B dla postaci AI, które użytkownicy tworzą i z którymi rozmawiają w Instagramie, WhatsAppie i Messengerze. Podają, że najlepsze nowe wersje zwiększyły zaangażowanie w 7-dniowych testach, a postacie znacznie rzadziej łamały swoje instrukcje.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
do 8,8 %
Najlepszy wzrost szerokości zaangażowania (ilu użytkowników wchodzi w interakcję) w 7-dniowym teście A/B nowo wdrożonej wersji modelu, z wersji 14 w tabeli w załączniku artykułu1
19,4 %
Najlepszy wzrost głębokości zaangażowania (jak intensywnie każdy użytkownik wchodzi w interakcję) w 7-dniowym teście A/B nowo wdrożonej wersji modelu, z wersji 13 w tabeli w załączniku artykułu1
z 26,6 % do 5,8 %
Odsetek przypadków, w których postacie łamały swoje instrukcje, oceniany przez recenzenta AI w wewnętrznych testach czatu, od wersji 2 do wersji 81
z 59,2 % do 84,8 %
Wynik w IFEval, publicznym benchmarku stosowania się do instrukcji, od wersji 2 (przed premierą) do wersji 71
Ile to kosztowało
Problem
Meta pozwala tworzyć postacie AI i rozmawiać z nimi w Instagramie, Messengerze, WhatsAppie i w sieci. W odróżnieniu od asystenta do pracy nie ma tu poprawnej odpowiedzi do sprawdzenia. Sukces oznacza, że ludzie chcą rozmawiać dalej, a to trudno zmierzyć i łatwo źle odczytać. Meta chciała powtarzalnego sposobu, by model czatu był bardziej angażujący, a jednocześnie pozostawał w roli i był bezpieczny.
Co zbudowano
Zespół Meta wyszedł od Llama 3.1, własnej rodziny modeli o otwartych wagach (o otwartych wagach oznacza, że pliki modelu są opublikowane). Zbudował pętlę nazwaną CharacterFlywheel. Każda runda zbiera prawdziwe dane z czatów, trenuje model oceniający, który przewiduje, co ludzie lubią, a następnie ponownie trenuje model czatu pod ten wynik. Głównym źródłem sygnału preferencji byli wyszkoleni oceniający, a nie tylko kliknięcia użytkowników. W produkcji działał tylko rozmiar 70B.
Jak to zrobiono
Meta przygotowała 15 wersji między styczniem 2024 a kwietniem 2025. Pierwsze siedem testowano wewnętrznie przed publiczną premierą 29 lipca 2024, a kolejne osiem udostępniono użytkownikom. Każdą wersję porównywano z poprzednią w randomizowanym 7-dniowym teście z prawdziwymi użytkownikami. Zespół na każdym etapie sprawdzał też bezpieczeństwo, stosowanie się do instrukcji i publiczne benchmarki.
Wyniki
Autorzy podają, że 7 z 8 nowo wdrożonych modeli wykazało dodatni efekt względem punktu odniesienia. W 7-dniowych testach najlepszy wynik dla szerokości zaangażowania wyniósł do 8,8 %, a dla głębokości 19,4 %, z dwóch różnych wersji. Odsetek naruszeń instrukcji w czatach z postaciami spadł z 26,6 % do 5,8 %, a wynik IFEval wzrósł z 59,2 % do 84,8 % przed premierą. Zaangażowanie rosło stabilnie przez dziewięć miesięcy po premierze.
Co poszło nie tak
Wersja 12 zbyt mocno optymalizowała się pod model oceniający, który wysoko ją oceniał, podczas gdy rzeczywiste zaangażowanie spadło (+0,05 % w szerokości i -2,9 % w głębokości). Meta wyciągnęła wniosek, że wynik powinien pozostawać poniżej limitu, i zastosowała tę regułę w kolejnych wersjach.
Co warto powtórzyć
Traktujcie model do produktu otwartego jako coś, co ulepsza się małymi, przetestowanymi krokami. Zachowajcie grupę kontrolną, ustalcie limity dla każdego wyniku, za którym model jest trenowany, i prowadźcie rejestr nieudanych wersji.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Najlepszy wzrost szerokości zaangażowania (ilu użytkowników wchodzi w interakcję) w 7-dniowym teście A/B nowo wdrożonej wersji modelu, z wersji 14 w tabeli w załączniku artykułu | do 8,8 %1 | |
| Najlepszy wzrost głębokości zaangażowania (jak intensywnie każdy użytkownik wchodzi w interakcję) w 7-dniowym teście A/B nowo wdrożonej wersji modelu, z wersji 13 w tabeli w załączniku artykułu | 19,4 %1 | |
| Odsetek przypadków, w których postacie łamały swoje instrukcje, oceniany przez recenzenta AI w wewnętrznych testach czatu, od wersji 2 do wersji 8 | z 26,6 % do 5,8 %1 | |
| Wynik w IFEval, publicznym benchmarku stosowania się do instrukcji, od wersji 2 (przed premierą) do wersji 7 | z 59,2 % do 84,8 %1 | |
| Wpływ wersji 12 na zaangażowanie, czyli zastój spowodowany nadmierną optymalizacją pod model nagrody | +0,05 % w szerokości i -2,9 % w głębokości1 |
Wnioski dla Twojego projektu
Testujcie każdą aktualizację modelu na prawdziwych użytkownikach względem grupy kontrolnej. Meta przeprowadzała dla każdej nowej wersji randomizowane 7-dniowe testy A/B, zamiast ufać wynikom offline.
Nie pozwalajcie modelowi oceniającemu w nieskończoność sprawdzać własnej pracy. Wersja 12 uzyskiwała bardzo dobre wyniki w modelu nagrody, a mimo to traciła zaangażowanie, więc Meta ustaliła dla kolejnych wersji limit tego wyniku.
Sprawdzajcie ogólne możliwości, gdy dostrajacie model pod jeden cel. Meta śledziła publiczne benchmarki, aby potwierdzić, że optymalizacja pod zaangażowanie nie psuje podstawowych umiejętności modelu.
Zaplanujcie, że część wersji zawiedzie. Meta podaje co najmniej jeden wyraźny zastój wśród ośmiu wersji po premierze i potraktowała go jako źródło reguł dla kolejnych.
Zastrzeżenia
- Wszystkie wyniki podają własni autorzy Meta w raporcie badawczym. Wymienione afiliacje to Meta Superintelligence Labs i FAIR at Meta (dwóch autorów podaje obecnie OpenAI i xAI, zaznaczając, że praca powstała w Meta). Żaden podmiot zewnętrzny nie potwierdził tych liczb.
- Wzrost szerokości do 8,8 % (wersja 14) i wzrost głębokości o 19,4 % (wersja 13) pochodzą według tabeli w załączniku artykułu z różnych wersji, więc żaden pojedynczy model nie dał obu. Twierdzenie raportu, że 7 z 8 modeli wykazało dodatni efekt, jest prawdziwe dla każdej miary osobno, ale tabela pokazuje dla każdej inną wersję z wynikiem ujemnym: wersję 8 w szerokości i wersję 12 w głębokości.
- Liczba z 59,2 % do 84,8 % to wynik benchmarku IFEval dla wersji od 2 do 7 przed premierą, test ogólny, a nie pomiar na działających postaciach Meta.
- Jedno zdanie w tekście raportu podaje dla wersji 2 około 75 % zamiast 59,2 %; ten przypadek opiera się na streszczeniu i tabeli. Liczba z 26,6 % do 5,8 % pochodzi od wewnętrznych testerów i ekspertów z recenzentem AI, a nie od użytkowników.
- Raport podaje dwa przedziały czasu: rozwój od stycznia 2024 do września 2025 we wstępie oraz do kwietnia 2025 w streszczeniu, wynikach i podsumowaniu. Ten przypadek przyjmuje kwiecień 2025.
- To konsumencki produkt zbudowany przez Meta na własnym modelu, a nie wdrożenie u klienta biznesowego. Włączono go ze względu na udokumentowaną metodę ulepszania modelu produkcyjnego za pomocą testów na żywo.
- Raport nie podaje kosztów ani wielkości zespołu, a źródła nie mówią, jaki odsetek użytkowników widzi postacie. Data artykułu to data wydrukowana na dokumencie (2 marca 2026 w arXiv, 3 marca 2026 na samym artykule).
Źródła
- CharacterFlywheel: Scaling Iterative Improvement of Engaging and Steerable LLMs in Production
arXiv (Meta Superintelligence Labs and FAIR at Meta) · 2026-03-02 · Publikacja naukowa · arxiv.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.