Przetłumaczono z angielskiego oryginału. Liczby i źródła pozostają bez zmian. Przeczytaj angielski oryginał
Digital Green
Farmer.Chat od Digital Green odpowiada na pytania rolników w czterech krajach
Digital Green, organizacja non profit współpracująca z drobnymi rolnikami, prowadzi Farmer.Chat, wielojęzycznego chatbota generatywnej AI, który odpowiada na pytania o uprawy i rolnictwo. Jego zespół podaje, że odpowiedziano na blisko 75 % pytań, przy średnim czasie odpowiedzi 9,05 sekundy.
Kluczowe liczby
Przepisane dokładnie ze źródeł. Skopiuj każdą liczbę wraz z przypisem.
Blisko 75 %
Odsetek pytań użytkowników, na które platforma odpowiedziała1
71 %
Średnia precyzja kontekstu (odsetek pobranych informacji pasujących do pytania), na ponad 1 000 testowanych zapytań1
Prawie 80 %
Zapytania, w których odpowiedź wiernie odzwierciedla pobraną treść (ocena RAGAS)1
Ile to kosztowało
Koszt, wielkość zespołu i harmonogram nie zostały ujawnione w źródłach.
Problem
Drobni rolnicy często nie mogą uzyskać na czas lokalnych porad dotyczących upraw, szkodników i pogody. Tradycyjne służby doradztwa rolniczego opierają się na doradcach odwiedzających rolników osobiście, co trudno skalować w odległych regionach. Wcześniejsze chatboty działały według sztywnych skryptów i obsługiwały niewiele języków.
Co zbudowano
Farmer.Chat to chatbot, który odpowiada na pytania rolników prostym językiem. Działa na Telegramie i WhatsAppie oraz w aplikacji mobilnej, przyjmuje tekst, wiadomości głosowe i obrazy oraz obsługuje sześć języków (suahili, amharski, hausa, hindi, odia i telugu, a także angielski). Jest wdrożony w Kenii, Indiach, Etiopii i Nigerii. Korzystają z niego rolnicy i doradcy rolniczy.
Jak to zrobiono
System wykorzystuje generowanie wspomagane wyszukiwaniem: najpierw szuka odpowiednich fragmentów w lokalnej bazie wiedzy złożonej z dokumentów i filmów, a następnie prosi model językowy o napisanie odpowiedzi na ich podstawie. Według artykułu GPT-4 filtruje i zmienia kolejność pobranych materiałów, a GPT-3.5 wykonuje inne zadania. W niektórych miejscach dodawane są prognozy pogody i diagnozy chorób roślin z zewnętrznych usług. Pierwsza wersja ruszyła na Telegramie w Kenii w październiku 2023 roku i była ulepszana w kilku rundach na podstawie opinii użytkowników i badań jakościowych.
Wyniki
Zespół podaje, że platforma odpowiedziała na blisko 75 % pytań. Średni czas odpowiedzi wyniósł 9,05 sekundy i był w większości poświęcony na zmianę kolejności wyników i generowanie odpowiedzi. W testach na ponad 1 000 zapytań średnia precyzja kontekstu wyniosła 71 %, a prawie 80 % odpowiedzi cechowała wysoka wierność pobranej treści. 67 % oceniono jako bardzo trafne. Autorzy podają wysoką satysfakcję użytkowników z jakości i trafności odpowiedzi, szczególnie wśród kobiet i rolników o niskiej biegłości czytania, na podstawie badań wśród użytkowników i wywiadów.
Wszystkie zgłoszone liczby
| Miara | Liczba | Przypis |
|---|---|---|
| Odsetek pytań użytkowników, na które platforma odpowiedziała | Blisko 75 %1 | |
| Średni czas odpowiedzi | 9,05 sekundy1 | |
| Średnia precyzja kontekstu (odsetek pobranych informacji pasujących do pytania), na ponad 1 000 testowanych zapytań | 71 %1 | |
| Zapytania, w których odpowiedź wiernie odzwierciedla pobraną treść (ocena RAGAS) | Prawie 80 %1 | |
| Odpowiedzi ocenione jako bardzo trafne | 67 %1 |
Wnioski dla Twojego projektu
Opierajcie odpowiedzi na wyselekcjonowanej lokalnej bazie wiedzy. Farmer.Chat pobiera dokumenty i filmy specyficzne dla regionu zamiast polegać na ogólnej wiedzy modelu.
Idźcie tam, gdzie użytkownicy już są. Boty na Telegramie i WhatsAppie nie wymagają od rolników o niskiej biegłości czytania instalowania czegokolwiek, a wiadomości głosowe i obrazy poszerzają dostęp.
Mierzcie pytania bez odpowiedzi i klasyfikujcie, dlaczego tak się stało. Zespół sortował porażki według typów, na przykład pytania spoza zakresu, aby zdecydować, jakie treści dodać.
Testujcie pod kątem uprzedzeń, zanim zaczniecie skalować. Zespół przeprowadził w ramach oceny ćwiczenie red teamingu dotyczące uprzedzeń płciowych (celowe sprawdzanie, czy pojawiają się niesprawiedliwe odpowiedzi).
Zastrzeżenia
- Liczby pochodzą z artykułu napisanego przez pracowników Digital Green i jednego autora z Microsoft Research India. Nie zostały niezależnie zweryfikowane.
- Oceny jakości (precyzja kontekstu, wierność, trafność) pochodzą z automatycznej oceny opartej na LLM (biblioteka RAGAS), a nie od agronomów sprawdzających odpowiedzi.
- Główne sumy użytkowników i zapytań z artykułu (ponad 15 000 rolników, ponad 300 000 zapytań) nie są użyte jako wskaźniki, ponieważ liczby dla poszczególnych krajów w jego tabeli nie sumują się do tej samej wartości.
- Artykuł mówi, że GPT-4 służy do filtrowania i zmiany kolejności wyników, a GPT-3.5 do innych zadań. Modele mogły się zmienić od października 2024 roku.
- Etykieta branży jest najbliższym dostępnym dopasowaniem dla doradztwa rolniczego (porady dla rolników). Wdrażającym jest organizacja non profit.
- Artykuł datuje pierwsze uruchomienie na październik 2023 roku w Kenii. Artykuł ma podaną datę 8 października 2024 roku (wersja 2).
Źródła
- Farmer.Chat: Scaling AI-Powered Agricultural Services for Smallholder Farmers
arXiv (Digital Green and Microsoft Research India) · 2024-10-08 · Publikacja naukowa · arxiv.org
Streszczone własnymi słowami na podstawie powyższych źródeł. Zauważyłeś błąd? Zobacz sprostowania.