Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
Digital Green
Farmer.Chat van Digital Green beantwoordt vragen van boeren in vier landen
Digital Green, een non-profitorganisatie die met kleine boeren werkt, exploiteert Farmer.Chat, een meertalige generatieve AI-chatbot die vragen over gewassen en landbouw beantwoordt. Het team meldt dat bijna 75% van de vragen werd beantwoord, met een gemiddelde reactietijd van 9,05 seconden.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
Bijna 75%
Aandeel gebruikersvragen dat het platform beantwoordde1
71%
Gemiddelde contextprecisie (aandeel opgehaalde informatie dat bij de vraag past), over meer dan 1.000 geteste zoekopdrachten1
Bijna 80%
Zoekopdrachten met hoge getrouwheid van het antwoord aan de opgehaalde inhoud (RAGAS-evaluatie)1
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
Kleine boeren kunnen vaak niet op tijd lokaal advies krijgen over gewassen, plagen en weer. Traditionele voorlichtingsdiensten leunen op adviseurs die persoonlijk langskomen, wat in afgelegen gebieden moeilijk op te schalen is. Eerdere chatbots volgden vaste scripts en beheersten weinig talen.
Wat ze bouwden
Farmer.Chat is een chatbot die vragen van boeren in gewone taal beantwoordt. Hij draait op Telegram en WhatsApp en in een mobiele app, accepteert tekst, spraakberichten en afbeeldingen en ondersteunt zes talen (Swahili, Amhaars, Hausa, Hindi, Odia en Telugu, plus Engels). Hij is in gebruik in Kenia, India, Ethiopië en Nigeria. Gebruikers zijn boeren en landbouwvoorlichters.
Hoe ze het aanpakten
Het systeem gebruikt retrieval-augmented generation: het zoekt eerst relevante passages in een lokale kennisbank van documenten en video’s en laat vervolgens een taalmodel het antwoord daaruit schrijven. Volgens het paper filtert en herordent GPT-4 het opgehaalde materiaal en voert GPT-3.5 andere taken uit. Op sommige plaatsen worden weersverwachtingen en gewasziektediagnoses van externe diensten toegevoegd. De eerste versie ging in oktober 2023 in Kenia live op Telegram en werd in meerdere rondes verbeterd op basis van gebruikersfeedback en kwalitatieve studies.
Resultaten
Het team meldt dat het platform bijna 75% van de vragen beantwoordde. De gemiddelde reactietijd was 9,05 seconden, grotendeels besteed aan het herordenen en genereren van het antwoord. In tests over meer dan 1.000 zoekopdrachten was de gemiddelde contextprecisie 71%, en had bijna 80% van de antwoorden een hoge getrouwheid aan de opgehaalde inhoud. 67% werd als zeer relevant beoordeeld. De auteurs melden een hoge gebruikerstevredenheid over de kwaliteit en relevantie van de antwoorden, vooral onder vrouwen en laaggeletterde boeren, op basis van hun gebruikersonderzoek en interviews.
Alle gemelde cijfers
| Maatstaf | Cijfer | Bronvermelding |
|---|---|---|
| Aandeel gebruikersvragen dat het platform beantwoordde | Bijna 75%1 | |
| Gemiddelde reactietijd | 9,05 seconden1 | |
| Gemiddelde contextprecisie (aandeel opgehaalde informatie dat bij de vraag past), over meer dan 1.000 geteste zoekopdrachten | 71%1 | |
| Zoekopdrachten met hoge getrouwheid van het antwoord aan de opgehaalde inhoud (RAGAS-evaluatie) | Bijna 80%1 | |
| Antwoorden die als zeer relevant werden beoordeeld | 67%1 |
Lessen voor uw project
Baseer antwoorden op een zorgvuldig samengestelde lokale kennisbank. Farmer.Chat haalt regiospecifieke documenten en video’s op in plaats van te vertrouwen op de algemene kennis van het model.
Ga naar waar gebruikers al zijn. Telegram- en WhatsApp-bots vermijden dat laaggeletterde boeren iets moeten installeren, en spraakberichten en afbeeldingen vergroten de toegang.
Meet onbeantwoorde vragen en classificeer waarom. Het team sorteerde missers op type, zoals vragen buiten het bereik, om te bepalen welke inhoud erbij moet.
Test op vooringenomenheid voordat u opschaalt. Het team voerde als onderdeel van de evaluatie een red-teamingoefening uit naar genderbias (gericht zoeken naar oneerlijke antwoorden).
Kanttekeningen
- De cijfers komen uit een paper van medewerkers van Digital Green en één auteur van Microsoft Research India. Ze zijn niet onafhankelijk geverifieerd.
- De kwaliteitsscores (contextprecisie, getrouwheid, relevantie) komen uit geautomatiseerde beoordeling door een LLM (de RAGAS-bibliotheek), niet van landbouwkundigen die antwoorden controleren.
- De in het paper uitgelichte totalen voor gebruikers en zoekopdrachten (meer dan 15.000 boeren, meer dan 300.000 zoekopdrachten) worden niet als kerncijfers gebruikt, omdat de aantallen per land in de tabel niet optellen tot hetzelfde totaal.
- Het paper zegt dat GPT-4 wordt gebruikt voor filteren en herordenen en GPT-3.5 voor andere taken. De modellen kunnen sinds oktober 2024 zijn veranderd.
- Het sectorlabel is de dichtstbijzijnde beschikbare keuze voor landbouwvoorlichting (advies aan boeren). De aanbieder is een non-profitorganisatie.
- Het paper dateert de eerste lancering op oktober 2023 in Kenia. Het paper heeft een vermelde datum van 8 oktober 2024 (versie 2).
Bronnen
- Farmer.Chat: Scaling AI-Powered Agricultural Services for Smallholder Farmers
arXiv (Digital Green and Microsoft Research India) · 2024-10-08 · Onderzoeksrapport · arxiv.org
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.