Tradotto dall'originale inglese. Dati e fonti restano invariati. Leggi l'originale in inglese
Digital Green
Farmer.Chat di Digital Green risponde alle domande degli agricoltori in quattro paesi
Digital Green, un’organizzazione senza scopo di lucro che lavora con i piccoli agricoltori, gestisce Farmer.Chat, un chatbot multilingue di IA generativa che risponde a domande su colture e agricoltura. Il suo team riferisce che quasi il 75% delle domande ha ricevuto risposta, con un tempo medio di risposta di 9,05 secondi.
Dati chiave
Copiati esattamente dalle fonti. Copiate qualsiasi dato insieme alla sua citazione.
Quasi il 75%
Quota di domande degli utenti a cui la piattaforma ha risposto1
71%
Precisione media del contesto (quota delle informazioni recuperate che corrispondono alla domanda), su più di 1.000 query testate1
Quasi l’80%
Query con alta fedeltà della risposta al contenuto recuperato (valutazione RAGAS)1
Cosa è servito
Le fonti non rendono noti costi, dimensioni del team e tempi.
Il problema
I piccoli agricoltori spesso non riescono a ottenere in tempo consigli locali su colture, parassiti e meteo. I servizi tradizionali di assistenza tecnica si basano su agenti che fanno visita di persona, cosa difficile da estendere nelle zone remote. I chatbot precedenti seguivano copioni fissi e gestivano poche lingue.
Cosa hanno costruito
Farmer.Chat è un chatbot che risponde alle domande degli agricoltori in linguaggio semplice. Funziona su Telegram e WhatsApp e in un’app mobile, accetta testo, messaggi vocali e immagini e supporta sei lingue (swahili, amarico, hausa, hindi, odia e telugu, più l’inglese). È attivo in Kenya, India, Etiopia e Nigeria. Gli utenti sono agricoltori e agenti di assistenza tecnica agricola.
Come ci sono riusciti
Il sistema usa la generazione aumentata dal recupero: prima cerca i passaggi rilevanti in una base di conoscenza locale di documenti e video, poi chiede a un modello linguistico di scrivere la risposta a partire da essi. Secondo il documento, GPT-4 filtra e riordina il materiale recuperato e GPT-3.5 si occupa di altri compiti. In alcuni luoghi si aggiungono previsioni meteo e diagnosi delle malattie delle colture provenienti da servizi esterni. La prima versione è stata lanciata su Telegram in Kenya nell’ottobre 2023 ed è stata migliorata in più cicli sulla base dei feedback degli utenti e di studi qualitativi.
Risultati
Il team riferisce che la piattaforma ha risposto a quasi il 75% delle domande. Il tempo medio di risposta è stato di 9,05 secondi, impiegati soprattutto a riordinare e generare la risposta. Nei test su più di 1.000 query, la precisione media del contesto è stata del 71% e quasi l’80% delle risposte aveva un’alta fedeltà al contenuto recuperato. Il 67% è stato giudicato molto pertinente. Gli autori riferiscono un’alta soddisfazione degli utenti per qualità e pertinenza delle risposte, in particolare tra le donne e gli agricoltori con scarsa alfabetizzazione, in base ai loro studi sugli utenti e alle interviste.
Tutti i dati dichiarati
| Indicatore | Dato | Citazione |
|---|---|---|
| Quota di domande degli utenti a cui la piattaforma ha risposto | Quasi il 75%1 | |
| Tempo medio di risposta | 9,05 secondi1 | |
| Precisione media del contesto (quota delle informazioni recuperate che corrispondono alla domanda), su più di 1.000 query testate | 71%1 | |
| Query con alta fedeltà della risposta al contenuto recuperato (valutazione RAGAS) | Quasi l’80%1 | |
| Risposte giudicate molto pertinenti | 67%1 |
Lezioni per il vostro progetto
Basare le risposte su una base di conoscenza locale curata. Farmer.Chat recupera documenti e video specifici di ogni regione invece di affidarsi alle conoscenze generali del modello.
Andare dove gli utenti già si trovano. I bot su Telegram e WhatsApp evitano di chiedere agli agricoltori con scarsa alfabetizzazione di installare qualcosa, e i messaggi vocali e le immagini ampliano l’accesso.
Misurare le domande senza risposta e classificarne il motivo. Il team ha ordinato i mancati riscontri per tipo, come le domande fuori ambito, per decidere quali contenuti aggiungere.
Verificare i pregiudizi prima di scalare. Il team ha condotto un esercizio di red teaming sul pregiudizio di genere (sondaggio deliberato per individuare risposte ingiuste) nell’ambito della valutazione.
Avvertenze
- Le cifre provengono da un documento scritto da personale di Digital Green e da un autore di Microsoft Research India. Non sono verificate in modo indipendente.
- I punteggi di qualità (precisione del contesto, fedeltà, pertinenza) derivano da una valutazione automatica basata su LLM (la libreria RAGAS), non da agronomi che controllano le risposte.
- I totali in evidenza nel documento su utenti e query (più di 15.000 agricoltori, più di 300.000 query) non sono usati come metriche perché i conteggi per paese nella sua tabella non sommano allo stesso totale.
- Il documento dice che GPT-4 è usato per filtrare e riordinare e GPT-3.5 per altri compiti. I modelli potrebbero essere cambiati dall’ottobre 2024.
- L’etichetta di settore è l’opzione disponibile più vicina per l’assistenza tecnica agricola (consulenza agli agricoltori). Chi lo gestisce è un’organizzazione senza scopo di lucro.
- Il documento data il primo lancio all’ottobre 2023 in Kenya. Il documento ha una data dichiarata dell’8 ottobre 2024 (versione 2).
Fonti
- Farmer.Chat: Scaling AI-Powered Agricultural Services for Smallholder Farmers
arXiv (Digital Green and Microsoft Research India) · 2024-10-08 · Articolo di ricerca · arxiv.org
Riassunto con parole nostre a partire dalle fonti sopra indicate. Avete notato un errore? Consultate le rettifiche.