Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Digital Green
Farmer.Chat von Digital Green beantwortet Fragen von Landwirten in vier Ländern
Digital Green, eine gemeinnützige Organisation, die mit Kleinbauern arbeitet, betreibt Farmer.Chat, einen mehrsprachigen Chatbot mit generativer KI, der Fragen zu Anbau und Landwirtschaft beantwortet. Das Team meldet, dass fast 75 % der Fragen beantwortet wurden, bei einer durchschnittlichen Antwortzeit von 9,05 Sekunden.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
Fast 75 %
Anteil der Nutzerfragen, die die Plattform beantwortet hat1
71 %
Durchschnittliche Kontextpräzision (Anteil der abgerufenen Informationen, die zur Frage passen), über mehr als 1.000 getestete Anfragen1
Knapp 80 %
Anfragen mit hoher Treue der Antwort zum abgerufenen Inhalt (RAGAS-Auswertung)1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Kleinbauern bekommen oft keine zeitnahe, lokale Beratung zu Anbau, Schädlingen und Wetter. Klassische Beratungsdienste setzen auf Berater, die persönlich vorbeikommen, was sich in abgelegenen Gebieten schwer ausweiten lässt. Frühere Chatbots folgten festen Skripten und beherrschten wenige Sprachen.
Was sie gebaut haben
Farmer.Chat ist ein Chatbot, der Fragen von Landwirten in einfacher Sprache beantwortet. Er läuft auf Telegram und WhatsApp sowie in einer mobilen App, nimmt Text, Sprachnachrichten und Bilder entgegen und unterstützt sechs Sprachen (Suaheli, Amharisch, Haussa, Hindi, Odia und Telugu, dazu Englisch). Er ist in Kenia, Indien, Äthiopien und Nigeria im Einsatz. Zu den Nutzern zählen Landwirte und landwirtschaftliche Berater.
Wie sie vorgegangen sind
Das System nutzt Retrieval-Augmented Generation: Es sucht zunächst relevante Passagen in einer lokalen Wissensbasis aus Dokumenten und Videos und lässt dann ein Sprachmodell die Antwort daraus schreiben. Laut Papier filtert und ordnet GPT-4 das abgerufene Material neu, und GPT-3.5 übernimmt andere Aufgaben. Wettervorhersagen und Diagnosen von Pflanzenkrankheiten aus externen Diensten kommen an einigen Orten hinzu. Die erste Version ging im Oktober 2023 in Kenia auf Telegram live und wurde in mehreren Runden anhand von Nutzerfeedback und qualitativen Studien verbessert.
Ergebnisse
Das Team meldet, die Plattform habe fast 75 % der Fragen beantwortet. Die durchschnittliche Antwortzeit lag bei 9,05 Sekunden, überwiegend für das Neuordnen und das Erzeugen der Antwort. In Tests über mehr als 1.000 Anfragen lag die durchschnittliche Kontextpräzision bei 71 %, und knapp 80 % der Antworten hatten eine hohe Treue zum abgerufenen Inhalt. 67 % wurden als sehr relevant bewertet. Die Autoren berichten von hoher Nutzerzufriedenheit mit Qualität und Relevanz der Antworten, besonders bei Frauen und Landwirten mit geringer Lesefähigkeit, auf Grundlage ihrer Nutzerstudien und Interviews.
Alle berichteten Zahlen
| Messgröße | Wert | Quellenangabe |
|---|---|---|
| Anteil der Nutzerfragen, die die Plattform beantwortet hat | Fast 75 %1 | |
| Durchschnittliche Antwortzeit | 9,05 Sekunden1 | |
| Durchschnittliche Kontextpräzision (Anteil der abgerufenen Informationen, die zur Frage passen), über mehr als 1.000 getestete Anfragen | 71 %1 | |
| Anfragen mit hoher Treue der Antwort zum abgerufenen Inhalt (RAGAS-Auswertung) | Knapp 80 %1 | |
| Antworten, die als sehr relevant bewertet wurden | 67 %1 |
Erkenntnisse für Ihr Projekt
Stützen Sie Antworten auf eine kuratierte lokale Wissensbasis. Farmer.Chat ruft regionsspezifische Dokumente und Videos ab, statt sich auf das Allgemeinwissen des Modells zu verlassen.
Gehen Sie dorthin, wo die Nutzer schon sind. Telegram- und WhatsApp-Bots ersparen es Landwirten mit geringer Lesefähigkeit, etwas zu installieren, und Sprachnachrichten und Bilder erweitern den Zugang.
Messen Sie unbeantwortete Fragen und ordnen Sie ein, warum. Das Team sortierte die Fehlschläge nach Typen, etwa Fragen außerhalb des Themenbereichs, um zu entscheiden, welche Inhalte fehlen.
Testen Sie auf Verzerrungen, bevor Sie skalieren. Das Team führte im Rahmen der Bewertung eine Red-Teaming-Übung zu geschlechtsbezogenen Verzerrungen durch (gezieltes Abklopfen auf unfaire Antworten).
Einschränkungen
- Die Zahlen stammen aus einem Papier, das Mitarbeitende von Digital Green und ein Autor von Microsoft Research India verfasst haben. Sie sind nicht unabhängig überprüft.
- Die Qualitätswerte (Kontextpräzision, Treue, Relevanz) stammen aus einer automatisierten LLM-gestützten Bewertung (der Bibliothek RAGAS), nicht von Agrarexperten, die Antworten prüfen.
- Die im Papier hervorgehobenen Gesamtzahlen zu Nutzern und Anfragen (mehr als 15.000 Landwirte, mehr als 300.000 Anfragen) werden nicht als Kennzahlen verwendet, weil die Zahlen je Land in seiner Tabelle nicht zur selben Summe addieren.
- Das Papier sagt, GPT-4 werde zum Filtern und Neuordnen verwendet und GPT-3.5 für andere Aufgaben. Die Modelle können sich seit Oktober 2024 geändert haben.
- Die Branchenzuordnung ist die nächstliegende verfügbare für landwirtschaftliche Beratung (Beratung von Landwirten). Der Betreiber ist eine gemeinnützige Organisation.
- Das Papier datiert den ersten Start auf Oktober 2023 in Kenia. Das Papier trägt das angegebene Datum 8. Oktober 2024 (Version 2).
Quellen
- Farmer.Chat: Scaling AI-Powered Agricultural Services for Smallholder Farmers
arXiv (Digital Green and Microsoft Research India) · 2024-10-08 · Forschungsarbeit · arxiv.org
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.