Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen
Anysphere (Cursor)
Der KI-Support-Bot von Cursor erfindet eine Ein-Geräte-Regel, und das Unternehmen nimmt sie öffentlich zurück
Im April 2025 teilte ein KI-Support-Bot Nutzern des Code-Editors Cursor mit, es gelte eine Regel von einem Gerät pro Abonnement. Die gab es nicht. Ein Mitgründer entschuldigte sich, erstattete dem Entwickler, der das Problem gemeldet hatte, das Geld und begann, KI-Antworten in Support-E-Mails zu kennzeichnen.
Kennzahlen
Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.
erstattet
Ergebnis für den Entwickler, der das Problem gemeldet hatte1
jetzt deutlich gekennzeichnet
Status KI-verfasster Antworten in Cursors Support-E-Mails nach dem Vorfall1
Was es erforderte
Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.
Das Problem
Cursor stellt einen KI-gestützten Code-Editor her. Im April 2025 stellten einige Entwickler fest, dass sie abgemeldet wurden, wenn sie zwischen Rechnern wechselten. Sie schrieben dem Support, um nach dem Grund zu fragen.
Was sie gebaut haben
Cursor setzte einen KI-Bot, den Kunden unter dem Namen „Sam“ kannten, als ersten Ansprechpartner im E-Mail-Support ein. Die Quellen sagen nicht, auf welchem Modell er lief.
Wie sie vorgegangen sind
Das Unternehmen erklärte, es nutze KI-gestützte Antworten als ersten Filter im E-Mail-Support. Ein Nutzer, der nach den Abmeldungen fragte, erhielt eine E-Mail, laut der Cursor so ausgelegt sei, dass es mit einem Gerät pro Abonnement arbeite. Diese Regel gab es nicht. Truell sagte, das Unternehmen habe kürzlich die Sitzungssicherheit geändert und prüfe, ob dies die Abmeldungen verursacht habe. Später sagte er, das inzwischen behobene Abmeldeproblem scheine von einer Race Condition bei langsamen Verbindungen herzurühren, die unerwünschte Sitzungen erzeugt habe.
Was schiefgelaufen ist
Nutzer hielten die erfundene Regel für echt. Einige drohten mit Kündigung, und die Geschichte verbreitete sich auf Reddit und Hacker News. Mitgründer Michael Truell schrieb "we have no such policy" (Übersetzung: „Eine solche Richtlinie haben wir nicht“) und nannte die Antwort eine falsche Auskunft eines KI-Support-Bots in der ersten Reihe. Der Vorfall wurde weithin als Warnung vor Halluzination verstanden, also davor, dass eine KI mit großer Überzeugung Falsches behauptet.
Ergebnisse
Das Unternehmen entschuldigte sich, erstattete dem Entwickler, der das Problem gemeldet hatte, das Geld und erklärte, das Abmeldeproblem sei behoben. Es kennzeichnet KI-Antworten in Support-E-Mails zudem deutlich als solche. Eine einzige falsche Antwort des Bots schuf ein Vertrauensproblem bei einem Unternehmen, das KI-Werkzeuge verkauft.
Erkenntnisse für Ihr Projekt
Kennzeichnen Sie KI-Antworten von Anfang an als solche. Cursor führte die Kennzeichnung erst ein, nachdem Kunden eine erfundene Regel für echte Richtlinien gehalten hatten.
Behalten Sie bei Antworten zu Regeln, Gebühren oder Grenzen Menschen im Prozess. Eine selbstbewusst falsche Antwort zur Richtlinie führt zu Kündigungen.
Stützen Sie einen Support-Bot auf Ihre tatsächlichen Richtliniendokumente und testen Sie ihn vor dem Start mit Fragen zu den Vertragsbedingungen.
Gehen Sie der wahren Ursache der Kundenbeschwerde nach. Hier wurden Nutzer durch einen Softwarefehler abgemeldet, und der Bot erfand eine Regel, um das zu erklären.
Einschränkungen
- Die Aussagen des Unternehmens stammen aus Beiträgen des Mitgründers Michael Truell auf Reddit und Hacker News, wie The Register sie über Slashdot zitiert. Diese Beiträge wurden nicht direkt gelesen.
- Es wird kein quantitatives Ergebnis berichtet. Das Ergebnis ist eine öffentliche Rücknahme, eine Erstattung und eine geänderte Kennzeichnung.
- eWeek schreibt, betroffene Nutzer seien erstattet worden. Slashdot schreibt, der Entwickler, der das Problem gemeldet hatte, sei erstattet worden. Der Umfang der Erstattungen ist unklar.
- Keine Quelle nennt das KI-Modell oder sagt, wie der Bot gebaut wurde. Das Etikett Retrieval-Assistent passt für einen Support-Bot am ehesten, ist aber keine bestätigte Architektur.
- Keine Quelle nennt ein Startdatum des Bots. Als Einführungsdatum dient der Monat des Vorfalls.
Quellen
- Cursor AI's Own Support Bot Hallucinated Its Usage Policy
Slashdot (quoting The Register) · 2025-04-21 · Nachrichten · tech.slashdot.org
- AI Chatbot Gone Rogue: Cursor Users Misled by Fabricated Policy
eWeek · 2025-04-22 · Nachrichten · eweek.com
In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.