Übersetzt aus dem englischen Original. Zahlen und Quellen sind unverändert. Englisches Original lesen

Unabhängig bestätigtIm Einsatz seit Apr. 2025Hinzugefügt am Okt. 2026

Anysphere (Cursor)

Der KI-Support-Bot von Cursor erfindet eine Ein-Geräte-Regel, und das Unternehmen nimmt sie öffentlich zurück

Im April 2025 teilte ein KI-Support-Bot Nutzern des Code-Editors Cursor mit, es gelte eine Regel von einem Gerät pro Abonnement. Die gab es nicht. Ein Mitgründer entschuldigte sich, erstattete dem Entwickler, der das Problem gemeldet hatte, das Geld und begann, KI-Antworten in Support-E-Mails zu kennzeichnen.

Kennzahlen

Wortgetreu aus den Quellen übernommen. Kopieren Sie jede Zahl mit ihrer Quellenangabe.

erstattet

Ergebnis für den Entwickler, der das Problem gemeldet hatte1

jetzt deutlich gekennzeichnet

Status KI-verfasster Antworten in Cursors Support-E-Mails nach dem Vorfall1

Was es erforderte

KostenNicht veröffentlicht
TeamNicht veröffentlicht
ZeitplanNicht veröffentlicht

Kosten, Teamgröße und Zeitplan wurden in den Quellen nicht veröffentlicht.

Das Problem

Cursor stellt einen KI-gestützten Code-Editor her. Im April 2025 stellten einige Entwickler fest, dass sie abgemeldet wurden, wenn sie zwischen Rechnern wechselten. Sie schrieben dem Support, um nach dem Grund zu fragen.

Was sie gebaut haben

Cursor setzte einen KI-Bot, den Kunden unter dem Namen „Sam“ kannten, als ersten Ansprechpartner im E-Mail-Support ein. Die Quellen sagen nicht, auf welchem Modell er lief.

Wie sie vorgegangen sind

Das Unternehmen erklärte, es nutze KI-gestützte Antworten als ersten Filter im E-Mail-Support. Ein Nutzer, der nach den Abmeldungen fragte, erhielt eine E-Mail, laut der Cursor so ausgelegt sei, dass es mit einem Gerät pro Abonnement arbeite. Diese Regel gab es nicht. Truell sagte, das Unternehmen habe kürzlich die Sitzungssicherheit geändert und prüfe, ob dies die Abmeldungen verursacht habe. Später sagte er, das inzwischen behobene Abmeldeproblem scheine von einer Race Condition bei langsamen Verbindungen herzurühren, die unerwünschte Sitzungen erzeugt habe.

Was schiefgelaufen ist

Nutzer hielten die erfundene Regel für echt. Einige drohten mit Kündigung, und die Geschichte verbreitete sich auf Reddit und Hacker News. Mitgründer Michael Truell schrieb "we have no such policy" (Übersetzung: „Eine solche Richtlinie haben wir nicht“) und nannte die Antwort eine falsche Auskunft eines KI-Support-Bots in der ersten Reihe. Der Vorfall wurde weithin als Warnung vor Halluzination verstanden, also davor, dass eine KI mit großer Überzeugung Falsches behauptet.

Ergebnisse

Das Unternehmen entschuldigte sich, erstattete dem Entwickler, der das Problem gemeldet hatte, das Geld und erklärte, das Abmeldeproblem sei behoben. Es kennzeichnet KI-Antworten in Support-E-Mails zudem deutlich als solche. Eine einzige falsche Antwort des Bots schuf ein Vertrauensproblem bei einem Unternehmen, das KI-Werkzeuge verkauft.

Erkenntnisse für Ihr Projekt

  1. Kennzeichnen Sie KI-Antworten von Anfang an als solche. Cursor führte die Kennzeichnung erst ein, nachdem Kunden eine erfundene Regel für echte Richtlinien gehalten hatten.

  2. Behalten Sie bei Antworten zu Regeln, Gebühren oder Grenzen Menschen im Prozess. Eine selbstbewusst falsche Antwort zur Richtlinie führt zu Kündigungen.

  3. Stützen Sie einen Support-Bot auf Ihre tatsächlichen Richtliniendokumente und testen Sie ihn vor dem Start mit Fragen zu den Vertragsbedingungen.

  4. Gehen Sie der wahren Ursache der Kundenbeschwerde nach. Hier wurden Nutzer durch einen Softwarefehler abgemeldet, und der Bot erfand eine Regel, um das zu erklären.

Einschränkungen

  • Die Aussagen des Unternehmens stammen aus Beiträgen des Mitgründers Michael Truell auf Reddit und Hacker News, wie The Register sie über Slashdot zitiert. Diese Beiträge wurden nicht direkt gelesen.
  • Es wird kein quantitatives Ergebnis berichtet. Das Ergebnis ist eine öffentliche Rücknahme, eine Erstattung und eine geänderte Kennzeichnung.
  • eWeek schreibt, betroffene Nutzer seien erstattet worden. Slashdot schreibt, der Entwickler, der das Problem gemeldet hatte, sei erstattet worden. Der Umfang der Erstattungen ist unklar.
  • Keine Quelle nennt das KI-Modell oder sagt, wie der Bot gebaut wurde. Das Etikett Retrieval-Assistent passt für einen Support-Bot am ehesten, ist aber keine bestätigte Architektur.
  • Keine Quelle nennt ein Startdatum des Bots. Als Einführungsdatum dient der Monat des Vorfalls.

Quellen

  1. Cursor AI's Own Support Bot Hallucinated Its Usage Policy

    Slashdot (quoting The Register) · 2025-04-21 · Nachrichten · tech.slashdot.org

  2. AI Chatbot Gone Rogue: Cursor Users Misled by Fabricated Policy

    eWeek · 2025-04-22 · Nachrichten · eweek.com

In eigenen Worten aus den oben genannten Quellen zusammengefasst. Einen Fehler entdeckt? Siehe Korrekturen.