Vertaald uit het Engelse origineel. De cijfers en bronnen zijn ongewijzigd. Lees het Engelse origineel
CNET (Red Ventures)
CNET pauzeert door AI geschreven financiële uitlegstukken nadat fouten in gepubliceerde artikelen zijn gevonden
Vanaf november 2022 publiceerde CNET Money financiële uitlegstukken die met een AI-engine waren opgesteld, medio januari 2023 ongeveer 75. Nadat externe berichtgeving feitelijke fouten had blootgelegd, nam CNET de artikelen onder de loep en schortte het de praktijk op, aldus The Batch.
Kerncijfers
Letterlijk overgenomen uit de bronnen. Kopieer elk cijfer met bronvermelding.
ongeveer 75
Sinds november gepubliceerde door AI ondersteunde uitlegstukken, volgens de hoofdredacteur van CNET op 16 januari 20231
78
Gegenereerde artikelen die zijn gepubliceerd voordat het programma werd stopgezet, volgens The Batch3
10.300
dollar
Rendement over het eerste jaar dat het oorspronkelijke artikel over samengestelde rente noemde voor een storting van 10.000 dollar tegen 3% (het juiste bedrag is 300 dollar, volgens Engadget)2
Wat het kostte
Kosten, teamgrootte en doorlooptijd zijn in de bronnen niet openbaar gemaakt.
Het probleem
CNET Money behandelt basisvragen over persoonlijke financiën, zoals wat samengestelde rente is, met een drukbezette ploeg verslaggevers en redacteuren. CNET besloot te testen of een AI-engine kon helpen bij het maken van deze uitlegstukken.
Wat ze bouwden
Een interne AI-engine die het team van CNET Money gebruikte om uitlegstukken te schrijven in conceptvorm, die redacteuren daarna nakeken. Volgens The Batch is het model niet benoemd en is het gebouwd door het moederbedrijf van CNET, Red Ventures, dat het ook gebruikte voor andere sites in zijn bezit, waaronder Bankrate en CreditCards.com.
Hoe ze het aanpakten
Het team begon de tool in november 2022 uit te proberen. De hoofdredacteur van CNET schreef op 16 januari 2023 dat de engine concepten samenstelde of informatie verzamelde en dat een redacteur met kennis van het onderwerp elk artikel vóór publicatie nakeek, op feiten controleerde en redigeerde. De artikelen verschenen eerst onder de auteursregel "CNET Money Staff"; na externe berichtgeving wijzigde CNET de auteursregel en verplaatste het zijn vermelding om die zichtbaarder te maken. De bronnen noemen geen kosten of teamgrootte.
Resultaten
CNET meldde medio januari 2023 ongeveer 75 van dit soort artikelen. Futurism, een concurrerend medium, vond ernstige fouten in één ervan, een uitlegstuk over samengestelde rente dat het rendement in het eerste jaar op een storting van 10.000 dollar overschatte. Engadget meldt dat het artikel is gecorrigeerd en dat er ook fouten zaten in uitleg over rente op leningen en depositobewijzen.
Wat er misging
CNET voegde bij zijn door AI geschreven stukken een notitie toe dat ze op juistheid werden gecontroleerd en dat fouten zouden worden gecorrigeerd. The Batch meldt dat CNET de praktijk opschortte na 78 gegenereerde artikelen. Een woordvoerder van CNET zei tegen Futurism, zoals Engadget aanhaalt, dat het bedrijf al zijn door AI ondersteunde stukken actief aan het nakijken was.
Lessen voor uw project
Controleer vóór publicatie, niet erna. CNET zegt dat redacteuren elk stuk hebben nagekeken, en toch vonden externe verslaggevers fouten in een basaal uitlegstuk.
Maak het gebruik van AI vanaf dag één duidelijk kenbaar. CNET wijzigde de auteursregel en verplaatste de vermelding pas nadat de praktijk aandacht had getrokken.
Begin met inhoud met een laag risico. Financieel advies, zelfs basaal, heeft echte gevolgen als de cijfers niet kloppen.
Zet een nauwkeurigheidscontrole voor cijfers en een plagiaatcontrole voor gegenereerde tekst op en bepaal wat een pauze in gang zet.
Kanttekeningen
- CNET noemde het werk een experiment en beschreef zijn proces als AI-ondersteuning die door redacteuren werd nagekeken. De notitie van de hoofdredacteur is het verhaal van het bedrijf; Engadget en The Batch zijn onafhankelijke berichten.
- Het aantal artikelen verschilt per bron: ongeveer 75 (CNET en Engadget, medio januari 2023) en 78 (The Batch). Beide worden met hun bron getoond.
- Het model wordt niet genoemd. The Batch spreekt van een niet-genoemd eigen model dat is gebouwd door Red Ventures, het moederbedrijf van CNET; CNET zelf spreekt van een AI-engine.
- De pauze wordt gemeld door The Batch, dat The Verge aanhaalt. De pagina's van CNET en Engadget die voor dit item zijn gelezen, beschrijven een controle van de artikelen, geen pauze.
- The Batch meldt ook gevallen van mogelijk plagiaat en zegt dat ingewijden de artikelen beschreven als gericht op zoekverkeer en affiliate-inkomsten; dat is de berichtgeving van het medium, geen uitspraak van CNET.
Bronnen
- CNET Is Experimenting With an AI Assist. Here's Why
CNET · 2023-01-16 · Bedrijfsblog · cnet.com
- CNET is reviewing its AI-written articles after being notified of serious errors
Engadget · 2023-01-18 · Nieuws · engadget.com
- CNET Pauses its Practice of Writing News Articles With AI
The Batch (DeepLearning.AI) · 2023-01-25 · Nieuws · deeplearning.ai
In eigen woorden samengevat op basis van de bovenstaande bronnen. Een fout gezien? Zie correcties.