The Washington Post lanceert AI-podcasts nadat uit tests bleek dat de meeste scripts faalden

Het probleem

Nieuwsuitgevers willen gepersonaliseerde producten aanbieden. The Washington Post wilde een hulpmiddel dat zijn journalistiek omzet in een podcast op maat voor elke lezer. De waarde van een nieuwsmerk berust op vertrouwen, dus nauwkeurigheid weegt zwaarder dan snelheid naar de markt.

Wat ze bouwden

"Your Personal Podcast" is een AI-hulpmiddel dat persoonlijke audiobriefings genereert uit de journalistiek van de Post. De hoofden technologie en producten van de Post kondigden het aan het personeel aan als onderdeel van hun inzet op premiumervaringen, keuzevrijheid voor klanten en AI-producten. De Post noemt het een bètaversie.

Hoe ze het aanpakten

Vóór de release voerde de Post interne tests uit waarin testers elk gegenereerd script als geslaagd of gezakt beoordeelden aan de hand van de publicatienormen van de redactie. De testers kregen de opdracht een script bij twijfel te laten zakken. Het beoordelingsteam van de Post adviseerde toch door te gaan en de resterende problemen samen met de redactie te blijven oplossen, terwijl het hulpmiddel als werk in uitvoering werd aangemerkt.

Wat er misging

Semafor meldde dat in drie testrondes tussen 68% en 84% van de scripts faalde. De interne beoordeling concludeerde dat verdere kleine promptwijzigingen waarschijnlijk niet zouden helpen zonder extra risico toe te voegen. Medewerkers beschreven fouten van uitspraakfoutjes tot verzonnen of verkeerd toegeschreven citaten, en zeiden dat het hulpmiddel soms commentaar toevoegde, bijvoorbeeld door citaten van een bron te behandelen als het standpunt van de krant. Sommige redacteuren maakten sterk bezwaar. Een woordvoerder van de Post zei dat het product duidelijk als bèta was aangemerkt.

Resultaten

Het product ging ondanks de testresultaten als bèta live. De casus legt een lanceerbeslissing vast, geen bedrijfsresultaten. De bron geeft geen cijfers over gebruik, abonnees of kosten.