Een team van Tencent verlaagt verzonnen links in antwoorden voor adverteerders met 92,7% dankzij een afgestemd Qwen3-32B met open gewichten

Het probleem

De auteurs van Tencent beschrijven een grootschalig advertentieplatform met veel regels, producten en accountprocedures die vaak veranderen. Adverteerders stellen er supportvragen over. Een fout antwoord kost veel, en het artikel noemt verzonnen weblinks als apart risico, omdat ze kunnen leiden tot financiële schade, compliance-problemen en juridische blootstelling. Standaardassistenten op basis van retrieval, die documenten opzoeken en daarna een antwoord schrijven, gaven nog steeds onvolledige of verzonnen antwoorden.

Wat ze bouwden

Het team van Tencent combineerde twee ideeën. Ten eerste een retrievalstap die relaties tussen producten, regels en procedures volgt (GraphRAG genoemd, een zoekactie over een kaart van gekoppelde feiten), naast gewone zoekopdrachten op trefwoorden en vectoren. Ten tweede een Qwen3-32B-model dat Tencent met reinforcement learning afstemde, waarbij het model wordt beloond als het zich aan het opgehaalde bewijs houdt, de huisstijl volgt, veilig blijft en alleen geldige URL's gebruikt. Qwen3-32B is een model met open gewichten, wat betekent dat de bestanden openbaar zijn en op de eigen servers van een bedrijf kunnen draaien. De dienst is bereikbaar via de zijbalk van een officiële website, een miniprogramma en een zelfstandige site.

Hoe ze het aanpakten

Tencent hield de kennisgraaf bewust klein. Het team hield bij welke inhoud echte vragen het vaakst ophaalden en bouwde de graaf op uit die meest geciteerde subset, zodat zoekacties snel bleven. De belangrijkste testmomentopname van het artikel had 4.686 entiteiten en 10.712 relaties. Het model werd eerst afgestemd op 1.000 door mensen geannoteerde dialogen en daarna met reinforcement learning getraind op 1.000 prompts. Een kleiner Qwen3-4B-model rangschikt de zoekresultaten opnieuw. De generator draait met vLLM op twee NVIDIA H20-gpu's, en de kennisindex draait op Elasticsearch. Een nacontrolestap voegt 230 ms toe voor veiligheidsregels.

Resultaten

Op een interne testset van 3.000 vragen had het afgestemde model een 72% lager hallucinatiepercentage dan hetzelfde model afgestemd zonder reinforcement learning, plus verbeteringen in door experts beoordeelde nauwkeurigheid, volledigheid en veiligheid. In een live test van twee weken op 50% van het verkeer tegen een standaard retrievalopzet met DeepSeek-V3 steeg de likeratio met 28,6% en daalden ongeldige URL's met 92,7%. De twee resultatentabellen van het artikel spreken elkaar tegen over het dislikepercentage, dus dat wordt hier niet genoemd (zie de kanttekeningen). De prijs was tragere antwoorden: de gemiddelde tijd tot het eerste token ging van 2,5 s naar 3,1 s. De auteurs zeggen dat het systeem gedurende meer dan een half jaar miljoenen interacties heeft verwerkt.

Wat u kunt overnemen

Bepaal de ene fout die u zich niet kunt veroorloven, zoals een verzonnen link, en geef die een eigen meetwaarde en een eigen beloning in de training. Voer een live splittest uit tegen een duidelijke basislijn en publiceer de vertraging naast de winst.