Een voicebot testen en verbeteren na de livegang

Een voicebot is nooit af op de dag dat hij live gaat. De echte bellers tonen pas waar het script wringt. Dit artikel beschrijft hoe je test voor de livegang en hoe je daarna systematisch verbetert.

Testen voor de livegang: de scenario's

Een voicebot die het script volgt met collega's die het script kennen, is nog niet getest. Echte bellers zijn onvoorspelbaar. Stel een lijst testscenario's op en laat ze uitvoeren door mensen die het systeem niet kennen.

Dat laatste scenario test je door de koppeling tijdelijk uit te schakelen. Hoe de voicebot zich dan moet gedragen, staat in een voicebot koppelen.

Noteer per scenario wat je verwacht, wat er gebeurde, en wat je aanpast. Die lijst gebruik je later opnieuw na elke grote wijziging.

Transcripten nalezen

Na de livegang is het transcript je belangrijkste bron. Cijfers tonen waar het misloopt, transcripten tonen waarom. Lees niet alleen willekeurige gesprekken, maar vooral:

• gesprekken die de beller voortijdig afbrak;
• gesprekken die eindigden in een doorverbinding of terugbelverzoek;
• de langste gesprekken;
• gesprekken waarin de beller "nee", "dat klopt niet" of "ik wil iemand spreken" zei.

Let op patronen, niet op losse fouten. Vraagt de voicebot telkens twee keer naar het adres? Begrijpt hij een bepaalde dienst nooit? Dan pas je het script of de kennisbank aan.

Bewaar transcripten en opnames niet langer dan nodig. De GDPR vraagt dat persoonsgegevens niet langer bewaard worden dan noodzakelijk voor het doel^[1]. Spreek een bewaartermijn af. Meer over opnemen en bewaren in telefoongesprekken opnemen en voicebot en GDPR.

De metrieken die ertoe doen

Hieronder de definities. Wat een goede waarde is, hangt sterk af van je rol en je bellers. Vergelijk daarom vooral met je eigen cijfers van voor de voicebot en met je eigen vorige weken, niet met algemene benchmarks.

"Taak geslaagd" moet je zelf definiëren per rol, liefst vooraf. Een voicebot kan vriendelijk en vlot klinken en toch geen afspraak inboeken. Controleer de uitkomst dus in het doelsysteem: staat de afspraak echt in de agenda, staat de fiche echt in het CRM?

Kijk ook naar wat de cijfers niet tonen. Een lage doorverbindratio is alleen goed als bellers die een mens nodig hadden er ook een kregen.

Een wekelijks ritme de eerste weken

De eerste weken na de livegang leer je het snelst. Een eenvoudig ritme:

1. Wekelijks de metrieken bekijken en een vaste reeks transcripten nalezen, met voorrang voor afgebroken en doorverbonden gesprekken.
2. Problemen bundelen tot een korte lijst: wat gaat mis, hoe vaak, wat is de oorzaak.
3. Een paar gerichte wijzigingen doorvoeren, niet alles tegelijk. Dan zie je de week erna wat effect had.
4. Terugkoppelen naar het team dat de doorverbonden gesprekken en terugbelverzoeken opvangt. Zij merken als eersten wat er misloopt.

Als de cijfers enkele weken stabiel zijn, kan het ritme naar tweewekelijks of maandelijks. Na elke grote wijziging in je aanbod, openingsuren of systemen ga je tijdelijk terug naar wekelijks.

Wie is eigenaar?

Een voicebot zonder eigenaar veroudert. Prijzen veranderen, een medewerker vertrekt, een nieuwe dienst komt erbij, en niemand past het script aan. Duid één persoon aan die:

• de metrieken en transcripten opvolgt;
• beslist welke wijzigingen er gebeuren;
• de kennisbank actueel houdt of laat houden;
• het aanspreekpunt is voor collega's die iets vreemds merken.

Dat hoeft geen technisch profiel te zijn. Vaak is het iemand van het onthaal of de klantendienst, met technische ondersteuning voor de uitvoering.

Wijzigingen beheren en versies bijhouden

Een kleine aanpassing in de instructies kan onverwachte gevolgen hebben elders in het gesprek. Werk daarom met discipline:

• Houd een wijzigingslog bij: wat werd aangepast, wanneer, door wie, en waarom.
• Bewaar vorige versies van de instructies en de kennisbank, zodat je kan terugkeren als een wijziging slechter uitdraait.
• Test na elke wijziging opnieuw met je lijst scenario's, minstens de scenario's die de wijziging raakt.
• Wijzig niet vlak voor een drukke periode of een weekend als niemand kan opvolgen.

Veel platformen hebben versiebeheer of een testomgeving. Gebruik die, of houd anders zelf een kopie bij van elke versie.

Verzonnen antwoorden opsporen

Een taalmodel kan een antwoord formuleren dat overtuigend klinkt maar niet klopt, een zogenaamde hallucinatie. Aan de telefoon is dat extra riskant, omdat de beller niets op papier heeft om te controleren. Zo spoor je ze op:

1. Lees antwoorden met feiten na: prijzen, termijnen, openingsuren, voorwaarden. Vergelijk ze met de kennisbank.
2. Stel testvragen waarop het antwoord niet in de kennisbank staat. Een goede voicebot zegt dat hij het niet weet.
3. Zoek in transcripten naar beloftes: "dat wordt morgen geleverd", "dat kost niets". Klopten die?
4. Let op klachten van klanten die zeggen dat ze iets anders te horen kregen.

Vind je een verzonnen antwoord, pas dan de kennisbank aan als de informatie ontbrak, en scherp de instructies aan als hij gokte terwijl hij had moeten doorgeven. Hoe je die instructies opbouwt, staat in gespreksontwerp voor een voicebot.

Veelgestelde vragen

Hoe test ik een voicebot voor de livegang?

Laat mensen bellen die het script niet kennen, met lastige scenario's: vage vragen, dialect, achtergrondlawaai, onderbreken, stilte en vragen waarop de voicebot het antwoord niet kent. Lees elk transcript na en pas aan voor je live gaat.

Welke cijfers moet ik volgen bij een voicebot?

De belangrijkste zijn het afhaakpercentage, de doorverbindratio, het aandeel geslaagde taken, de gemiddelde gespreksduur en het aantal terugbelverzoeken. Vergelijk ze vooral met je eigen cijfers van voor de voicebot en met de vorige weken.

Hoe vaak moet ik de gesprekken van een voicebot nalezen?

De eerste weken wekelijks, met voorrang voor afgebroken en doorverbonden gesprekken. Als de cijfers stabiel zijn, kan het minder vaak, maar na elke grote wijziging ga je tijdelijk terug naar wekelijks.

Wat doe ik als de voicebot iets verkeerds zegt?

Zoek uit waarom: ontbrak de informatie in de kennisbank, of gokte hij terwijl hij had moeten doorgeven? Pas het een of het ander aan, test opnieuw, en noteer de wijziging in je log.

Wie is verantwoordelijk voor een voicebot na de livegang?

Best één vaste eigenaar binnen je bedrijf, vaak iemand van het onthaal of de klantendienst. Die volgt de gesprekken op, beslist over wijzigingen en houdt de kennisbank actueel, met technische hulp waar nodig.