Wanneer je een contactcentermanager vraagt naar de resultaten die geboekt zijn met de chatbot, krijg je vaak als eerste te horen welk percentage van de gesprekken door de chatbot wordt afgehandeld. Minder vaak te horen: de klanttevredenheid is omhoog gegaan of de chatbot scoort goed op de customer effort score. Wat zijn bruikbare KPI’s voor chatbots?

 

Uit een inventarisatie van mogelijke KPI’s voor chatbots komt naar voren dat KPI’s overwegend transactioneel van aard zijn. Daarmee lijken de KPI’s voor chatbots op de KPI’s die dikwijls voor klantcontactmedewerkers worden gehanteerd. Als er al naar outcomes wordt gekeken, dan gaat het vaak om gerealiseerde kostenbesparingen – iets wat zelden onderdeel is van de missie, visie en strategie van een organisatie.

Wanneer is een KPI een goede KPI? – KPI’s (Key Performance Indicators) zijn meetresultaten van variabelen die inzicht geven in de prestaties van processen. Dat meten is geen doel op zich, ze geven uiteindelijk inzicht in de prestaties van de organisatie. De beste KPI’s sluiten aan op de missie, visie en strategie van het bedrijf. Ze moeten ‘actionable’ zijn, dat wil zeggen dat bij de KPI een proces hoort waarop je kunt ingrijpen. En: een goede KPI is eenvoudig en gemakkelijk te begrijpen. Hier vind je meer artikelen over KPI’s in klantcontact.

 

Transactioneel of outcome-gerelateerd?

Wie de prestaties van een chatbot gaat meten aan de hand van ‘harde’, transactionele KPI’s, gaat mogelijk voorbij aan de rol of functie van de chatbot binnen de customer journey. Wat is de toegevoegde waarde? Is de chatbot voor de gebruiker een waardevolle aanvulling als zelfservice tekortschiet of een gelijkwaardig alternatief voor een ander contactkanaal?

Daarnaast is voor het meten van de prestaties relevant om voor ogen te houden op welke plek de chatbot wordt geactiveerd (bijvoorbeeld op de algemene pagina van customer service of bij specifieke pagina’s over een bepaald topic). Dit kan bijdragen aan realistische verwachtingen bij klanten ten aanzien van de mogelijkheden van de chatbot, maar kan ook de prestaties meer inzichtelijk maken.

Tot slot worden chatbots steeds vaker ook ingezet ter ondersteuning van agents of baliemedewerkers. Ook op dit vlak van je specifieke KPI’s voor chatbots inzetten (employee-resolution percentage, informatie-doelgerichtheid, kennispeil van de chatbot). Vanuit dit perspectief kan je de chatbot beschouwen als een IT-tool; de belangstelling voor het meten van IT-user experience onder IT-eindgebruikers groeit.

Ziptone presenteert een lijstje met 26 KPI’s voor chatbots waarmee je zicht krijgt op de effectiviteit van chatbots in klantenservice.

Technische KPI’s

1. Beschikbaarheid of (technische) downtime: in welk percentage van de tijd is de chatbotfunctie (niet) beschikbaar voor klanten.
2. Responstijd: hoe snel reageert de chatbot op input van de gebruiker.
3. Sessieduur: de gemiddelde tijd die gebruikers besteden aan interactie met de chatbot.
4. Resource load: de hoeveelheid rekenkracht die door de chatbot wordt gebruikt.
5. Foutpercentage: het aantal fouten of onbegrepen commando’s ten opzichte van het totaal aantal interacties.

KPI’s gerelateerd aan gebruik

6. Actieve gebruikers: het aantal unieke gelijktijdige chatsessies binnen een bepaalde tijdsperiode
7. Nieuwe gebruikers: het aantal nieuwe gebruikers dat binnen een bepaalde tijdsperiode de chatbot is gaan gebruiken
8. Gemiddeld aantal chatsessies: het gemiddelde aantal chatsessie over een bepaalde tijdsperiode
9. Totaal aantal sessies: het aantal chatsessies dat binnen een bepaalde tijdsperiode is opgestart en afgerond.
10. Engagementscore: hoe vaak en hoe lang gaan gebruikers de interactie aan met de chatbot.
11. Terugkeerpercentage: aantal gebruikers dat terugkeert voor een nieuwe sessie met de chatbot.

KPI’s gerelateerd aan gebruikers en customer experience

12. Kanaalwijziging: welk deel van de chatbotgebruikers vraagt om een live chat sessie nog voordat er een inhoudelijke vraag gesteld is.
13. Escalatiepercentage: welk deel van de interacties moet worden overgedragen aan een menselijke medewerker omdat de chatbot niet in staat is het probleem op te lossen.
14. Handover tijd: hoe lang heeft de klant moeten wachten op een live agent?
15. Geslaagde handovers: hoeveel handovers naar een live agent zijn succesvol afgehandeld door de agent?
16. Handover abandonment: hoe vaak heeft een klant, wachtend op een live agent, de chatsessie verlaten?
17. Abandoned conversations: hoeveel dialogen werden eenzijdig door de klant verlaten?
18. Contextbehoud: in hoeverre is een chatbot in staat om verstrekte klantinformatie effectief in te zetten?
19. Begripsherkenning: hoe vaak moet de chatbot aangeven de vraag van de klant niet te begrijpen?
20. Intent recognition succes: in hoeveel procent van de gesprekken is de intent herkenning in een keer goed gegaan?
21. Gespreksefficiëntie: hoeveel berichten zijn er vanuit de chatbot of vanuit de klant nodig om tot een probleemoplossing te komen.

Outcome-gerelateerde KPI’s

22. First Contact Resolution (FCR): welk deel van de vragen of problemen kan de chatbot in de eerste chatsessie zelfstandig oplossen.
23. Voltooiingspercentage: hoeveel sessies worden succesvol afgerond ten opzichte van het aantal gestarte sessies.
24. Conversiepercentage: hoeveel klanten gaan over tot een bepaalde (beoogde) transactie na interactie met de chatbot – bijvoorbeeld een succesvolle doorverwijzing naar een specifieke selfserviceoplossing
25. Gebruikerstevredenheid: de mening van de klant over de prestatie van de chatbot. Dit kan worden uitgevraagd in een tevredenheidsscore of via de NPS of CES.
26. Gerealiseerde kostenbesparing: hoeveel kosten zijn bespaard door de betreffende vraag niet af te handdelen via een agent, maar via een chatbot?

Voor de berekening van deze laatste KPI is de volgende formule in omloop:
Besparingen = (aantal correct beantwoorde vragen * gemiddelde responstijd van de agent * gemiddeld uurtarief van de agent) – (botcreatiekosten + chatbot-abonnementskosten). Een negatieve uitkomst betekent dat de chatbot zelfstandig te weinig vragen volledig en correct kan afhandelen.

 

Dit artikel kwam mede tot stand met medewerking van Steyn Elshout (Huxam).

Customer Experience, Featured, Kennisbank