De route naar een goedwerkende chatbot is er een van vallen en opstaan. GenAI inzetten voor direct klantcontact is nog lang niet voor iedereen vanzelfsprekend. Dat bleek tijdens de negende editie van Conversational Conference. Ziptone tekende drie praktijkverhalen op: KPN, Arriva en Zilveren Kruis.

 

Volgend jaar tijd kan Frankwatching de champagne opentrekken, bij de tiende editie van de Conversational Conference. Maar voor veel klantenservicemanagers en product owners is er weinig reden tot feest. Chatbot 1.0, de rulesbased variant, is alom aanwezig, maar geen onverdeeld succes. En de overstap naar chatbot 2.0 op basis van GenAI is beslist niet vanzelfsprekend.

Opvallend en verfrissend aan de Conversational Conference is dat het publiek – op de leveranciers/sponsors na – afwijkt van het gebruikelijke klantcontact-event. Het publiek is jonger en enthousiaster. Dat heeft misschien te maken met het onderwerp: conversational is nog steeds hip, maar ook een niche. Conversational staat voor de natuurlijke, digitale dialoog tussen bedrijf en klant: live chat, chatbots, voicebots.

Volgende week op Ziptone naar aanleiding van Conversational Conference:
– paneldiscussie over de plek van chatbots in klantcontact, en
– goed verhaal over het repareren van vastgelopen chatbotdialogen

KPN: “Wij willen een AI-powered bedrijf worden”

Mark Wessel wond er geen doekjes om: “We willen een AI-powered bedrijf worden.” Vertaald naar klantcontact betekent dat digital first, app centric en human assisted. Maar ook: toegang tot een menselijke medewerker moet wel eenvoudig blijven.

KPN is zes jaar geleden aan de ontwikkeling van chatbot Dot begonnen. Dot moet een gids zijn “in onze ingewikkelde wereld van KPN”, want het bedrijf biedt veel diensten aan. Dot is aanwezig op verschillende plekken: op de website, in de app en aan het begin van het voicekanaal.

Dot is inmiddels ook een soort assistent, want kan de klant laten terugbellen – nu of later. Dat stelt KPN in staat om de wachtrij te ontlasten en het verkeer te spreiden, te prioriteren op basis van klantkenmerken en onderwerp en de overgang van het ene naar het andere kanaal geruisloos te maken. Informatie uit de chatsessie gaat mee naar de medewerker en wie in de app start, krijgt voorrang in de wachtrij van bellers. Extra opbrengst voor KPN: een hogere CES en minder doorverbindingen.

KPN wil ook de routering van chatcontacten aanpakken. Die gebeurt nu op basis van een engine die met twintig variabelen werkt, maar dat moet straks op basis van machine learning gebeuren, zodat de routering steeds slimmer wordt.

10 procent callreductie

Daarnaast heeft KPN onlangs GenAI toegevoegd aan Dot. Belangrijkste uitdagingen hierbij waren het inbouwen van extra checks om voldoende controle te krijgen over de antwoorden. De GenAI-versie van Dot levert 10% callreductie op en KPN wil dat verder ophogen; een derde van de sessies kan volledig door de bot afgehandeld worden. KPN maakt gebruik van Retrieval-augmented generation (RAG), maar dat is een uitdaging wanneer verschillende databronnen van verschillende kwaliteit worden gecombineerd, aldus Wessel: alle checks en controles op de uiteindelijke output verlagen de snelheid van de bot.

Het telecombedrijf heeft een sterk geloof in AI, zegt Wessel tijdens zijn presentatie op Conversational Conference. We dromen van een volwaardige agent, we zien mogelijkheden om bots met bots te laten praten en denken na over natuurlijke taal als een operating system: wat betekent het als overal in processen bots actief zijn? Op de roadmap van KPN staat onder meer verdere personalisatie door het gebruik van klantdata, denk ook aan het mogelijk maken van transacties via bots.

Zelfs hyperlinks worden verhaspeld

Belangrijkste conclusies van Wessel zijn dat het ‘temmen’ van een bot een doorlopende uitdaging blijft. Bots zijn zelfs in staat op hyperlinks (bijvoorbeeld naar een selfservice-pagina) die je correct aanleert, in verhaspelde vorm aan de klant te presenteren. Gelukkig kan je dat soort gegevens weer geautomatiseerd laten checken; de meeste controles zijn toch echt handwerk en bij uit de hand gelopen gesprekken kiest KPN ervoor om klanten terug te bellen. En tot slot kijkt KPN doorlopend per toepassing wat het beste LLM is. Voor het formuleren van een antwoord is dat ChatGPT 3.5, voor het valideren van output is dat ChatGPT 4.0. “We zijn niet getrouwd met OpenAI, er komen bijna wekelijks nieuwe modellen uit die we doorlopend evalueren.”

Arriva: deze bot vráágt om een praktijktest

Bij de presentatie over de chatbot-belevenissen van Arriva (“Waarom de chatbot van Arriva soms een b%tch is”) werd duidelijk wat er gebeurt als enthousiasme over technologie de overhand krijgt.

“Dit willen wij ook,” aldus Niek Hugen over conversational. Het OV-bedrijf (actief met bus-, touringcar-, trein-, tram- en waterbusdiensten in tien Europese landen) heeft voor de Nederlandse activiteiten twee chatbots in de lucht: Gilly, onderdeel van Glimble, de reisapp van Arriva, en Riva, een bot op de website van Arriva zelf.

Draagvlak

Hugen erkent dat zijn team er keihard “is ingerend” en dat het beter was geweest om eerst twee stappen terug te zetten. Bijvoorbeeld door je zelf af te vragen ‘wat wil je en wat is passend’. “Welk probleem wil je oplossen’ kwam niet in de overwegingen voor.

Het team van Hugen heeft de afgelopen drie jaar aan de chatbots gebouwd. Sinds een jaar wordt daarbij nauw samengewerkt met leverancier CM.com en het klantenservice-team. In ietwat omwonden bewoordingen laat hij duidelijk merken dat niet iedereen bij de klantenservice enthousiast was over deze vorm van automatisering: wat gebeurt er met onze banen?

Dat traject heeft Hugen onderschat, zo erkent hij, en het argument ‘de chatbot is er niet om jullie weg te bezuinigen, maar het werk leuker en interessanter te maken’ is natuurlijk waar, maar ook slechts een deel van de werkelijkheid.

“Perfectie is een momentopname”

Een andere geleerde les is dat je niet kunt uitgaan van ‘bouw een chatbot en zet ‘m live’. “De implementatie is een eindeloze cyclus van bouwen, testen, bouwen en weer testen,” aldus Hugen. En deze is om in te lijsten: “Perfectie is een momentopname.”

Vooral het corrigeren van dialogen werd een arbeidsintensieve klus – de eerste dag handelde de bot meer dan duizend gesprekken af. Er moet geprioriteerd worden en Arriva koos voor oeps-gesprekken (‘ik kan niet inchecken’ en de bot komt met een antwoord over boetes) en s.o.s.-gesprekken (op een vraag over reizen met een kleinkind komt een antwoord over reizen met een beperking).

Vastlopers

De beide chatbots (Gilly en Riva) zijn drie jaar in de lucht en zullen ongetwijfeld een flink volume aan vragen kunnen beantwoorden. Maar de OV-chatbots lopen al vast bij de vraag ‘ik wil naar Amsterdam’, wat toch opmerkelijk is voor een chatbot van een OV-bedrijf. Beide bots kunnen evenmin omgaan met een invoer als ‘ja’ of ‘nee’, je bent verplicht om de buttons in het dialoogvenster te gebruiken.

Het succes van een chatbot staat of valt met de mogelijkheid van escalatie naar een agent. Uit het publiek kwam een interessante vraag: wat gebeurt er met escalatie als jullie klantenservice gesloten is? De frontoffice zit in Suriname en die is bereikbaar tot 23.00 uur. Wie na die tijd een naadloze overgang van chatbot naar agent wenst, is de volgende ochtend om 06.00 uur als eerste aan de beurt, zo bleek tijdens de presentatie van het OV-bedrijf op Conversational Conference.

Zilveren Kruis: chatbot Ziv moet bijdragen aan kostenbesparing

De derde bijdrage die Ziptone bijwoonde was van Frans Groenewoud, product owner bij zorgverzekeraar Zilveren Kruis. Groenewoud houdt zich bezig met Ziv, de chatbot van de verzekeraar.

Zilveren Kruis werkt al sinds 2017 met een interne chatbot of co-bot genaamd Zoe, die medewerkers moet helpen bij vragen over vergoedingen (vooraf). Die bot werd naast de kennisbank gezet en dat leverde meteen onduidelijkheid op: wanneer moet je als medewerker nou welke tool raadplegen? Groenewoud was ongeveer de enige die glashelder was over waarom je chatbottechnologie zou moeten inzetten. Zorgverzekeringen zijn complexe producten die veel vragen oproepen. Snel de juiste antwoorden kunnen geven via een bot leidt tot minder menselijk klantcontact en dat draagt bij aan een lagere ziektekostenpremie. Zo eenvoudig kan het zijn.

Goede adoptie, maar tegenvallende outcomes

Met het idee ‘als het goed werkt voor de klant, werkt het ook voor de medewerkers’ werd Ziv, de tweede generatie chatbot van Zilveren Kruis, opgetuigd. Ziv is actief binnen de app en de mijn-omgeving, dus kan gepersonaliseerde diensten leveren. Ziv werd in 2021 gelanceerd inclusief koppelingen naar een single source of truth en verschillende polissystemen. En de verzekeraar had vooraf duidelijk doelstellingen. De adoptie van Ziv leek goed: er werden steeds meer klantvragen volledig mee afgehandeld. Maar uit analyses bleek in 2023 dat de first time fix achterbleef op de doelstellingen. Slechts de helft van de klanten was tevreden over Ziv. Dat was beslist niet goed genoeg, aldus Groenewoud.

Opschalen uitstellen, eerst verbeteren

De oorzaken van de tegenvallende resultaten: nog te veel ontbrekende antwoorden, te veel onjuiste antwoorden, niet altijd alle informatie op het juiste moment beschikbaar en bestaande antwoorden waren niet altijd goed genoeg. Het geplande opschalen van Ziv in 2023 moest worden uitgesteld. Dit jaar heeft Zilveren Kruis een reeks van acties ondernomen om Ziv versneld te optimaliseren. Klant- en marktonderzoek, analyses van de intent herkenning, A/B-testen uitvoeren, de uitkomsten van onderzoeksrapporten echt kritisch bekijken, hackathons organiseren om de grenzen van de bot uit te vinden. 250 Achmea-medewerkers werden lid van een gebruikersgroep die mocht meedenken. Het resultaat van dat alles is dat de first contact resolution verder gestegen is met 28% en dat de klanttevredenheid dicht bij de doelstelling is gekomen – stukken beter dan de scores in 2023. Groenewoud kan nu met zijn team nu weer verder kijken naar de toekomst van Ziv.

Hol niet blindelings achter technologie aan

De tips van Groenewoud: maak de ‘run’ en de ‘change’ (ofwel: innovatie) los van elkaar. Onderhoud en beheer zijn echt andere zaken dan innoveren. Zilveren Kruis besloot een dedicated team op te zetten met onder meer conversational designers. Tip 2: val de medewerker niet lastig met de keuze uit kennistools, maar laat deze gewoon een vraag stellen en laat technologie de beste keuze maken: bot of kennisbank. Tip 3: kijk goed naar wat de klant wil, hol niet achter technologie aan.
Daarom wordt GenAI voorlopig ook nog niet ingezet om rechtstreeks met klanten te praten – de verzekeraar wil eerst veel tijd steken in onderzoek.

Proactief klantcontact

Andere toekomstplannen zijn het bieden van keuzemogelijkheden: de klant mag dingen zelf regelen, maar kan het ook door een bot laten regelen. Toewerken naar meer proactief klantcontact is ook een wens – welke klanten hebben altijd vragen nadat ze een declaratie hebben ingediend? En een interessant vergezicht: het onderscheidend vermogen van de vier grootste verzekeraars is voor klant nauwelijks zichtbaar. Kan een bot meer doen voor de organisatie dan alleen werken binnen klantenservice?

(Ziptone/Erik Bouwer)

Lees ook de impressie van de paneldiscussie (ook onderdeel van Conversational Conference) met Mark van der Heijden van bol, Alexander Wijninga van Watermelon, Jelmer Borst van Picnic en Steijn Elshout van Huxam

Ook op Conversational Conference en volgende week op Ziptone: relevante en praktische bijdrage over het herstellen van vastgelopen chatbotgesprekken, een bijdrage van Anouck Braggaar (Universiteit Tilburg) en Gabriëlla Martijn (Universiteit Utrecht). 

Correcties en aanvullingen

Arriva heeft pas in juni vorig jaar een overeenkomst gesloten met CM.com. Beide bots zijn sinds november 2023 live. In bovenstaand artikel werd de indruk gewekt dat de samenwerking tussen CM.com en Arriva al drie jaar zou bestaan; dat is onjuist.