Gabriëlla Martijn verdedigde onlangs haar proefschrift over klantenservice-chatbots. Vijf jaar onderzoek naar de samenwerking tussen mens en chatbot heeft verschillende inzichten opgeleverd. Een gesprek over verwachtingsmanagement, silo’s en de vraag waarom kostenreductie een slechte leidraad is voor chatbot-implementaties.

 

Gabriëlla Martijn sprak twee jaar geleden op Conversational Conference, maar stond afgelopen maand voor een heel ander publiek – om haar proefschrift te verdedigen. De laatste loodjes van haar promotietraject combineerde ze met een baan bij Deloitte Digital waar ze sinds oktober werkt, dus we spreken haar vlak na een drukke periode. “Een kwestie van ‘event management’ op zich, want er komt nog altijd veel bij kijken: van het opvragen van prijzen van het drukwerk en schakelen met je eindredactie, tot en met het organiseren van de receptie na afloop.”

Filosofie

Martijn is nu doctor in de filosofie en heeft even getwijfeld: ga ik verder in het academisch werk of toch het bedrijfsleven in? “We hebben aan de universiteit met veel bezuinigingen te maken. Voor wie geen hoogleraar is, is het best een uitdaging. Na bijna vijf jaar onderzoek doen en schrijven werd het misschien ook wel tijd voor een net iets meer dynamische omgeving.”

Toch is de omschakeling niet volledig: Martijn komt allerlei elementen uit haar onderzoek tegen in het praktische advieswerk. “Bijvoorbeeld de verwachtingen die managers hebben over hoe AI werkt en wat ze nodig denken te hebben. Zowel in het onderzoek als in het advieswerk komt naar voren dat de klant regelmatig de vraag niet helemaal scherp heeft. Of wat in de praktijk wel en niet goed werkt bij chatbots.”

Opkomst van generatieve AI

In de periode dat Martijn haar promotieonderzoek deed, werd haar initiële aanpak doorkruist met de komst van generatieve AI. ”In eerste instantie was dat schrikken: moet ik hierdoor opnieuw beginnen? Iedereen had het plotseling over chatbots in relatie tot LLM’s en er kwam ook snel veel nieuw onderzoek. Al vrij snel werd duidelijk dat veel van de eerste generatie AI-chatbots weer offline werden gehaald en bleek de rule-based chatbot zo gek nog niet – als die tenminste goed afgebakend en getraind was. Verder is er overlap tussen beide varianten als het gaat om eigenschappen. De komst van GenAI heeft dus niet alles overhoopgegooid. “We hebben ook nu nog steeds te maken met hybride en rule-based chatbots.”

In haar proefschrift, dat is gebaseerd op een aantal verschillende onderzoeken, is onder andere aandacht besteed aan de vraag waar een goede chatbot aan moet voldoen. Dat begint met wat je eigenlijk van een chatbot verwacht. En het antwoord op die vraag is voor een klant anders dan voor een manager, klantcontactmedewerker of conversational designer. De manager wil vooral kostenreductie of call deflection. De conversational designers willen mooie systemen bouwen die klantvriendelijk zijn; zowel de medewerkers als de klanten goed ondersteunen in hun taken. De agents willen een goede integratie en een goede handover hebben. En klanten willen vooral goed geholpen worden.

De vraag is: hoe krijg je die vier perspectieven op een lijn?

“Uit het onderzoek komt naar voren dat silo’s binnen bedrijven hierbij een rol spelen. Je zult de aandacht moeten verleggen van individuele doelen naar het gezamenlijke doel. Bijvoorbeeld: hoe ontlasten we onze eigen medewerkers door onze klant zo goed mogelijk te bedienen? Vanuit dat perspectief kan je terugwerken,” aldus Martijn.

Call deflection en kostenreductie als succesfactor

Het onderzoek van de afgelopen vijf jaar laat zien dat bedrijven overwegend call deflection en kostenreductie – ofwel een besparing op personeelskosten – als succesfactor zien. Je investeert niet in een chatbot om meer uit te geven aan medewerkers die langer bezig zijn met complexe gesprekken – die waren er immers al en het moet efficiënter worden. Kan je stellen dat bij chatbot-projecten de klanttevredenheid op de tweede plaats komt?

“Als ik kijk naar de interviews die we hebben gedaan, dan staat kostenreductie bovenaan. Ik denk dat als je het omdraait – bedien je klant zo efficiënt en goed mogelijk – dan is automatisering een bruikbare oplossing.”

 

Maar maken we het met chatbots niet moeilijker voor de klant?

“We hebben vooral onderzoek gedaan naar wat de voorkeuren zijn bij chatbotgebruik. Maar zijdelings kwam dit natuurlijk wel voorbij. Vanuit de EU AI Act moet je altijd de mogelijkheid hebben om met een mens te praten. Ook al hoort die dan dat er acht wachtenden zijn en via de bot wellicht sneller geholpen kan worden. Je kunt ook de keuze bieden. Dat komt een stuk vriendelijker over dan het telefoonnummer verstoppen.”

‘Handover’ is nog geen samenwerking

Een deel van het onderzoek van Martijn en haar collega’s gaat over de handover van chatsessies naar een live medewerker. Daarbij is aangetoond dat lang niet altijd alle context en informatie die al verzameld is, wordt meegegeven. Martijn benadrukt dat er een verschil is tussen een handover en echte samenwerking tussen bot en mens. “Moet een medewerker bijvoorbeeld helemaal naar boven scrollen in een chatsessie of los je dat op met een AI-summary? Dat kan zelfs bij een rule-based chatbot. Of laat de medewerker tegen de klant zeggen: ik lees even uw chat door, dan ben je er ook. Maak in ieder geval een keuze waar alle medewerkers zich aan houden. We hadden trouwens graag willen onderzoeken wat het betekent als een chatbot aan de klant uitlegt hoe de handover richting een medewerker gaat, en wat daarbij gedeeld wordt. We hebben met heel veel chatbots gesproken, maar dit ben ik nog nooit tegengekomen.”

 

In je onderzoek heb je ook gekeken naar non-understandings en misunderstandings. De chatbot weet dat hij het niet begrijpt versus de chatbot denkt ten onrechte dat hij het wel begrijpt. Dat laatste lijkt me een groot risico bij AI-gebaseerde bots. Speelt dat nog steeds een rol?

“Chatbots hebben vaak thresholds waarbij ze op een gegeven moment moeten zeggen dat ze het niet begrijpen. Vaak loop je als consument dan vast en was je wellicht beter af geweest met een rule-based bot. Maar ik kom ze nog niet echt tegen: volledig AI-gebaseerde bots die stoppen als ze het niet begrijpen. Vaak gaan ze door en eindig je als klant gefrustreerd.”

 

Valt er wat te winnen met meta-communicatie – communiceren over de conversatie – tussen bot en klant?  

“Ja en nee. Bij een beginvraag kan je de bot zeker laten checken of je de klant goed begrijpt. Samenvatten is daar een mogelijkheid bij: dit is wat ik begrijp, is dat correct? Maar zo’n controle hoeft natuurlijk niet elke keer. Als het hoofdonderwerp eenmaal duidelijk is, dan gaat de rest van wel goed.”

 

Houden organisaties bij hoeveel misunderstandings hun AI-chatbots hebben?

“Ik weet niet of ze dat kunnen meten. Uit mijn onderzoek bleek ook dat organisaties vaak nog zoekende zijn met betrekking tot de metric die ze kunnen inzetten om chatbot succes te meten. Organisaties doen wel aansluitend tevredenheidsonderzoek en daarin kan je wel vragen naar zaken waarover de klant ontevreden is, dit is echter generiek en niet specifiek gefocust op de chatbotinteractie.Chatbotdevelopers die de bot trainen, kunnen wel kijken naar de aantallen gesprekken die niet voldoen aan bijvoorbeeld een accuracy-drempel.”

 

In je proefschrift stel je ook dat het ontwerp van de look & feel een grote invloed heeft op gebruikersverwachtingen. Wat zijn jouw tips voor ontwikkelaars om rekening mee te houden?

Bij rule-based chatbots is het belangrijk dat een bot niet te menselijk wordt, terwijl je ook niet een robotgevoel wil overbrengen waarbij een bot steeds dezelfde vragen stelt. Met AI verandert dat vanwege de rol van menselijke taal. Je hebt niet te maken met een beter begrip, maar wel met een betere interpretatie van die menselijke taal. Als de bot qua taalgebruik weer te menselijk wordt, komt daar gemakkelijk een gevoel bij dat je met een mens praat. Er zijn mensen die graag met een chatbot (voorbeeld Replika) willen trouwen, dat is een extreem voorbeeld. Daarom: hoe simpeler de interface, hoe beter. Geen foto van een menselijke medewerker erbij dus en het gebruik van knoppen kan ook helpen. Dat geeft gebruikers het gevoel dat ze een systeem bedienen en het gevoel dat ze controle hebben. Dat kan ook in een hybride vorm: na de eerste vraag van de klant reageren met knoppen waarbij je ook kunt reageren met tekst als jouw optie er niet bij staat.”

 

Tegelijkertijd zorgt conversatie in natuurlijke taal ervoor dat mensen een hoge mate van vertrouwen hebben of hoge verwachtingen die misschien niet waargemaakt kunnen worden door de software?

“De oplossing hierbij is het heel goed managen van de verwachtingen, vanaf het begin. Dus vanaf de start, meteen bij het eerste welkomstbericht: ‘Hi, ik ben de chatbot van bedrijf X en ik kan je helpen bij de volgende onderwerpen’. En nogmaals, gebruik de aanduiding ‘chatbot’ en geef ‘m géén menselijke naam in combinatie met een menselijke avatar. Vooral oudere gebruikers vinden aanwijzingen voor het gebruik – wat moet je wel en niet doen – erg fijn, zo kwam naar voren uit mijn onderzoek.”

 

Naast de inhoudelijke kant van de handover heb je ook de timing. Wanneer escaleer je naar een menselijke medewerker?

“Dat ligt aan het domein waarin je werkzaam bent. Ik ben wel voorstander van een relatief lage threshold voor het begrip. Dus dat een chatbot relatief snel checkt of hij het goed begrepen heeft. Als over die uitkomst twijfel is, moet je misschien wat sneller overdragen. Aan de andere kant: als je chatbot al een langere tijd draait, heb je als het goed is hier een goed beeld bij. Die drempelwaarde kwam trouwens ook als vraag voorbij bij de verdediging van mijn proefschrift. Die waarde heeft namelijk ook een relatie met kostenreductie. Als de bot te snel escaleert, valt de besparing lager uit.”

Begrip tonen bij slechte chatbot-ervaring

Dan tot slot. De medewerker krijgt na de handover vaak te horen dat de chatbot het niet goed deed, terwijl de klant daar toch flink wat tijd aan heeft besteed. Hoe ga je als medewerker met die frustratie om? Martijn: “Je kunt begrip tonen en uitleggen wat de chatbot niet kan. Je zou zelfs bij de klant kunnen navragen of deze een idee heeft over waar de chatbot vastliep. Als de klant dat even kwijt kan, ben je al een heel eind. Maar wals als medewerker in ieder geval niet over die slechte chatbot-ervaring heen.”

Klantenservice-chatbots: van automatisering naar samenwerking

Het proefschrift van Gabriëlla Martijn onderzoekt de samenwerking tussen mens en chatbot vanuit organisatorisch, interactioneel, conversationeel en gebruikersperspectief. Het onderzoek laat zien dat succesvolle samenwerking niet alleen afhangt van nauwkeurige intentieherkenning, maar ook van organisatorische positionering, conversationele praktijken, overdrachtsprocessen en het managen van gebruikersverwachtingen.

Over de verschillende deelstudies heen komen vier voorwaarden voor succesvolle samenwerking tussen mens en chatbot naar voren: heldere organisatorische positionering met gedeelde succescriteria, actieve bewaking en herstel van misverstanden, tijdige en goed gestructureerde overdrachten, en realistisch verwachtingsmanagement. Begrip in mens-machine-interactie wordt niet opgevat als een eenmalige prestatie, maar als een dynamische, interactionele verworvenheid. Verantwoorde inzet in de klantenservice vereist dat samenwerking boven autonomie wordt gesteld, dat transparantie over systeembeperkingen wordt gewaarborgd en dat menselijke betrokkenheid gehandhaafd blijft wanneer interacties complex of gevoelig worden.

Het onderzoek van Martijn maakt deel uit van het Smooth Operators onderzoeksprogramma gericht op conversational AI.

(Ziptone/Erik Bouwer)

Featured, Onderzoek, Technologie