In het onderzoeksprogramma ’Smooth Operators: research on conversational agents’ kijken onderzoekers van drie universiteiten (UU, UVT, VU Amsterdam) naar de werking en eigenschappen van chatbots. “Met een chatvenster onderin je website geef je het signaal af dat er een volwaardig kanaal beschikbaar is” – maar dat is zelden het geval, aldus onderzoeker dr. Charlotte van Hooijdonk.

 

In augustus besteedde consumentenprogramma Kassa onder meer aandacht aan de bereikbaarheid van bedrijven en chatbots als opkomend contactkanaal. In dat programma kwam Charlotte van Hooijdonk (universitair docent bij de Universiteit Utrecht) aan het woord. Ze maakt deel uit van een groep onderzoekers van drie universiteiten verenigd in het onderzoeksprogramma ‘Smooth Operators’. Dat programma is gefinancierd door NWO, de Nederlandse Organisatie voor Wetenschappelijk Onderzoek, het zelfstandig bestuursorgaan dat optreedt als de nationale Nederlandse wetenschapsfinancier. Daarnaast wordt er samengewerkt met een aantal partners: NS, ING, Achmea, OBI4WAN, Conversational Design Institute, de Cliniclowns en Exact Software.

Webcare-onderzoek

Van Hooijdonk deed samen met dr. Christine Liebrecht al langere tijd onderzoek naar onderdelen van klantcontact. Zo analyseerden ze onder meer webcare-conversaties: hoe maak je dat kanaal persoonlijker en welke reactiestrategieën zijn effectief? “Voorheen vond de interactie tussen klant en organisatie vooral plaats op openbare kanalen, waardoor we de communicatie konden bestuderen. Tegenwoordig is webcare behoorlijk geprofessionaliseerd, waardoor het grootste deel van de interactie plaatsvindt op privékanalen,” aldus Van Hooijdonk.

Chatbot-onderzoek

Het NWO-project ‘Smooth Operators’ richt zich specifiek op chatbotcommunicatie. Het project heeft een tweeledig doel: naast het doen van onderzoek moeten er ook vraagstukken worden opgelost of tools worden ontwikkeld ten behoeve van samenleving en/of bedrijfsleven.

“Enerzijds onderzoeken we de sociale kant van chatbots: hoe kijken werknemers – medewerkers, managers en conversational designers – ernaar en wat vinden klanten ervan? Wat werkt wel en wat werkt niet? We zijn ook geïnteresseerd in hoe medewerkers en klanten vastlopende gesprekken ‘repareren’. Wat kan je doen om het gesprek vlot te trekken? Hoe draag je een vastgelopen gesprek over? En tot slot kijken we ook naar de KPI’s die je kunt gebruiken bij besturing en beheer van chatbots.”

Voor wie is de chatbot een aanwinst?

Over KPI’s in klantcontact en over het functioneren van chatbots is al veel gezegd en geschreven. Ook Van Hooijdonk ziet dat de chatbot vaak eerder vragen oproept dan beantwoordt en dat geeft te denken: voor wie is de chatbot nou een aanwinst?

“Ik begrijp de dilemma’s van bedrijven die veel vragen binnenkrijgen en kosten willen besparen. Mijn indruk is dat bedrijven nog te weinig nadenken over hoe en waarvoor je de chatbot inzet. Consumenten en burgers gaan ervan uit dat achter het chatbotvenster op de website een volwaardige dienst schuilgaat. Maar de chatbot komt vaak niet verder dan een generiek antwoord dat je ook op de website van het bedrijf kunt vinden.” Van Hooijdonk erkent dat de consument daar niet altijd iets mee opschiet.

Wanneer is een chatbot succesvol?

Daarnaast zijn de succescriteria van chatbots niet altijd even helder. “Veel bedrijven kijken alleen naar de mate waarin de chatbot bijdraagt aan callreductie; soms wordt er aan het eind op een driepuntsschaal een oordeel van de klant gevraagd.” Maar er valt aanzienlijk meer te meten, aldus van Hooijdonk, zoals de gebruiksvriendelijkheid van de chatbot, het aantal goed afgehandelde conversaties, of het aantal gesprekken dat ondanks een verkeerde intent recognition toch goed is afgehandeld.

Consumenten zijn minder enthousiast over de kwaliteit en werking van chatbots dan hun bedenkers en ontwikkelaars. Daar zijn verschillende verklaringen voor.

“We hebben veel dialogen bekeken. Uit analyses blijkt dat de initiële vraag die de klant aan de chatbot stelde een geheel andere vraag die bij escalatie later aan de medewerker wordt gesteld. Ook komt het voor dat een handover naar een medewerker niet helemaal succesvol verloopt. De medewerker bijvoorbeeld heeft de chatbotconversatie niet teruggelezen, en stelt dan dezelfde vragen aan de klant. Dit laat zien dat de technologie nog niet goed is uitontwikkeld. Tekortkomingen zijn deels te ondervangen door duidelijk te maken waarvoor je de chatbot kunt gebruiken, aldus Van Hooijdonk.” Geef instructies hoe je als klant kunt communiceren met de bot – bijvoorbeeld door korte zinnen te gebruiken. Biedt de mogelijkheid van het inschakelen van een medewerker aan wanneer je er niet uitkomt.”

Pennenveer van de Efteling

Kent Van Hooijdonk een chatbot die een podiumplek verdient? “Ja, mijn favoriete chatbot is Pennenveer van de Efteling. Die past helemaal bij de tone of voice van de Efteling.”

Ziptone nam de proef op de som. Helaas: Pennenveer blijkt, net als veel andere chatbots, primair een rules-based chatbot of een interactieve FAQ; er is geen natuurlijke dialoog mogelijk.

Terug naar het onderzoeksprogramma. Wat kunnen we aan output verwachten? Van Hooijdonk: “Een van de dingen waar we dit najaar mee naar buiten zullen treden, is een onderzoek naar ‘repareerstrategieën’ in conversaties. Daarnaast gaan we gebruikersonderzoek uitvoeren naar gemeentelijke chatbots, waarbij we commerciële bots zullen afzetten tegen GEM, de bot die VNG Realisatie heeft ontwikkeld.”

Wie meer wil weten kan terecht op de website van het onderzoeksprogramma.

(Ziptone/Erik Bouwer)

Featured, Kennisbank, Technologie