Chatbots op gemeentewebsites zijn niet alleen over de gehele linie digitaal ontoegankelijk, slechts 10% van de vragen wordt zonder meer goed beantwoord. Bijna twee derde van de vragen hebben de chatbots foutief beantwoord. Dat blijkt uit het tweede deel van het onderzoek van Wiep Hamstra en Jules Ernst onder 39 chatbots.

 

Die teleurstellende uitkomsten zijn het resultaat van het beoordelen van de antwoorden op verschillende criteria, waaronder de juistheid van het antwoord, de werking (gescripte zoekmachine) en de juistheid van doorverwijzingen naar webpagina’s.

De chatbots functioneren vrijwel allemaal als een extra zoekmachine op een afgebakende contentcollectie. Ze zijn niet goed in het nadoen van natuurlijke gesprekken. Antwoorden op simpele vragen worden niet of half gegeven, soms zijn de antwoorden zelfs fout of zijn de chatbots erg lang van stof. Chatbots worden bovendien gepresenteerd als ‘ik’: als mens en niet als software. Denk aan: Korte vragen begrijp ik het best. En woorden als ‘nadenken’ en ‘leren’.

Rules-based overheerst

De onderzoekers vermoeden dat maximaal 10 van de 39 chatbots op basis van een taalmodel werken – soms voor een deel van de site of de onderwerpen. De meeste chatbots werken op een gescripte set vraag-antwoordcombinaties. In veel gevallen stuitten de onderzoekers op foutieve of niet-werkende links.

De onderzoekers hebben ook ferme kritiek op het taalgebruik. Zo wordt er gekunstelde of afstandelijke taal gebruikt. Vaak is webcontent beter dan de tekst van de chatbot.

Verouderde content

Er kwamen ook extreme slordigheden bovendrijven. Zo zijn sinds de pandemie drie chatbots niet aangepast: ze hebben nog een ingang in het chatbot-keuzemenu over corona. De link naar een pagina (bijvoorbeeld ‘Coronaloket’) geeft dan een foutpagina. Andere chatbots verwijzen bij een vraag over verkiezingen direct naar de verkiezingen voor de Tweede Kamer. Ook de zin  ‘U vindt de informatie op onze website’ kwam regelmatig terug.

Oud datalek niet gedicht

Andere opvallendheden: in december hadden verschillende chatbots een dagje vrij; samenwerkende gemeenten die een chatbot delen maken overal dezelfde fouten; en een datalek dat vorig jaar werd gemeld, is niet gedicht.

In het eerste deel van hun onderzoek keken de onderzoekers vooral naar de toegankelijkheid van gemeentelijke chatbots.

(Ziptone/Digimonitor)

Customer Experience