Chatbots verliezen het zelfs in beantwoording van simpele vragen van de echte mensen, mensen die wél context en timing snappen. Ook geven bots geen antwoord op belangrijke vragen die spelen in een gemeente, en die verder gaan dan de collectie ‘producten en diensten’. 

 

Dat zijn enkele bevindingen die Wiep Hamstra (eigenaar De Staat van het Web) en Jules Ernst (expert/trainer op het gebied van digitale toegankelijkheid en webspecialist) optekenen na een uitvoerige test van gemeentelijke chatbots.

“Wie met overtuiging chatbots introduceert en ze aanbeveelt voor experimenten op een publieke website, mag ook serieuze tests verwachten,” aldus beide onderzoekers, die een zeer uitgebreid verslag op iBestuur hebben gepubliceerd.

Disclaimer van de Ziptone-redactie: de rammelende chatbots zeggen vooral iets over de manier waarop gemeenten omgaan met de technologie, niet primair iets over de achterliggende technologie of het gebruikte product. Toch kan de technologiekeuze wel van invloed zijn op het functioneren van de chatbots, als onvoldoende rekening wordt gehouden met de mogelijkheden en beperkingen. Zo hebben rulesbased chatbots een vastomlijnd werkveld waarbij rekening houden met context vrijwel onmogelijk is. Dat gegeven komt ook terug in de bevindingen van de onderzoekers. Niet duidelijk in dit onderzoek is in hoeverre gemeenten gebruik hebben gemaakt van generatieve AI.

Beiden onderzochten de 36 gemeentelijke chatbots die momenteel in gebruik zijn. Het eindoordeel: de meesten stelden zwaar teleur. Hamstra en Ernst stuitten op tekortkomingen zoals bias, censuur, digitale ontoegankelijkheid en problemen in beveiliging. Maar het belangrijkste: ze werden soms afgescheept met kinderlijke onbeleefdheid en onwetendheid. De ‘oudere’ bots die al wat vlieguren hebben gemaakt deden het relatief goed.

Gemeenten experimenteren sinds 2020 met chatbots, aldus de auteurs. Gemeente Goes begon in 2020 met Guus. Inmiddels zit Guus in de derde versie. Van de 36 chatbots die ze vonden, staan er 19 in het Algoritme Register.

De test

De auteurs stelden de volgende vragen die, naar eigen zeggen, “stuk voor stuk gangbaar” zijn:

• Zijn jullie aanstaande maandag open? Deze vraag stelden ze de vrijdag voor Bevrijdingsdag. Hiermee wilden ze kwaliteit en relevantie en begrip context onderzoeken
• Heb ik een paspoort nodig als ik naar Spanje ga? De onderzoekers waren benieuwd of we ook de optie voor een ID-kaart zouden krijgen en hoe dat wordt geformuleerd, deze vraag gaat namelijk uit van context
• Krijgen we een asielzoekerscentrum in de gemeente? De onderzoekers wilden weten welke informatie wordt gevolgd en of de bot een antwoord ‘mag’ formuleren op basis van beschikbare content of dat er een gescript antwoord volgt
• Kan ik kwijtschelding krijgen? Deze vraag gaat over een gemeentelijke dienst, maar het antwoord is niet altijd op de website te vinden. Kunnen chatbots doorverwijzen?
• Naast deze vragen zijn er ook andere vragen gesteld over bijvoorbeeld afvalinzameling en bijstand.

Resultaten: chatbots hebben het moeilijk, zelfs met simpele vragen

De chatbots hebben het moeilijk met makkelijke en veel voorkomende vragen. De vraag over openingstijden ging op 36 van de 36 plekken mis, 5 chatbots geven geen antwoord, 4 geven het foute antwoord. Van de 36 functioneren 30 als een zoekmachine die braaf doorverwijst naar content elders – waar het “goede” antwoord over openingstijden ook niet staat. In de weken dat de onderzoekers weer terugkwamen met de vraag, zijn ze niet verbeterd.

Niet ‘intelligent’

Daarnaast ontdekten de onderzoekers dat de gemeentelijke chatbots niet intelligent zijn; ze zijn afhankelijk van menselijk handwerk en komen bovendien – vooral als ze in de testfase zitten –onbeleefd en dom over. Gesprekken worden soms zonder aankondiging afgekapt. Als de chatbots fouten maken of geen antwoorden kunnen formuleren, zijn het vaak nog ‘experimenten’.

Doorverwijzen lukt vaak wel, maar…

Gemeentelijke chatbots zijn wel goed in het doorverwijzen naar informatie; ze doen dit soms zelfs beter dan de zoekmachine op de website. “Het lijkt er dus op dat chatbots zaken moeten repareren die beter – en goedkoper – op een andere manier kunnen worden opgelost,” aldus de onderzoekers, die hierbij spreken van ‘dubbel beheer’: de bot moet dan compenseren dat de website functioneel niet op orde is, maar dat komt neer op twee systemen in de lucht houden.

Niet goedkoop

De onderzoekers wijzen er op dat een chatbot niet goedkoop is. Tegenover de eventueel lage kosten van de technologie staat ‘veel arbeid’. Ook de eventuele negatieve effecten hoeven niet kostenneutraal te zijn. Daarbij vinden ze dat het misleidend is om chatbots een label te geven dat ze ‘in opleiding zijn’ – ze leren immers niet zelf, en zoals gezegd werden ze niet ook beter gedurende de onderzoeksperiode.

Eindconclusies

De onderzoekers vinden dat als gemeentelijke chatbots er niet in slagen een mens na te doen, het beter is om de mens vooraan te zetten voor contact met de buitenwereld. Ze vinden de claims en beloften van chatbots niet in verhouding met de geleverde prestaties, zeker niet als we alle overheidscommunicatie beschouwen als ‘informatie van de overheid waar inwoners recht op hebben’. clai

In het uitvoerige artikel vertellen de onderzoekers ook meer over hun onderzoeksmethode. De resultaten staan op een rijtje op Digimonitor.