ChatGPT is “niet vergelijkbaar met de doorsnee chatbot” maar de toepassingsmogelijkheden zijn (ook bij versie 4, later dit jaar) toch dezelfde als bij de huidige AI-gebaseerde chatbots, aldus een analist van Gartner. Hoe kan dat nou? 

 

Hoewel de volgende versie GPT-4 al in de startblokken staat en naar verluidt ‘nog beter’ is, heeft ook die weer dezelfde tekortkomingen als GPT3. Het gaat daarbij om ‘gebrek aan begrip’ en om risico’s op het vlak van security, privacy en imagoschade.  We zetten de belangrijkste constateringen van experts over de eigenschappen van ChatGPT nog even op een rijtje, inclusief interpretatie.

 

1. Met ChatGPT is voor chatbots de lat een stuk hoger komen te liggen

Dat stelt Gartners senior director analyst Uma Challa in een interview met MyCustomer. Volgens haar is ChatGPT “niet vergelijkbaar met de doorsnee chatbot zoals we die nu kennen”. De huidige versie ChatGPT-3 is een “mensachtige chatbot die superieur is in het begrijpen van intenties, vragen van de gebruikers kan aannemen en beantwoorden, vervolgvragen kan beantwoorden, zijn fouten kan toegeven, onjuiste vooronderstellingen kan aanvechten, gecontextualiseerde inhoud kan genereren, talen kan vertalen, informatie kan extraheren en organiseren, uitvoerbare code kan genereren en vooral zijn inhoud kan modereren.”

2. ChatGPT weet zelf niet wat het wel en niet begrijpt

De vraag is of het ‘superieure vermogen van ChatGPT om intenties te begrijpen’ (zoals Gartner dat benoemt) echt bestaat en zo ja, of het toereikend is. ChatGPT stelt zelden een verduidelijkingsvraag, dus reageert tamelijk primair en komt met één respons, tenzij je nadrukkelijk om meerdere alternatieven vraagt of de vraag herformuleert. ChatGPT verwijst in antwoorden niet naar (andere) bronnen en gaat op dit moment ook niet te rade op het internet. Ook ChatGPT-3 zelf komt er niet helemaal uit wat nu precies begrepen wordt: de intentie, tekst, taal of toch iets anders:

Kan ChatGPT3 tekst begrijpen? – “Ja, ChatGPT-3 kan tekst begrijpen. Het is een krachtig taalverwerkingsmodel dat mensachtige tekst kan begrijpen en genereren. Het kan een breed scala aan taaltaken uitvoeren, zoals taalvertaling, tekstsamenvatting, het beantwoorden van vragen en meer.”

Is ChatGPT in staat intenties te herkennen of begrijpen? – “ChatGPT is een taalmodel, het is niet in staat om intenties te herkennen zoals een menselijk wezen dat kan doen. Het kan echter wel specifieke woorden en zinnen herkennen en contextuele betekenissen begrijpen, waardoor het kan reageren op vragen en opdrachten die u geeft. Maar het is niet in staat om de intenties achter die woorden en zinnen te begrijpen zoals een menselijk wezen dat kan doen.”

Wat is de relatie tussen ChatGPT dat statistische regels gebruikt voor het creëren van tekst en ChatGPT dat de onderliggende betekenis van tekst begrijpt? – “ChatGPT gebruikt statistische regels, gebaseerd op patronen die het heeft geleerd van een grote dataset tekst, om tekst te genereren. Wanneer het tekst genereert, “begrijpt” het niet noodzakelijkerwijs de onderliggende betekenis van de tekst op dezelfde manier als een mens dat zou doen. In plaats daarvan gebruikt het de patronen die het heeft geleerd om te voorspellen welk woord of welke zin waarschijnlijk de volgende zal zijn in een bepaalde context.

ChatGPT kan echter ook worden gebruikt voor het begrijpen van de onderliggende betekenis van tekst door middel van taken als vraagbeantwoording, taalvertaling en tekstsamenvatting. Bij deze taken gebruikt het model zijn begrip van de relaties tussen woorden en zinnen in een tekst om passende antwoorden of vertalingen te genereren. Dus in de zin van tekstbegrip voor bepaalde taken kan ChatGPT de tekst begrijpen.” (antwoorden van ChatGPT-3)

 3. ChatGPT is geschikt voor de chatbot-taken zoals we die nu al kennen

Challa gelooft dat ChatGPT de chatbot-ervaring zal kunnen verbeteren en een veel geavanceerdere service zal kunnen bieden. Het vermogen om in natuurlijke taal te communiceren valt op bij ChatGPT-3.

“Het relatief hoge intelligentieniveau dat ChatGPT laat zien in vergelijking met alle chatbots op de markt is de reden voor de hype en brengt de ideeën rond potentiële toepassingen van deze technologie op gang,” aldus Challa tegen MyCustomer.

De use cases die Challa ziet voor ChatGPT, zijn echter dezelfde toepassingen waarvoor de huidige generatie chatbots wordt ingezet: FAQ’s, productinformatie, kennisartikelen, selfservicebegeleiding en laagcomplexe klantintenties die met content kunnen worden opgelost. Dit zijn wat Sander Hesselink (Telecats) betreft toepassingen in “de periferie van klantcontact”.

Challa is echter hoopvol gestemd: “Naarmate modellen verbeteren in het niveau van volwassenheid, kunnen complexe taken worden gedelegeerd naar chatbots in volgende fasen van adoptie.” De vraag is of haar hoop terecht is, zie punt 6 verderop.

4. AI-aangedreven chatbots hebben beperkingen en risico’s

Kunnen customerservice-managers dan volstaan met een upgrade? Nee, want Challa waarschuwt ook voor de kwetsbaarheden van ChatGPT. Zo is niet duidelijk wat de nauwkeurigheid van ChatGPT is als het gaat om het genereren van onjuiste antwoorden. Ook kan het taalmodel leren van slechte voorbeelden waardoor de kwaliteit afneemt in plaats van toeneemt. Ze wijst ook op de hoge kosten van ChatGPT, waardoor de technologie geen open karakter heeft en voor een beperkt aantal bedrijven beschikbaar is. Volgens Challa wordt het model getraind op een enorme hoeveelheden gegevens “van het internet” (wat sic niet klopt), ze waarschuwt voor juridische problemen bij het hergebruik van deze informatie. Ook wijst ze op de risico’s die ontstaan als bedrijven of particulieren gegevens verstrekken aan het basismodel van ChatGPT3.

Risico’s – Cyara, een gespecialiseerde dienstverlener op het vlak van CX-assurance, wijst op het risico van datasecurity-problemen bij het gebruik van chatbots. Aan de ene kant helpt AI bijvoorbeeld bij het sneller opsporen van datalekken (tot wel 28 dagen sneller dan via conventionele beveiliging). Aan de andere kant leiden chatbots juist tot nieuwe risico’s. Chatbots kunnen zich voordoen als werknemers, kunnen ransomware en malware verspreiden en aan phishing doen. Een onderdeel daarvan is ‘bot repurposing’ waarbij een bestaande bot van een bedrijf voor andere doeleinden wordt ingezet. Ook waarschuwt Cyara voor toepassingen zoals ChatGPT, die klanten kan misleiden met onvolledige of foutieve informatie, of waarbij klantgegevens misbruikt worden. Overigens staan de beperkingen en risico’s ook nadrukkelijk beschreven bij de user interface van ChatGPT.

5. ChatGPT-3 is zelf niet geheel eenduidig over compliancy en persoonsgegevens

Aan de ene kant wordt gesteld dat ChatGPT-3 bepaalde soorten persoonsgegevens kan begrijpen en herkennen wanneer deze in tekst voorkomen, zoals namen, adressen en telefoonnummers. Hierbij wordt bij de verwerking gebruik gemaakt van ‘named entity recognition’-(NER)-modellen, reguliere expressies en andere technieken die zijn ontworpen om persoonsgegevens te identificeren en uit tekst te halen (respons 1). Maar als je vraagt naar GDPR-compliancy, komt de oplossing van OpenAI met een andere uitleg (respons 2).

Hoe herkent ChatGPT-3 persoonsgegevens die deel kunnen uitmaken van een verzoek? – (respons 1) “Als AI-taalmodel kan GPT-3 bepaalde soorten persoonsgegevens begrijpen en herkennen wanneer deze in tekst voorkomen, zoals namen, adressen en telefoonnummers. Het is echter niet in staat om alle soorten persoonsgegevens te herkennen, en het is niet in staat om de context te begrijpen waarin persoonsgegevens worden gebruikt. (…)

De gegevens die u mij verstrekt, worden naar OpenAI-servers gestuurd om uw verzoek te verwerken, maar de gegevens worden onmiddellijk van de servers verwijderd nadat het verzoek is voltooid. (…)  Het is ook belangrijk op te merken dat GPT-3 niet in staat is de betekenis van persoonsgegevens te begrijpen en deze niet opslaat of gebruikt voor enig ander doel dan het genereren van een antwoord op het verzoek van de gebruiker. De persoonsgegevens worden van de servers verwijderd onmiddellijk nadat het verzoek is afgerond.”

Hoe voldoet ChatGPT aan de GDPR? (respons 2) – “Als AI-taalmodel heb ik niet de mogelijkheid om persoonlijke gegevens te verzamelen, op te slaan of te verwerken, dus ik heb niet de mogelijkheid om al dan niet te voldoen aan de GDPR. Mijn makers (OpenAI) hebben echter strikte gegevensbeschermingsmaatregelen ingevoerd om ervoor te zorgen dat alle persoonlijke gegevens die worden gebruikt om mij te trainen, worden behandeld in overeenstemming met de GDPR en andere relevante gegevensbeschermingsvoorschriften.” (antwoorden van ChatGPT-3)

6. De volgende versie is ‘mind blowing’

ChatGPT-3 wordt op dit moment doorontwikkeld. Volgens AI-expert Gary Marcus zal de nieuwe versie, die vermoedelijk in het voorjaar uitkomt, nog meer buzz opleveren en de huidige versie doen verbleken. “GPT-4 is going to be a monster,” aldus Marcus. Het verschil zit ‘m vooral in de training van de nieuwe versie, met meer parameters en meer data. Maar Marcus voorziet ook dat de beperkingen van ChatGPT niet worden opgelost, omdat de onderliggende architectuur (gebaseerd op een Large Language Model) ongewijzigd blijft. Daardoor blijft echt begrip van de wereld buiten bereik en zullen er andere manieren moeten worden gezocht om de betrouwbaarheid van de output te verbeteren. (Ziptone/Erik Bouwer)

Featured, Kennisbank, Technologie