De inzet van artificiële intelligentie (AI)  om emoties bij mensen te herkennen brengt risico’s en ethische vragen met zich mee, concludeert de Autoriteit Persoonsgegevens (AP) in de nieuwe Rapportage AI & Algoritmes Nederland (RAN). De AP keek met name naar emotiedetectie bij de klantenservice.

 

De AP bekeek de inzet van emotieherkenning met AI in wearables zoals een smartwatch, in taalmodellen en bij klantenservice-afdelingen. De AP concludeert dat niet altijd duidelijk is hoe AI-systemen emoties herkennen, en of de uitkomsten betrouwbaar zijn. “Het is twijfelachtig of deze systemen daadwerkelijk emoties kunnen meten,” schrijft de AP.

Betrouwbaarheid

De AP plaatst stevige kanttekeningen bij AI-systemen die claimen emoties te kunnen herkennen uit stemgeluid, gezichtsuitdrukkingen of taalgebruik. Zulke systemen  bouwen volgens de toezichthouder voort op “omstreden aannames over emoties en de meetbaarheid daarvan”. Zo is een harde stem niet altijd een uiting van woede, aldus de AP.

Specifiek benoemt de AP klantenservice als één van de sectoren waar emotiedetectie een risicozone vormt. Het rapport maakt melding van toepassingen waarbij emotie-AI wordt ingezet bij het analyseren van telefoongesprekken of chats, bijvoorbeeld om klanttevredenheid, stress of koopintentie te voorspellen.

Schending van rechten

Daarnaast ligt schending van grondrechten op de loer wanneer emotie-AI wordt ingezet zonder expliciete toestemming, zonder transparantie, of gebaseerd op betwistbare aannames.

De AP heeft in het rapport een aantal typische toepassingen van emotiedetectie opgenomen, zoals herkenning van emoties via stemgeluid tijdens telefoongesprekken, taalgebruik bij klanten, het beïnvloeden van het gespreksscript of routering op basis van de gedetecteerde emotie en het gebruik van emotiedetectie als input voor klanttevredenheidsscores of verkoopkansen. 

De AP beschouwt dit soort toepassingen als risicovol de risico’s niet als hypothetisch, omdat de wetenschappelijke onderbouwing van de werking van deze toepassingen zwak is. Ook weten klanten vaak niet dat hun emoties worden geanalyseerd – laat staan op basis van welke gegevens. Daarnaast kan het gebruik van deze technologie leiden tot manipulatie, discriminatie of profilering.

Transparantie en toestemming zijn twee essentiële vereisten onder de AVG en de op handen zijnde AI-verordening, aldus de AP.

Geen veldonderzoek, audits of interviews

De AP heeft geen veldonderzoek of interviews bij contactcenters uitgevoerd, maar beoordeelde de inzet van emotiedetectie op basis van publieke en gemelde voorbeelden, bestaande literatuur en toetsing aan wet- en regelgeving. Daarbij werd met name gekeken naar transparantie, toestemming, onderbouwing van effectiviteit en risico’s voor rechten van burgers.

AP zinspeelt op uitbreiding regelgeving

De toezichthouder onderstreept dat het feit dat technologie iets kan, niet betekent dat het ook wenselijk of geoorloofd is. In onderwijs en op de werkplek is emotieherkenning sinds februari 2025 verboden. Voor klantcontactsystemen bestaat zo’n verbod (nog) niet, maar de AP suggereert dat dit wel degelijk onderwerp zou moeten zijn van een politieke en maatschappelijke afweging.

Daarnaast suggereert de AP dat het gebruik van emotiedetectie zou moeten voldoen aan duidelijke randvoorwaarden, zoals aantoonbare proportionaliteit en noodzakelijkheid, transparantie richting de klant en vooraf verkregen toestemming.

Verschillende toepassingen van stemherkenning vallen straks onder specifieke AI-regelgeving en moeten nu al voldoen aan privacywetgeving, zoals de Algemene verordening gegevensbescherming (AVG). In het onderwijs en op de werkvloer is de inzet van AI-systemen voor emotieherkenning al verboden volgens de Europese AI-verordening.

KSF: voorzichtig mee omgaan

De AP roept ontwikkelaars, gebruikers en toezichthouders op om zich “kritisch te verhouden” tot emotie-AI, vooral in klantgerichte toepassingen. Niet alleen vanwege de technische onvolkomenheden, maar vooral vanwege de impact op publieke waarden en fundamentele rechten.

De KSF stelt in een reactie op de AP-publicatie dat klantcontactorganisaties zich er goed van bewust zijn dat aan het gebruiken van emotieherkenningssystemen (EHS) aanzienlijke risico’s kunnen kleven voor klant en medewerker. “De verwachting onder klantcontactorganisaties is dat het gebruik van EHS de komende jaren toeneemt,” zwegt de KSF, daarbij verwijzend naar een peiling die de AP eerder dit voorjaar uitvoerde onder leden van de KSF. Volgens Roel Masselink is de technologie niet nieuw en moeten bedrijven oog houden voor de risico’s die kleven aan onvolledige, onjuiste of gekleurde data.

Tegelijkertijd zegt de KSF dat de inzet van EHS kan bijdragen aan klanttevredenheid, het verbeteren van de kwaliteit van de dienstverlening en de veiligheid van medewerkers. Vanwege de onduidelijkheden over wat kan en mag onderschrijft de KSF het advies van de AP om voorzichtig met systemen voor emotieherkenning om te gaan. De KSF ontwikkelt graag in nauwe dialoog met de Autoriteit Persoonsgegevens praktische handvatten voor de sector voor verantwoorde inzet van EHS. (AP, KSF)

Download de Rapportage AI & Algoritmes Nederland (RAN)

Featured, Technologie