Rathenau over GenAI: oproep aan sectoren om impact te monitoren

by Ziptone

Rathenau over GenAI: oproep aan sectoren om impact te monitoren

by Ziptone

by Ziptone

Sinds de lancering in november 2022 experimenteren miljoenen gebruikers wereldwijd met ChatGPT en varianten van GenAI. De technologie heeft al impact op de samenleving, en de verwachtingen van wat het de maatschappij nog meer gaat brengen zijn hooggespannen. Het Rathenau Instituut ontwikkelde op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties een scan over GenAI – inclusief aandacht voor de klantrelatie en klantcontact. Food for thought voor CX-specialisten.

 

Ondanks het veelbelovende potentieel is de technologie voorlopig nog niet goed genoeg om in te zetten in belangrijke processen, aldus het Rathenau Instituut. Dat instituut houdt zich bezig met onderzoek en debat over de impact van wetenschap, innovatie en technologie op de samenleving. De opstellers van de scan zien nog veel vraagstukken, risico’s en uitdagingen.

Model collapse

In het rapport wordt uiteraard (en op een heldere manier) uitgelegd hoe GenAI werkt: op basis van waarschijnlijkheidsmodellen. Bij het creëren van output doen de GenAI-systemen in feite een ‘educated guess’. Dat brengt verschillende, inmiddels bekende risico’s met zich mee. De statistische methodiek achter GenAI kan leiden tot ‘hallucineren’ en er kan sprake zijn van bias in de trainingsdata. Dit soort tekortkomingen worden bestreden door datasets te corrigeren en uitkomsten te beoordelen, maar dat levert geen garantie op kwaliteit. Het omgekeerde is ook mogelijk: als een systeem in nieuwe trainingsrondes getraind wordt met de foutieve data die eerder is gegenereerd, kan de werking van het model verslechteren. Dit wordt ‘model collapse’ genoemd.

Een ander algemeen probleem is dat de systemen dingen kunnen doen die vroeger voor onmogelijk werden gehouden, waarbij de werking nog niet goed door onderzoekers noch door ontwikkelaars begrepen wordt. Een tweede probleem is dat systemen dingen gaan doen die niet tot de beoogde doelen van ontwikkelaars behoorden.

Vier verschillende rollen voor GenAI

Aan de andere kant zien de onderzoekers van Rathenau ook de potentie voor verschillende domeinen: van onderwijs en wetenschap tot defensie en cybersecurity. De opstellers zien vier rollen voor GenAI.

De eerste rol is die van leerinstrument. In het dagelijks leven gebruikt vrijwel iedereen digitale zoekmachines, en GenAI kan de gebruiksvriendelijkheid hiervan verbeteren. Het is echter de vraag in hoeverre docenten en leerlingen kunnen vertrouwen op de kwaliteit van de systemen, en welke vaardigheden leerlingen door het gebruik precies verwerven. In klantcontact kan het hier gaan om snel bij elkaar zoeken van relevante informatie op basis van een bepaalde input; die input kan afkomstig zijn van een klantcontactmedewerker of vanuit het systeem zelf (next best action-achtige toepassingen).

GenAI in klantcontact

De tweede rol is die van productietool: de gebruiker wil dat GenAI iets maakt. Dit is ook de toepassing die in klantcontact ‘hot’ is: het genereren van antwoorden en samenvattingen op basis van bestaande teksten. “Het productievermogen van GenAI is snel en schaalbaar,” aldus Rathenau, waarbij wel de voorwaarde wordt gesteld dat de kwaliteit op peil moet zijn. Zoals eerder aangegeven ziet Rathenau hier nog grote uitdagingen.

Op het grensvlak van de tweede en derde rol benoemt Rathenau expliciet het voorbeeld waarbij GenAI al wordt ingezet om realtime gesprekssuggesties en mogelijke antwoorden te geven aan klantenservicemedewerkers.

De derde rol is die van probleemoplosser. Rathenau wijst vooral hierbij ook het risico van een ‘hallucinerend’ systeem; het moet bovendien verklaarbaar zijn hoe GenAI tot bepaalde resultaten is gekomen.

De vierde rol is een soort greenfield, waarbij gebruikers op zoek gaan naar nieuwe toepassingen gebaseerd op het fundament van enorme datasets.

(Hyper)personalisatie

Interessant is dat Rathenau wijst op een keerzijde van personalisatie. “Het risico bestaat”, aldus de analisten, “dat mensen zo op GenAI-systemen gaan vertrouwen, dat ze die systemen als een alwetend orakel gaan zien. De systemen kunnen in dat geval een grote invloed hebben op de opinies en het wereldbeeld van de gebruiker. (…) Dat effect wordt versterkt doordat GenAI kan worden ingezet voor hyperpersonalisatie: de gebruiker krijgt dan alleen nieuws te zien dat hem interesseert of zijn wereldbeeld bevestigt.” Dit mechanisme kan zich ook in dienstverlening en in klantcontact gaan voordoen, zoals het uitschakelen van de menselijke rol bij het leveren van gepersonaliseerde dienstverlening.

In deze scan concludeert het Rathenau Instituut dat generatieve AI risico’s in de digitale samenleving versterkt en nieuwe risico’s introduceert. Volgens Rathenau zet de opkomst van GenAI een aantal publieke waarden onder druk: onder meer veiligheid (privacy, databescherming, inclusiviteit en betrouwbaarheid); het dreigende ‘verval’ van menselijke cognitieve en sociale vaardigheden; en (onder meer) duurzaamheid, werkgelegenheid en kwaliteit van werk.

GenAI pakt mogelijk anders uit dan eerdere vormen van automatisering

GenAI kan aan de ene kant de productiviteit ophogen, maar de invoering ervan kan ook betekenen dat werk geautomatiseerd wordt. Vooral uit de techsector zelf komen alarmerende geluiden over de impact die GenAI kan hebben op de arbeidsmarkt, aldus Rathenau. De CEO van OpenAI waarschuwt ervoor dat kunstmatige intelligentie onherroepelijk zal zorgen voor het verlies van banen, waarschijnlijk al binnen tien jaar.

Rathenau beargumenteert dat technologische ontwikkelingen banen laat verdwijnen, maar dat er tot nu toe telkens meer nieuwe banen bijkwamen. Bij eerdere technologische revoluties bleken met name routinematige taken gevoelig voor automatisering. Sinds de opkomst van GenAI blijken ook diverse niet-routinematige taken geautomatiseerd te kunnen worden.

De International Labour Organisation (ILO, onderdeel van de VN) voorziet vooral effecten van GenAI op kantoorbanen en kenniswerkers.

Voeling houden met de ontwikkelingen

Rathenau heeft gemengde gevoelens bij de nieuwe AI-wetgeving: we zijn er vroeg bij, maar biedt de wet ook voldoende houvast om AI echt onder controle te krijgen en te houden? De opstellers pleiten daarom voor het zorgen voor maximale ondersteuning van toezichthouders. In het rapport staan vijf aanbevelingen.

  1. Creëer het vermogen om schadelijke GenAI-toepassingen van de markt te halen;
  2. Zorg voor toekomstbestendige juridische kaders;
  3. Investeer in internationaal AI-beleid, om mondiale innovatieprocessen van technologiebedrijven bij te sturen;
  4. Stel een ambitieuze agenda op voor maatschappelijk verantwoorde GenAI;
  5. Stimuleer maatschappelijk debat over de wenselijkheid van GenAI.

Bedrijven en sectoren hebben een verantwoordelijkheid

Voor wat betreft verantwoorde GenAI voegt Rathenau toe dat niet alleen grote technologiebedrijven een verantwoordelijkheid hebben. Ook overheden zouden zowel op nationaal als Europees niveau de ontwikkeling van GenAI-technologie mede kunnen financieren met maatschappelijke partners: Rathenau geeft als voorbeeld GPT-NL (een initiatief van TNO, het Nederlands Forensisch Instituut en ICT-Coöperatie SURF) dat de ontwikkeling van een Nederlands LLM behelst.

GenAIOok pleiten de analisten ervoor om de maatschappelijke impact van GenAI in de praktijk te monitoren en op ongewenste effecten te anticiperen. Welke veranderingen vinden er bijvoorbeeld plaats op de arbeidsmarkt? Elke sector, aldus Rathenau, zal zich moeten gaan buigen over hoe GenAI echt kan bijdragen aan het realiseren van de wensen en ambities van professionals. En net zo belangrijk: als generatieve AI-toepassingen de gewenste resultaten niet leveren, is het zaak dat mensen dit tijdig signaleren en bij beleidsmakers aankaarten. (Ziptone/Rathenau)

De volledige scan met veel literatuurbronnen is hier te downloaden

Ook interessant

Featured, Technologie
Top