OpenAI heeft gisteren een nieuwe AI-toepassing gepresenteerd met de naam Operator. Deze toepassing kan naar het web gaan om namens de gebruiker taken uit te voeren, zoals het plaatsen van bestellingen in webshops. 

 

De Operator-toepassing wordt aangedreven door een Computer-Using Agent (CUA), een model dat GPT-4o’s vision capaciteiten combineert met geavanceerd redeneren door middel van reinforcement learning.

Dit betekent dat de Agentic AI-oplossing kan communiceren met de knoppen, menu’s en tekstvelden die mensen op een scherm zien op een manier die vergelijkbaar is met menselijk computergebruik. CUA verwerkt ruwe pixelgegevens om te begrijpen wat er op het scherm gebeurt en gebruikt een virtuele muis en toetsenbord om acties uit te voeren.

Daarbij worden er concreet schermafbeeldingen gevoed aan Operator. Op basis van de interpretatie van die schermen worden opgegeven opdrachten uitgevoerd op de computer van de gebruiker in de vorm van klikken, scrollen of typen, totdat Operator beslist dat de taak is voltooid of er nieuwe invoer van de gebruiker vereist is. Voor het opereren namens de gebruiker vraagt Operator uiteraard toestemming aan die gebruiker – denk aan het invoeren van inloggegevens of het reageren op CAPTCHA-formulieren.

Operator kan taken opsplitsen in meerstappenplannen en zichzelf aanpassen wanneer er zich uitdagingen voordoen. Het model staat nog in de kinderschoenen, aldus OpenAI, maar de slagingspercentages bij het uitvoeren van taken zijn veelbelovend.

Op de detailpagina van OpenAI zijn demo’s te vinden van verschillende toepassingen:

Download lecturesCombine pdfsCompress imageCalculate priceExport images

Testversie alleen in de VS

De oplossing komt beschikbaar op operator.chatgpt.com voor zogenaamde Pro Tier-gebruikers in de VS. De feedback van deze gebruikers is essentieel om veiligheidsmaatregelen te verfijnen en de werking van Operator continu te verbeteren, aldus OpenAI.

Gebruikers kunnen Operator opdrachten geven zoals zoek en boek een reis, vul een formulier in of plaats een bestelling bij een wenshop. Ook kunnen standaardworkflows worden gepersonaliseerd, denk aan het plaatsen van bestellingen op specifieke websites. Om Operator optimaal te laten werken is OpenAI samenwerkingen aangegaan met een aantal veelgebruikte aanbieders zoals Instacart, OpenTable, Priceline en Uber. Ook wil OpenAI onderzoeken of het mogelijk is vergelijkbare samenwerkingen op te zetten met overheidsinstellingen. (OpenAI)

Featured, Technologie