AI-bedrijf Anthropic heeft vandaag een nieuwe versie van AI-model Claude aangekondigd en tegelijkertijd bekend gemaakt dat er een baanbrekende nieuwe mogelijkheid in publieke beta is geïntroduceerd. Ontwikkelaars kunnen Claude een computer laten gebruiken zoals mensen dat doen: door naar een scherm te kijken, een cursor te bewegen, op knoppen te klikken en tekst te typen.

 

Hierbij wordt gebruik gemaakt van visueel begrip in combinatie met logisch redeneren aan de hand van schermafbeeldingen. De AI-toepassing analyseert het beeld en bepaalt acties op basis van de opbouw van schermen aan de hand van pixels. Die informatie gebruikt Claude voor het bewegen en/of klikken van de cursor of voor het scrollen door een scherm.

Computer use modus

Volgens Anthropic is het model in dit stadium nog experimenteel, soms omslachtig en foutgevoelig. Het bedrijf geeft de functionaliteit vrij zodat ontwikkelaars feedback kunnen geven. Het bedrijf geeft aan dat softwareleveranciers zoals Asana, Canva, Cognition, DoorDash, Replit en The Browser Company al zijn begonnen met het verkennen van deze mogelijkheden en voeren taken uit die tientallen en soms zelfs honderden stappen vereisen om te voltooien.

“Met computergebruik proberen we iets fundamenteel nieuws. In plaats van specifieke gereedschappen te maken om Claude te helpen bij het uitvoeren van individuele taken, leren we het algemene computervaardigheden – zodat het een breed scala aan standaardtools en softwareprogramma’s kan gebruiken die zijn ontworpen voor mensen.

Ontwikkelaars kunnen deze nieuwe vaardigheden gebruiken om repetitieve processen te automatiseren, software te bouwen en te testen en om open taken uit te voeren zoals onderzoek,” aldus Anthropic.

“Scrollen, slepen, zoomen vormen nog een uitdaging voor Claude”

“Hoewel we verwachten dat dit vermogen de komende maanden snel zal verbeteren, is Claude’s huidige vermogen om computers te gebruiken onvolmaakt. Sommige handelingen die mensen moeiteloos uitvoeren – scrollen, slepen, zoomen – vormen op dit moment een uitdaging voor Claude en we moedigen ontwikkelaars aan om te beginnen met het verkennen van taken met een laag risico. Omdat computergebruik een nieuwe vector kan zijn voor meer bekende bedreigingen zoals spam, verkeerde informatie of fraude, nemen we een proactieve houding aan om een veilige toepassing te bevorderen. We hebben nieuwe classificeerders ontwikkeld die kunnen vaststellen wanneer er gebruik wordt gemaakt van de computer en of er schade optreedt.”

Technologie