AGENT-DESKTOP : donnez des yeux et des mains à vos agents IA
⏱️ Temps de lecture estimé : 2 minutes
https://github.com/vercel-labs/agent-desktop
📌 Agent Desktop est un outil open source développé par Vercel Labs qui permet aux agents IA d’interagir directement avec les applications de votre ordinateur, sous macOS, Windows et Linux. Sa particularité ? Il n’utilise pas de captures d’écran pour comprendre une interface. Il exploite les API d’accessibilité du système pour identifier les boutons, menus et champs de saisie, puis interagir avec eux. Concrètement, Agent Desktop permet de :
- Explorer une interface et récupérer sa structure au format JSON.
- Cliquer, saisir du texte et naviguer dans les applications sans déplacer la souris.
- Vérifier les actions effectuées avant de poursuivre une automatisation.
- Piloter les applications via un CLI ou MCP, compatible avec les agents IA.
- Fonctionner sur macOS, Windows et Linux, sans modèle IA intégré.
L’installation se fait simplement avec npm : npm install -g agent-desktop
Ou avec Homebrew :
brew install agent-desktop
Un skill est également disponible pour faciliter son intégration :
npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop
Mon avis : je trouve cette approche particulièrement intéressante. Plutôt que de demander à une IA de deviner où cliquer à partir de pixels, on lui fournit directement la structure de l’interface. C’est potentiellement plus rapide et plus fiable que les solutions reposant uniquement sur la vision. Attention toutefois : les applications doivent correctement exposer leurs éléments d’accessibilité, et les données récupérées peuvent être sensibles. Un projet Apache 2.0 à surveiller pour tous ceux qui expérimentent les agents IA autonomes
Sources






