UI-TARS DESKTOP : un agent GUI natif qui pilote l’ordinateur par vision et langage naturel
https://github.com/bytedance/UI-TARS-desktop
📌 UI-TARS DESKTOP est un agent graphique natif qui comprend l’écran et agit dessus — clics, frappe, navigation — piloté par des instructions en langage naturel, le tout fonctionnant en local sans envoyer de données à un serveur.
Le projet rassemble deux composants complémentaires. D’un côté, un agent de bureau qui voit l’écran, identifie les éléments visuels et les manipule avec précision — souris, clavier, menus. De l’autre, un agent navigateur qui contrôle le web en combinant vision et analyse du DOM, capable de remplir des formulaires, réserver un vol ou extraire des informations sans API dédiée.
Le modèle sous-jacent — UI-TARS, développé par ByteDance et Seed — est un modèle vision-langage entraîné pour la compréhension d’interface. Il analyse les captures d’écran en temps réel, localise les éléments cliquables et planifie les actions nécessaires pour accomplir la tâche demandée.
- 👁️ Compréhension visuelle de l’écran en temps réel
- 🖱️ Contrôle précis de la souris et du clavier
- 🌐 Agent navigateur hybride (vision + DOM)
- 🖥️ Opération locale ou sur ordinateur distant
- 🔧 Intégration native des serveurs MCP
- 📊 Flux d’événements pour le suivi et le débogage
- 🔒 Traitement entièrement local, zéro donnée externe
- 📟 CLI et interface web intégrées
L’agent ne se limite pas à l’ordinateur local. Il peut prendre le contrôle d’une machine distante ou piloter un navigateur à distance — tout sans configuration complexe, un clic suffit. Le feedback est continu : chaque action est visible en temps réel, avec un flux d’événements qui trace chaque étape.
L’intégration MCP permet de connecter des outils réels au cœur de l’agent. Le système est conçu comme une pile modulaire : chaque composant — vision, navigation, outils, interface — est interchangeable et extensible.
Concrètement, UI-TARS DESKTOP s’inscrit dans une logique d’automatisation visuelle plutôt que de scripts : au lieu de programmer des séquences d’actions, on décrit ce qu’on veut accomplir, et l’agent observe, comprend et agit.
Si vous voulez essayer rapidement le via le serveur web local:
npx @agent-tars/cli@latestSi vous souhaitez installer le client desktop :
brew install --cask ui-tarsEnsuite pour configurer convenablement UI-TARS, je vous invite à lire ce petit guide :
https://github.com/bytedance/UI-TARS-desktop/blob/main/docs/quick-start.md
