BLUEY : un curseur IA qui écoute votre voix, comprend l’écran et agit à votre place sur macOS
https://github.com/milind-soni/tiptour-macos
📌 BLUEY est un assistant de curseur IA natif macOS qui combine reconnaissance vocale en temps réel, compréhension de l’écran et contrôle de l’ordinateur. On maintient un raccourci clavier, on parle, et le curseur se déplace vers le bouton exact, clique, tape, ouvre une application ou guide pas à pas dans n’importe quel logiciel.
Le projet, développé par Tiptour, est open source (licence MIT) et écrit en Swift. Il tourne exclusivement sur macOS 14+ et vit dans la barre de menus — pas d’icône dans le Dock, pas de fenêtre principale. L’architecture repose sur trois piliers : Gemini Live pour la voix, la vision et le tool calling en temps réel ; CUA Driver Core pour les primitives de contrôle (clics, frappe, raccourcis, lancement d’apps, scroll, coordonnées navigateur) ; et macOS Accessibility pour la lecture de la structure native des applications et le ciblage précis des éléments.
Le principe est direct : on maintient Ctrl+Option, on parle — « Ouvre Notes et écris un essai », « Clique sur Blank document », « Guide-moi pour exporter » — et BLUEY exécute. Un mode Focus Highlight permet de peindre une zone libreform (Ctrl+Shift+glisser) puis de demander une action ciblée : « Change ce mot », « Déplace ça là-bas », « Rends cette phrase plus douce ».
- 🎤 Voix en temps réel via Gemini Live — chaque mot est streamé vers le modèle pendant qu’il regarde l’écran
- 🖱️ Curseur IA qui se déplace en arc fluide vers le contrôle exact, avec bulle d’info
- 🤖 Mode Autopilot : le curseur prend le contrôle et exécute les actions dans les vraies applications
- 🗺️ Mode Tour Guide : guide pas à pas avec annotations visuelles
- ✏️ Focus Highlight : sélection libreform pour agir sur une zone précise de l’écran
- 🖥️ Natif macOS (Swift), vit dans la barre de menus
- 📦 BYOK : clé API Gemini requise, stockée dans le trousseau macOS
- 📜 Licence MIT, 407+ étoiles GitHub
BLUEY propose trois modes de fonctionnement. Autopilot (activé par défaut) : l’agent effectue les actions pour vous — modéliser dans Blender, naviguer dans un menu, remplir un formulaire. Tour Guide : le curseur montre chaque étape et affiche des instructions, sans cliquer — conçu pour l’apprentissage de logiciels. Neko Mode : un mode ludique optionnel avec un sprite de chat pixelisé qui suit le curseur.
Les permissions macOS nécessaires sont le microphone (entrée vocale), l’enregistrement d’écran (contexte visuel pour Gemini), l’accessibilité (lecture de la structure UI et contrôle des apps) et Screen Content (capture via ScreenCaptureKit). La clé API Gemini est stockée dans le trousseau macOS, jamais envoyée à un serveur tiers — les builds depuis les sources utilisent directement la clé, sans Worker intermédiaire.
BLUEY se démarque des outils de computer-use classiques par l’approche conversationnelle : au lieu de décrire une tâche dans un chat, on parle simplement à l’écran en maintenant un raccourci. L’agent voit la fenêtre active, comprend le contexte applicatif, et agit dans ce périmètre. Le mode Tour Guide en fait un outil pédagogique — pour montrer à quelqu’un comment utiliser un logiciel complexe sans prendre le contrôle de sa machine.
Sources
