OPENMUSE : un agent personnel self-hosted qui ne perd pas le fil

https://github.com/CopilotKit/OpenMuse

📌 OPENMUSE est un agent personnel open source qui réunit un navigateur persistant, un terminal Linux optionnel et un moteur de tâches durables. On lui demande un résultat, il pose un plan, l’exécute étape par étape et revient avec le produit fini — même si l’application a été fermée entre-temps. Le projet est signé CopilotKit, sous licence MIT, et pensé pour être auto-hébergé puis modifié à sa guise.

L’app tourne sous iOS, Android et web depuis la même base Expo / React Native, avec les événements de l’agent diffusés en flux via AG-UI. Le statut est affiché sans détour : alpha, fait pour être auto-hébergé et construit dessus.

Les scénarios de la démo donnent le ton. Sur iPhone : « trouve des articles intéressants sur Hacker News et résume CopilotKit ». Sur le web : vérifier le mail du voyage scolaire, ouvrir le message, puis se documenter sur les expositions du Monterey Bay Aquarium. Les résultats du mail et du navigateur s’affichent directement dans le fil. Si l’agent s’égare, le bouton Take control ouvre sa session de navigation pour reprendre la main.

Ce qui le distingue d’un chatbot ordinaire, c’est l’infrastructure autour. L’application embarque son propre serveur, un worker de tâches et un worker navigateur — Chromium avec profils persistants, piloté par Playwright. En option, un conteneur Linux non-root sert d’ordinateur à l’agent : commandes limitées à 30 secondes, réseau du terminal coupé, volume /workspace conservé entre les arrêts, reçus de chaque commande sauvegardés. Le README assume que ce n’est pas une VM complète, mais il y a de quoi travailler sur des fichiers.

Les tâches sont durables : plan visible, progression, pause, reprise, annulation, approbations. Des baux SQL permettent de reprendre un travail interrompu par un redémarrage, et aucune écriture externe incertaine n’est relancée en cachette. Côté Google, Gmail et Agenda passent par OAuth, mais chaque envoi ou modification d’événement exige une relecture enregistrée.

Les autres surfaces complètent le tableau :

• 📄 Documents : pièce jointe → PDF → champs de formulaire remplis → copie relue → reçu archivé
• 💰 Finance : import d’un CSV de transactions, résumé des dépenses par catégorie
• 🎯 Veilles : vérifications récurrentes de pages publiques (changement, disponibilité d’un texte, seuil de prix en dollars) avec alertes dédoublonnées
• 🧠 Contexte personnel : nom, ton, avatar et mémoires éditables

Pour essayer, il faut Node 24 LTS et pnpm : on clone, pnpm dev, puis localhost:8081. Le mode échantillon fonctionne sans clé de modèle, sans compte Google et sans Docker. On branche ensuite le modèle de son choix — OpenAI, Anthropic ou Google — les clés restant côté serveur.

Des limites à connaître avant de se lancer. Le déploiement est mono-propriétaire, protégé par une clé d’accès partagée : ce n’est pas un système multi-utilisateurs, et le README recommande HTTPS et un réseau restreint pour un hébergement distant. La persistance des conversations riches (Rich Threads) passe par CopilotKit Intelligence, un service hébergé distinct qui n’entre pas dans la licence MIT. Le bureau graphique de l’agent et les achats autonomes restent à la roadmap.

Je trouve la règle affichée du projet remarquablement saine : le contenu web, mail ou documentaire fournit des preuves, jamais l’autorisation d’agir. La relecture obligatoire avant chaque action extérieure, le refus de retenter en silence — voilà des garde-fous qui manquent à beaucoup d’agents plus tape-à-l’œil. À suivre de très près.

Sources

• GitHub — CopilotKit/openmuse