MESHLLM : faire tourner de grands modèles sur plusieurs machines
📌 MESHLLM est un runtime d’inférence distribué qui regroupe la mémoire et les GPU de plusieurs machines pour exécuter des modèles trop lourds pour un seul ordinateur.
L’idée change un peu la question habituelle du local. Au lieu de chercher la carte graphique capable d’accueillir tout un modèle, MeshLLM assemble les ressources disponibles dans un réseau : un ordinateur de bureau, une machine équipée d’un GPU, un serveur ou plusieurs petites machines. Chaque nœud peut héberger une partie du modèle, et les requêtes sont ensuite distribuées selon les capacités présentes.
Le projet fonctionne aussi dans un mode plus simple. Si un nœud peut charger le modèle complet, MeshLLM le sert localement. Sinon, le routeur envoie la demande vers la machine qui possède le modèle, ou découpe les couches du modèle en étapes réparties entre plusieurs nœuds. Les activations circulent entre les machines, tandis que les poids restent sur les nœuds qui les hébergent.
- 🧠 Modèles répartis entre plusieurs GPU
- 🕸️ Routage automatique entre les nœuds
- 🔌 API compatible avec OpenAI
- 🔒 Mesh privé ou réseau public
- 🧩 Découpage des couches pour les grands modèles
- 🤖 Connexion à Goose, OpenCode, Claude Code et Pi
Je trouve la proposition particulièrement intéressante pour les homelabs et les petites infrastructures qui possèdent plusieurs machines inégales. Une carte de 24 Go, un GPU de 32 Go et quelques dizaines de gigaoctets répartis ailleurs ne servent plus seulement séparément. Ils peuvent devenir une capacité commune, sans acheter immédiatement une machine hors de prix.
L’installation reste étonnamment directe pour un projet aussi technique :
bash
curl -fsSL https://meshllm.cloud/install.sh | bash
mesh-llm setup
mesh-llm serve --auto
MeshLLM expose ensuite une API locale sur le port 9337, ce qui permet de conserver les outils habituels et de modifier simplement leur URL OpenAI. Le projet propose un mesh public, des réseaux privés par invitation et un mode de publication contrôlé. Il peut également servir des modèles depuis un catalogue de références GGUF et démarrer une console web de supervision.
Il faut néanmoins garder les pieds sur terre. L’inférence distribuée ajoute de la latence, des problèmes de réseau et une vraie complexité d’exploitation. MeshLLM se présente encore comme un logiciel expérimental, et son mode de mixture-of-agents reste explicitement en préversion. Le bénéfice dépendra donc autant de la qualité des connexions entre les nœuds que de la puissance cumulée.
MESHLLM ressemble finalement à une tentative pour rendre le calcul distribué accessible aux utilisateurs de modèles locaux. Il ne remplace pas une grosse machine rapide, mais il offre une autre manière de progresser : commencer avec ce que l’on possède, puis ajouter des nœuds quand les modèles deviennent trop grands.
Sources
