llmfit : Outil terminal pour trouver les modèles LLM adaptés à votre matériel

https://github.com/AlexsJones/llmfit

📌 LLMFIT est un outil en ligne de commande qui analyse votre configuration matérielle (RAM, CPU, GPU) et recommande les modèles LLM qui s’exécuteront le mieux sur votre machine. Supportant 157 modèles et 30 providers, ce terminal TUI/CLI calcule les scores de qualité, vitesse, adéquation et contexte pour chaque modèle, en tenant compte des architectures MoE, du multi-GPU et de la quantification dynamique. Le tout fonctionne localement sur macOS, Linux et Windows.

Le choix d’un modèle LLM adapté à son matériel est un casse-tête permanent : trop de VRAM consommée, performances insuffisantes, ou modèle incompatible avec sa configuration. llmfit résout ce problème en détectant automatiquement votre matériel (NVIDIA, AMD, Intel Arc, Apple Silicon), en évaluant chaque modèle avec la quantification optimale, et en affichant un classement basé sur un score composite. L’interface TUI interactive permet de filtrer, rechercher et comparer les modèles en temps réel.

L’installation se fait via un script rapide, Homebrew ou cargo. Au lancement, llmfit affiche vos specs système (RAM, CPU cores, GPU VRAM, backend) et présente la liste des modèles classés par leur score composite. Chaque ligne montre le score, les tokens/seconde estimés, la meilleure quantification pour votre hardware, le mode d’exécution, l’utilisation mémoire et la catégorie d’utilisation. Les raccourcis clavier permettent de naviguer, filtrer par fournisseur, ajuster les critères de fit, et même télécharger les modèles via l’intégration Ollama.

• 🔍 Détection automatique du hardware (GPU NVIDIA/AMD/Intel, Apple Silicon)
• 📊 Scoring multi-dimensions : qualité, vitesse, fit, contexte
• 🎯 Recommandations adaptées à votre cas d’usage (coding, chat, reasoning)
• 🖥️ Interface TUI interactive avec filtres et recherche
• 📦 Intégration Ollama pour téléchargement direct des modèles
• 🧩 Support MoE (Mixtral, DeepSeek-V2/V3) avec calcul expert actif
• ⚡ Estimation tokens/seconde par backend (CUDA, Metal, ROCm, SYCL)
• 🔄 Sélection dynamique de quantification (Q8_0 à Q2_K)
• 🌐 Multi-GPU avec agrégation VRAM
• 💻 Modes CLI et JSON pour intégration scripts/agents

Le workflow typique avec llmfit : lancer la commande sans argument pour l’interface TUI, laisser llmfit détecter votre matériel, naviguer dans les modèles classés par score, filtrer par fit ou fournisseur, et sélectionner un modèle pour voir les détails. L’intégration Ollama permet de télécharger directement le modèle choisi avec la touche d, et les commandes CLI permettent d’exporter les recommandations en JSON pour consommation par des scripts ou agents.

llmfit s’adresse aux développeurs, chercheurs et passionnés de LLM qui veulent optimiser leur choix de modèles selon leur matériel sans tâtonner. Son point fort est la combinaison d’une base de données de 157 modèles mise à jour avec un algorithme de scoring intelligent qui considère la qualité, la vitesse, l’adéquation mémoire et les besoins en contexte. Le support des architectures MoE et la quantification dynamique garantissent des recommandations précises même pour les modèles modernes complexes.

llmfit est une réponse pragmatique à un problème concret : « quels modèles vont vraiment tourner sur ma machine ? » Son approche data-driven, son interface terminal native et ses capacités d’automatisation en font un outil indispensable pour quiconque travaille avec des LLMs en local.

https://github.com/AlexsJones/llmfit