LANGUAGE MODEL BUILDER : fabriquez un petit modèle pour comprendre l’IA
https://languagemodelbuilder.com/
📌 LANGUAGE MODEL BUILDER est une application macOS qui explique les bases des modèles de langage et vous permet d’en entraîner un localement sur un Mac Apple Silicon.
Le projet part d’une bonne intuition : pour comprendre une technologie qui semble magique, il faut parfois en construire une version minuscule. Language Model Builder propose d’abord un parcours pédagogique interactif. Vous y voyez comment un texte devient des tokens, comment les nombres prennent place dans un espace d’embeddings, comment l’attention apporte du contexte et comment un transformer apprend à prédire le mot suivant.
La lecture n’est pas passive. Chaque chapitre contient des playgrounds pour manipuler les concepts : construire un tokenizer, inspecter les embeddings, suivre l’attention ou regarder un petit réseau apprendre. Le texte s’adresse aux personnes qui ne programment pas et ne suppose pas de bagage en mathématiques, tout en laissant des portes ouvertes à ceux qui veulent aller plus loin. Je trouve cette progression plus honnête que les introductions qui affichent des schémas simples avant de sauter directement à des formules impossibles à relier à une expérience.
Ce que je retiens surtout :
- 📚 Un manuel interactif sur les tokens, embeddings, RNN, attention et transformers.
- 🧪 Un pipeline local de pré-entraînement, sampling, SFT et DPO.
- 📈 Des courbes de loss, validation, débit et checkpoints pendant l’entraînement.
- 🗃️ Des jeux de données sélectionnés et la possibilité d’utiliser les vôtres.
- 🔍 Un mode chat avec inspection des tokens et probabilités de génération.
La seconde moitié est un véritable atelier de training. Vous choisissez un tokenizer et un corpus, lancez le pré-entraînement, observez la loss baisser, puis échantillonnez le modèle de base. Ensuite, le fine-tuning supervisé apprend au modèle à répondre à des instructions, tandis que le direct preference optimization permet de lui indiquer quelle réponse vous préférez. Tout se déroule dans l’application, sans devoir assembler une chaîne de scripts Python et de notebooks.
L’interface donne aussi une place inhabituelle aux détails de l’apprentissage. Vous pouvez suivre les checkpoints, interrompre un run et le reprendre plus tard, comparer des réglages ou examiner les échantillons sauvegardés. En conversation, le mode X-ray montre les tokens choisis, ceux qui ne l’ont pas été et leurs probabilités. C’est le genre de vue qui transforme une réponse opaque en phénomène observable, même si elle ne rend pas pour autant le modèle intelligent au sens humain du terme.
Le tout reste local et gratuit. Les modèles, datasets et historiques d’entraînement sont conservés sur le Mac, sans compte, abonnement ni composant cloud. Les modèles produits peuvent être exportés au format safetensors, puis ouverts dans une autre application compatible. Cette approche est intéressante pédagogiquement et rassurante pour les données, mais elle signifie aussi que la machine porte toute la charge du calcul et du stockage.
Il faut calibrer ses attentes. Le site indique qu’un modèle cohérent et grammatical peut prendre environ une journée avec les réglages par défaut, et qu’un modèle de taille GPT-2-small, autour de 100 à 150 millions de paramètres, peut demander environ une semaine sur un MacBook Pro M5 Max. Vous ne fabriquez donc pas un remplaçant de Claude ou ChatGPT dans votre garage. Vous apprenez ce que recouvrent réellement les étapes que les grandes interfaces cachent.
La limite matérielle est nette : Language Model Builder demande macOS 15 ou plus récent et une puce Apple Silicon, en s’appuyant sur MLX. Pas de Windows, Linux ou Mac Intel annoncé pour le moment. Pour les curieux qui veulent comprendre les modèles de langage en manipulant quelque chose plutôt qu’en accumulant des vidéos, LANGUAGE MODEL BUILDER me paraît être une porte d’entrée rare : visuelle, locale et suffisamment concrète pour donner envie de laisser tourner l’entraînement jusqu’au lendemain.
Sources :
