LegoGPT : l’IA qui parle le langage des briques
Une équipe de chercheurs de la Carnegie Mellon University a mis au point LegoGPT, un modèle de langage inédit taillé pour le monde des célèbres briques danoises. Plutôt que de générer du texte ou des images comme la plupart des intelligences artificielles, LegoGPT comprend les instructions textuelles et les transforme en plans de montage détaillés, étape par étape, pour assembler des structures stables et fonctionnelles. Le projet, open source, ouvre la voie à une révolution dans la construction de maquettes et l’automatisation de la fabrication avec des robots.
Un socle LLaMA 3.2-1B-Instruct réentraîné pour l’occasion
Le pilier technologique de LegoGPT est le grand modèle de langage open source LLaMA-3.2-1B-Instruct. Les chercheurs ont repris cette base pour la spécialiser :
- Affinage du modèle sur des données spécifiques au domaine Lego.
- Ajout d’une couche « instructeur » pour générer du texte sous forme de listings d’étapes claires.
- Optimisation pour comprendre les nuances des formes, couleurs et textures propres aux briques.
Ce réentraînement permet à l’IA de passer d’une génération textuelle générale à une expertise pointue, centrée sur la conception de structures en Lego.
47 000 créations pour former une base solide
Pour offrir un modèle fiable, les chercheurs ont constitué un vaste jeu de données :
- Plus de 28 000 modèles 3D de pièces Lego différentes, incluant briques, plaques, axes et figurines.
- Une bibliothèque de 47 000 structures complètes, annotées avec les positions précises de chaque élément.
- Des informations sur la stabilité et la résistance mécanique de chacune, issues de simulations ou de tests physiques.
Ces milliers d’exemples fournissent à LegoGPT des références concrètes pour associer un prompt textuel à une collection de briques et générer un manuscrit de montage adapté.
Du texte aux instructions de montage
Le fonctionnement de LegoGPT se résume en trois phases :
- Compréhension du prompt : l’utilisateur décrit la création souhaitée (ex. « chaise design minimaliste gris anthracite »).
- Sélection des pièces : l’IA identifie les briques, plaques et accessoires nécessaires parmi les 28 000 références.
- Génération du guide : LegoGPT produit une suite d’étapes numérotées, chacune indiquant la pièce, sa couleur, son orientation et sa position exacte.
Le résultat est un manuel ultra-précis, prêt à être suivi par un constructeur humain ou un bras robotisé. Chaque étape est calibrée pour garantir la stabilité globale de la structure, en équilibrant les charges et les points d’ancrage.
Stabilité et réalisme au cœur du projet
Au-delà de l’aspect esthétique, LegoGPT intègre des contraintes mécaniques :
- Calcul des zones de tension pour éviter le basculement.
- Répartition homogène du poids, même dans des constructions complexes.
- Prise en compte de la portance et des points faibles potentiels.
Grâce à ces simulations, les utilisateurs peuvent obtenir un bâtiment ou un véhicule Lego qui ne s’effondre pas sous son propre poids et résiste aux manipulations.
Utilisation par des robots ou des passionnés
Le code et le dataset de LegoGPT sont disponibles sur GitHub, permettant :
- L’intégration avec des kits robotiques pour automatiser la construction.
- Une interface web simple pour générer des manuels à imprimer.
- La personnalisation des instructions selon le stock de pièces de chaque utilisateur.
Les ingénieurs peuvent ainsi programmer des bras articulés pour suivre les plans, tandis que les amateurs reçoivent des fichiers PDF clairs pour assembler manuellement leurs créations.
Les défis à relever et les perspectives
Malgré son potentiel, LegoGPT doit encore évoluer :
- L’IA opère pour l’instant sur une grille de petite taille, limitant la taille des maquettes.
- La gestion des textures poussées et des briques transparentes reste perfectible.
- La compatibilité avec des pièces non officielles ou modifiées nécessite un entraînement supplémentaire.
Les prochaines versions viseront à augmenter la résolution des plans, à enrichir le catalogue de pièces et à proposer une intégration directe dans des logiciels de CAO 3D pour Lego, comme BrickLink Studio ou Mecabricks.
Une source d’inspiration open source
En publiant l’intégralité de son code et de son dataset, l’équipe de Carnegie Mellon encourage :
- La recherche collaborative pour améliorer la stabilité et la créativité des constructions.
- L’émergence de plugins pour des plateformes de modélisation Lego en ligne.
- L’expérimentation d’extensions pour d’autres univers de briques ou composants modulaires.
LegoGPT illustre l’alliance entre IA et loisirs créatifs, prouvant qu’un simple prompt textuel peut se transformer en un guide de montage détaillé, pour donner vie à des idées imaginaires avec des briques réelles.