LegoGPT: AI Omdanner Tekstprompts til Lego Kreationer

Forskere ved Carnegie Mellon University har introduceret LegoGPT, et nyt AI-system, der bygger ægte Lego-kreationer ud fra skriftlige beskrivelser.

Det er den første AI af sin slags, der ikke kun følger en tekstprompt – som “et strømlinet, aflangt fartøj” – men også sikrer, at den resulterende struktur er fysisk stabil og kan bygges, sten for sten.

“For at opnå dette, konstruerer vi en stor-skala, fysisk stabil datasæt af LEGO-designs sammen med deres tilhørende billedtekster,” forklarede teamet i deres forskningsartikel.

LegoGPT blev trænet ved hjælp af over 47.000 stabile Lego-modeller, parret med detaljerede billedtekster genereret af GPT-4o. Disse blev bygget fra 3D-former, omdannet til Lego-strukturer, og derefter testet for virkelighedens stabilitet ved hjælp af fysiksimuleringer.

Hver struktur blev også beskrevet fra 24 vinkler, så AI kunne lære, hvordan forskellige designs skulle se ud i ord.

Teamet brugte en speciel teknik kaldet “fysik-bevidst tilbagetrækning”, hvor ustabile dele af et design fjernes og genopbygges, indtil hele strukturen holder. Dette forbedrede bygningssuccesraterne fra 24% til 98,8%.

AI-modellen, baseret på Meta’s LLaMA-3.2-Instruct, forudsiger hvilken Lego-klods der skal placeres næste – ligesom hvordan ChatGPT forudsiger det næste ord. Hver foreslåede klods bliver tjekket for placering, størrelse og potentielle kollisioner, før den bliver tilføjet til modellen.

LegoGPT’s kreationer kan bygges af både mennesker og robotter. “Vores eksperimenter viser, at LegoGPT producerer stabile, diverse og æstetisk tiltalende Lego-designs, der stemmer tæt overens med input-tekstprompts,” skrev forskerne.

For nu bruger LegoGPT kun otte basale klodstyper og arbejder inden for et 20×20×20 rum, men teamet håber at kunne udvide det.

Der er fuld adgang til deres datasæt, kode og model gratis, så andre kan fortsætte med at bygge på denne forskning. Alternativt kan du bare lege rundt med deres demo.