Si como yo sois aficionados a Minecraft, estaréis al tanto de los cientos de proyecto absurdamente maravillosos que se han generado dentro de este juego de tipo sandbox con bloques.

Usando redstone - un conjunto de items y bloques que permiten simular electricidad y lógica - se han creado dentro del juego, calculadoras, Gameboys, máquinas de turing...hasta se creó Minecraft dentro de Minecraft!

Pero lo que vi ayer es absolutamente loco: ChatGPT dentro de Minecraft!

📼 Os recomiendo ver el vídeo, sólo para haceros una idea del monstruo y del trabajo que lleva hacer semejante obra de ingeniería dentro del juego.

Bueno, primero de todo vamos a ser precisos. Lo que se ha emulado no es ChatGPT, es un transformer en miniatura, un modelo de 5M de parámetros (GPT-3 por ejemplo ya tenía 175.000M), un embedding de 240, vocabulario de 1920 tokens, 6 capas y un contexto de 64 tokens. Unas cifras ridículas para cualquier LLM incluso de hace años. Los pesos se cuantizaron para ocupar menos (8 bits la mayoría, algunos a 18 o 24 bits) y se guardaron en cientos de ficheros que se tradujeron a bloques de Minecraft.

El monstruo que se construyó dentro del juego, tarda unas 2 horas en generar una respuesta usando aceleración MCHPRS generando respuestas muy simples con frases muy cortas en inglés. A velocidad normal es técnicamente imposible de usar.

Evidentemente la hazaña no está en la practicidad si no en haber demostrado que, aunque diminuto (microscópico comparado incluso con los LLM más antiguos) se puede hacer funcionar un LLM dentro de Minecraft.

Por esos locos que pierden horas de sueño con estas frikadas, sólo por que se puede hacer! 🥂

Muy buen fin de semana!!

El enlace original al canal del autor: https://www.youtube.com/watch?v=VaeI9YgE1o8