💭 Tras el viaje a la nube… ¿y si la IA estuviese a punto de devolvernos a la tierra?

Esta semana, Jensen Huang (CEO de NVIDIA) entregó a Elon Musk (xAI, Tesla, SpaceX…) la primera unidad del DGX Spark, la que describen como “la supercomputadora de IA más pequeña del mundo”.

📦 Este dispositivo, del tamaño de un libro, es capaz de ejecutar modelos de hasta 200B de parámetros en inferencia local. Lo que supone tener la potencia de un datacenter en el escritorio.

El DGX Spark monta una memoria unificada coherente de 128 GB accesible para CPU+GPU, rendimiento teórico de hasta 1 petaFLOP (FP4) y capacidad de clustering, lo que supone que, uniendo dos unidades, elevamos la cifra teórica de 200B de parámetros hasta los 405B.

Si bien estas cifras están lejos de los grandes supermodelos, hablamos de que Qwen, Mistral o Llama 3 en sus versiones grandes podrían moverse con ajuste fino de rendimiento. Suficiente para ejecutar modelos en un ámbito completamente privado y sin restricciones.

💰 El aparato rondará los 4.000 USD, que si bien no es apto para todos los bolsillos, es notablemente más económico que los cientos de miles que cuestan los sistemas rack o estaciones de IA tradicionales. Y aunque está lejos en desempeño, no lo parece tanto si valoramos su relación coste/rendimiento.

🧠 Y es que la lógica dice que el mercado seguirá evolucionando para mejorar y abaratar la electrónica dedicada a IA, y no es descabellado pensar que las mismas empresas que viajamos a la nube, sacando la electrónica de nuestros CPDs para llevarla a AWS, Azure y demás, hagamos un viaje parcial a la tierra, enracando de nuevo servidores dedicados a IA y buscando pequeñas islas de cómputo en las áreas donde el Compliance y la seguridad del dato lo hagan más razonable.

Y tú, ¿qué opinas? ¿Tiene futuro la electrónica orientada a IA en el ámbito doméstico y empresarial? ¿O la IA será Cloud completamente? Te leo. 👇