Hace tiempo que es posible correr modelos de inteligencia artificial en local, siempre que nuestro ordenador cumpla los requisitos. Además, tanto AMD como NVIDIA tienen sus propios equipos pensados para tal fin, aunque no son baratos. Ahora bien, hay alternativas, como el Agent Box que acaba de presentar una startup de Singapur, llamada Acrab. Este mini PC es capaz de ejecutar modelos de hasta 100.000 millones de parámetros en local. En un mercado dominado por la dependencia de la nube, esta propuesta promete transformar la forma en que los desarrolladores y usuarios interactúan con la IA generativa, ofreciendo una alternativa potente, privada y eficiente.El corazón del Agent Box es un procesador de desarrollo propio denominado G≡LIX 1, fabricado en un proceso de 5 nanómetros diseñado para cargas de trabajo muy exigentes. Según la startup, este equipo busca ofrecer un rendimiento muy cercano al de estaciones de trabajo profesionales de alto costo, como NVIDIA DGX Spark (4.800 euros), pero aproximadamente a una quinta parte de su precio y consumiendo la mitad de energía. En las pruebas de rendimiento internas, este mini PC demostró su superioridad frente a un Mac mini con chip M4 Pro, superando su velocidad de procesamiento de entrada en más de siete veces al trabajar con modelos de gran tamaño.Hardware de última generación y un ecosistema completo de software Placa base del Agent BoxA nivel de arquitectura, el chip G≡LIX 1 combina una CPU ARM de 20 núcleos, una GPU con una potencia de 3 TFLOPS y una unidad de procesamiento neuronal multinúcleo optimizada específicamente para la inferencia de modelos de lenguaje. El conjunto alcanza una potencia total de 700 TOPS gracias al uso de una memoria unificada con un ancho de banda de 273 GB/s. Sobre esto último, decir que el chip M5 de Apple ofrece un ancho de banda de memoria unificada de 153 GB/s.Dejando de lado las especificaciones del procesador y la memoria, la propuesta de Acrab se completa con una plataforma de software integral que incluye entornos de ejecución de IA, herramientas para desarrolladores y capacidades para agentes autónomos. Las demostraciones de la empresa han mostrado cómo las órdenes de voz pueden activar la creación e impresión automática de modelos 3D, controlar robots de limpieza o interactuar con la domótica del hogar, controlando desde las luces hasta cerraduras inteligentes sin enviar datos a la nube. Si usas la IA para programar, cuidado: descubren cómo meterte virus en el ordenador sin que te des cuentaCorrer un modelo de IA directamente en nuestro ordenador no solo reduce drásticamente los costes de consumo de tokens, sino que también protege nuestra privacidad y permite crear asistentes personalizados con memoria persistente. Además, no hace falta conexión a Internet, ya que todo se ejecuta en local. Con planes para llevar esta tecnología a sistemas de almacenamiento, robótica industrial y coches eléctricos, Acrab busca sentar las bases para que cualquier fabricante pueda integrar inteligencia autónoma en sus productos.