Granite 4.2: cómo ejecutar los modelos de IBM en local paso a paso

Granite 4.2 es la familia de modelos que IBM liberó el 25 de agosto de 2026 y que cambia bastante el panorama de la IA en local: tres tamaños (3B, 8B y 30B), licencia Apache 2.0 sin letra pequeña, 128.000 tokens de contexto en todos ellos y un modo de razonamiento que se puede activar y desactivar. Lo interesante no es el tamaño, sino que los dos modelos grandes pasaron por entrenamiento por refuerzo dentro de entornos reales de programación, terminal y búsqueda web. Esta guía te lleva de cero a tenerlo funcionando en tu equipo, con los requisitos reales de memoria y qué esperar de cada tamaño.

Qué es Granite 4.2 y por qué importa

Granite 4.2 es la primera familia de IBM de modelos de razonamiento densos y decoder-only. Tres detalles la separan del ruido habitual de lanzamientos:

• Licencia Apache 2.0 de verdad. No es una licencia «abierta pero» con restricciones de uso comercial o de número de usuarios. Puedes usarlo en un producto y no dar explicaciones.
• Modo de razonamiento conmutable. El mismo modelo puede responder directo o pensar paso a paso antes de contestar, según lo que necesites. Pensar cuesta tokens y tiempo, así que poder apagarlo importa.
• Entrenamiento por refuerzo agéntico. Los modelos de 8B y 30B aprendieron editando código, manejando una terminal y haciendo búsquedas web dentro de entornos aislados reales. No es capacidad simulada con datos sintéticos: es entrenamiento sobre la tarea.

El reparto de los datos de entrenamiento lo dice todo sobre su enfoque: un 31,6 % de datos agénticos, y de esos, un 69 % de ingeniería de software. Es un modelo pensado para trabajar, no para conversar.

Los números: qué rinde cada tamaño

Estos son los resultados publicados por IBM, y conviene mirarlos con cuidado porque explican para qué sirve cada tamaño:

Dos lecturas que no son obvias. La primera: el 3B no recibió entrenamiento agéntico, solo alineación y refuerzo básico, y por eso no aparece en SWE-Bench ni Terminal-Bench. Si tu caso de uso son agentes o programación, el 3B no es una versión pequeña del 8B: es otra cosa.

La segunda es RULER 128K, el benchmark más honesto de la tabla. Mide si el modelo usa de verdad su contexto largo o si solo lo acepta sin aprovecharlo. El salto de 55,30 en el 3B a 81,38 en el 30B explica por qué, para documentos largos, el tamaño importa mucho más de lo que sugieren los otros números.

Requisitos previos: RAM y VRAM reales

Aquí es donde la mayoría de guías mienten por optimismo. Estas son las cifras con las que la cosa funciona de verdad, usando cuantización GGUF Q4_K_M, que es la que descarga Ollama por defecto:

No hace falta tarjeta gráfica: los modelos corren en CPU perfectamente, solo que más despacio. Un mini PC con 32 GB mueve el 8B con soltura, como detallamos en la guía de mejores mini PC. Si quieres velocidad, la GPU manda: tienes las opciones en mejores GPU para IA en local.

Paso 1: instalar Ollama

Ollama es la forma más simple de ejecutar modelos en local: se encarga de la descarga, la cuantización y de servir una API compatible. En Linux y macOS:

curl -fsSL https://ollama.com/install.sh | sh

En Windows, descarga el instalador desde la web oficial. Comprueba que ha quedado bien con:

ollama --version

Si vienes de cero con Ollama y quieres entender bien la herramienta antes de seguir, tenemos la guía completa de Ollama con toda su configuración.

Paso 2: descargar el modelo adecuado

Un solo comando. Elige el tamaño según la tabla de requisitos:

ollama pull granite4.2:3b     # ligero, sin capacidades agenticas
ollama pull granite4.2:8b     # el equilibrio recomendado
ollama pull granite4.2:30b    # maximo rendimiento, 32 GB o mas

Nuestra recomendación: empieza por el 8B. Es el que ofrece capacidades agénticas reales con unos requisitos razonables, y baja al 3B solo si tu equipo no da para más. El 30B tiene sentido si vas a hacer trabajo serio de programación asistida y tienes 32 GB o más.

Paso 3: primera conversación y modo razonamiento

Para hablar con él directamente:

ollama run granite4.2:8b

Y aquí llega la característica que más partido da. El modo de razonamiento es conmutable: con él activado, el modelo piensa paso a paso antes de responder, lo que mejora bastante los resultados en matemáticas, lógica y programación, a costa de más tokens y más tiempo. Con él desactivado, responde directo.

La regla práctica es sencilla: actívalo para problemas que requieren varios pasos y desactívalo para tareas directas como resumir, clasificar o extraer datos. Dejarlo siempre activo multiplica el coste en tiempo sin mejorar nada en tareas simples.

Paso 4: usarlo desde tu código por API

Ollama levanta un servidor HTTP en localhost:11434, así que puedes llamarlo desde cualquier lenguaje sin instalar librerías:

import json, urllib.request

cuerpo = json.dumps({
    "model": "granite4.2:8b",
    "prompt": "Resume este texto en tres puntos: ...",
    "stream": False,
}).encode()

req = urllib.request.Request(
    "http://localhost:11434/api/generate",
    data=cuerpo,
    headers={"Content-Type": "application/json"},
)
respuesta = json.loads(urllib.request.urlopen(req).read())
print(respuesta["response"])

Si necesitas mantener una conversación con historial, usa el endpoint /api/chat pasando la lista de mensajes en vez de un prompt suelto. Y como el servidor escucha por HTTP, puedes exponerlo a tu red local y llamarlo desde otro equipo, igual que hacemos con ComfyUI en la guía de generación de imágenes en local.

Paso 5: aprovechar los 128K de contexto

Los 128.000 tokens de contexto equivalen, muy a ojo, a unas 300 páginas de texto. Eso permite cosas que antes obligaban a montar un sistema de búsqueda documental completo: pasarle un manual entero, un repositorio pequeño o meses de registros y preguntar sobre ello directamente.

Pero hay que activarlo, porque Ollama no usa la ventana completa por defecto: arranca con un contexto mucho menor para ahorrar memoria. Dentro de la sesión interactiva:

/set parameter num_ctx 131072

Y desde la API, pasando options en la petición:

{"model": "granite4.2:8b", "prompt": "...", "options": {"num_ctx": 131072}}

Ojo con el consumo: subir el contexto al máximo puede añadir varios gigabytes de memoria. Sube en escalones —16K, 32K, 64K— hasta donde tu equipo aguante, en vez de saltar directamente al máximo.

Errores comunes y cómo resolverlos

«Model requires more system memory»

El modelo no cabe. Baja un tamaño (de 30B a 8B, o de 8B a 3B) o reduce num_ctx. Si acabas de subir el contexto y ha empezado a fallar, es la caché KV: ese es el culpable, no el modelo.

Va lentísimo aunque tengo tarjeta gráfica

Comprueba que Ollama la está usando de verdad. Ejecuta ollama ps con el modelo cargado: te dirá qué porcentaje está en GPU y cuánto en CPU. Si ves 100 % CPU, faltan los drivers o el modelo no cabe entero en la VRAM y ha hecho offload.

Responde en inglés aunque le escribo en español

Indícaselo explícitamente en el mensaje de sistema. Es un comportamiento habitual en modelos entrenados mayoritariamente en inglés y se corrige con una instrucción clara del tipo «responde siempre en español».

Ocupa mucho disco y quiero limpiar

Lista lo que tienes con ollama list y borra lo que no uses con ollama rm granite4.2:30b. Es fácil acumular decenas de gigabytes probando modelos sin darse cuenta.

Material recomendado para IA en local

Lo que de verdad condiciona la experiencia es la memoria, en este orden: primero la VRAM de la gráfica, y cuando no hay o no basta, la RAM del sistema.

Si vas a montar o ampliar un equipo, un kit de 32 GB DDR5 a 6000 CL30 es el mínimo razonable para trabajar con el 8B con holgura, y los 64 GB en kit de 2×32 son lo que necesitas para el 30B con contexto largo. Tienes el resto de opciones en la comparativa de mejores memorias RAM DDR5.

En gráficas, el salto que más se nota es llegar a 16 GB de VRAM: la ASUS Dual RTX 5060 Ti de 16 GB es la forma más barata de conseguirlos, y la Gigabyte RTX 5070 Ti de 16 GB añade bastante velocidad. Si prefieres un equipo compacto y silencioso encendido todo el día, el Beelink SER8 con 32 GB o el Mac Mini M4 mueven el 8B sin ventiladores desbocados.

Y no subestimes el disco: entre varios modelos se acumulan decenas de gigabytes y cada carga lee el archivo entero. Un WD_BLACK SN850X de 2 TB o el Samsung 990 EVO Plus de 2 TB cumplen de sobra. Ver precio actual en Amazon en cada enlace.

Preguntas frecuentes sobre Granite 4.2

Conclusión

Granite 4.2 es de los lanzamientos más interesantes del año para quien trabaja con IA en local, y no por los benchmarks sino por la combinación: Apache 2.0 real, 128K de contexto y entrenamiento agéntico en modelos que caben en un ordenador de casa. Que un 8B resuelva casi la mitad de SWE-Bench Verified habría sonado a exageración hace un año.

Si vas a probarlo, empieza por el 8B con Ollama, activa el razonamiento solo cuando el problema lo pida, y sube el contexto en escalones vigilando la memoria. Con esas tres cosas claras, en diez minutos tienes un modelo capaz corriendo sin enviar un solo dato fuera de tu equipo.