Instalar y ejecutar el modelo IBM Granite 4.0 H-Micro (Q4_K_M) con Docker

Instalar y ejecutar el modelo IBM Granite 4.0 H-Micro (Q4_K_M) con Docker en Ubuntu

1. Actualizar el sistema

Primero asegurarse de tener el sistema actualizado.

sudo apt update && sudo apt upgrade -y

2. Instalar Docker

Si aún no está instalado, ejecutar los siguientes comandos:

sudo apt install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
  https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io

Verificar la instalación:

docker --version

3. Descargar el modelo Granite

El modelo se encuentra en Docker Hub bajo el nombre:

ai/granite-4.0-h-micro:3B-Q4_K_M

Ejecutar el siguiente comando para descargarlo:

docker pull ai/granite-4.0-h-micro:3B-Q4_K_M

4. Ejecutar el modelo

Una vez descargado, iniciar el contenedor:

docker run -d \
  -p 8000:8000 \
  --name granite \
  ai/granite-4.0-h-micro:3B-Q4_K_M

Esto iniciará un servidor local en la dirección:

http://localhost:8000/v1/chat/completions

5. Probar la API

Realizar una prueba con curl para comprobar que el modelo funciona correctamente:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "granite-4.0-h-micro",
    "temperature": 0.7,
    "max_tokens": 150,
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Explica qué es IBM Granite 4.0 H-Micro." }
    ]
  }'

La respuesta debería mostrar un texto generado por el modelo.

6. Comandos útiles

Ver logs en tiempo real:

docker logs -f granite

Detener el contenedor:

docker stop granite

Eliminar el contenedor:

docker rm granite

Eliminar la imagen del modelo:

docker rmi ai/granite-4.0-h-micro:3B-Q4_K_M

Con estos pasos el modelo Granite 4.0 H-Micro (cuantizado a Q4_K_M) quedará funcionando localmente en Ubuntu con una API compatible con OpenAI.