Modelos locales con Ollama, vLLM o un servidor compatible con OpenAI en Xcellerate AIG

Con Xcellerate AIG, los modelos que ejecuta usted mismo, en un portátil, un servidor con GPU o un clúster de Kubernetes, quedan detrás de la misma pasarela controlada que los proveedores en la nube. Los prompts se quedan en su red, y los presupuestos, las salvaguardas y los registros siguen aplicándose. Esta guía es para administradores de MSP, pymes y empresas de servicios que quieren mantener la IA en local.

En resumen

• Ollama tiene su propio tipo de proveedor; vLLM, SGLang, Triton, KServe y servidores similares usan el tipo OpenAI-compatible.
• Necesita una URL base que termine en /v1 y, normalmente, ninguna clave.
• Marque lo que el servidor ofrece de verdad, indique los nombres de modelo en Allowed models y añada su propio precio.

Antes de empezar

• Un servidor en marcha que AIG pueda alcanzar por la red:
  • Ollama: la interfaz OpenAI bajo /v1, por ejemplo http://<your-host>:11434/v1.
  • vLLM, SGLang, Triton (frontend OpenAI) o KServe: una URL base que termine en /v1, por ejemplo http://vllm:8000/v1.
• Si el servidor se inició con una clave API (por ejemplo vLLM con --api-key), esa clave. Si no, nada.
• Recomendación: inicie vLLM o SGLang con --served-model-name <nombre>, para que el ID del modelo sea un nombre legible.
• El rol Admin en AIG, o un rol personalizado con permiso para crear y editar proveedores.

Configurar el proveedor local

1. Elija el tipo

Vaya a Connect → Providers (Conectar → Proveedores) y haga clic en Connect a provider (conectar un proveedor) o Add provider (añadir proveedor). Elija Ollama u OpenAI-compatible (compatible con OpenAI).

2. Rellene la Base URL

Para OpenAI-compatible, la Base URL (URL base) es obligatoria: este tipo no tiene dirección por defecto. Para Ollama, introduzca la URL /v1 de su propio host.

3. Deje la clave vacía si el servidor no tiene

Si su servidor no tiene clave, deje el campo vacío. AIG no envía entonces ninguna cabecera Authorization.

4. Limite lo que ofrece el proveedor

En What this provider serves (qué ofrece este proveedor), marque solo lo que el servidor ofrece de verdad, por ejemplo solo chat. Las demás solicitudes se rechazan antes de salir de AIG.

5. Modelos y precios

Indique los nombres de los modelos servidos en Allowed models (modelos permitidos) en la clave. Añada un precio personalizado, por token o por solicitud: sus propios modelos no figuran en ninguna lista de precios pública.

6. Pruebe y active

Haga clic en Test connection (probar conexión) y después en Enable provider (activar proveedor). Quien llama usa <nombre-del-proveedor>/<nombre-del-modelo-servido>.

Qué ocurre después de conectar

• Ollama: chat y embeddings.
• OpenAI-compatible: chat, embeddings, imágenes, voz, transcripción y rerank, en la medida en que los marque.
• AIG se ha probado con vLLM, SGLang, el frontend OpenAI de Triton y el runtime Hugging Face de KServe. Sus formatos de error se convierten en mensajes legibles.
• El tráfico se queda en su red, y la gobernanza y los registros funcionan como siempre.

Conviene saber

• Las solicitudes en streaming se valoran a cero salvo que quien llama envíe stream_options: {"include_usage": true}.
• Triton no informa del uso de tokens, así que ponga a los modelos de Triton un precio por solicitud. Los embeddings de Triton mediante el protocolo KServe v2 no están disponibles.
• vLLM en CPU necesita --dtype float32.
• La API nativa de Ollama (fuera de /v1) no es compatible. Use siempre la URL /v1.
• Sin licencia, AIG funciona en modo gratuito: 5 claves virtuales con 5 solicitudes por clave y día.

Solución de problemas

• This provider type has no default endpoint — a base URL is required. Rellene la Base URL para el tipo OpenAI-compatible.
• No model to try. Sync the catalog first… Su modelo no está en el catálogo público. Añádalo en Allowed models y cree un precio personalizado.
• Los errores de validación de KServe aparecen, por ejemplo, como Field required: body.messages.
• ¿Una solicitud se rechaza al instante? El cliente pide una función que no ha marcado. El mensaje indica un proveedor que sí puede atenderla.

Hable con nosotros sobre AIG

¿Quiere reunir modelos locales y en la nube bajo las mismas reglas? Hable con nosotros sobre AIG. Más información sobre todos los proveedores en un catálogo y AIG autoalojado.