Локальні моделі з Ollama, vLLM або OpenAI-сумісним сервером у Xcellerate AIG

З Xcellerate AIG ви розміщуєте моделі, які запускаєте самі, на ноутбуці, GPU-сервері чи в кластері Kubernetes, за тим самим керованим шлюзом, що й хмарних постачальників. Промпти залишаються у вашій мережі, а бюджети, запобіжники й журнали й надалі діють. Налаштування просте: базова URL-адреса та, зазвичай, жодного ключа. Цей посібник для адміністраторів MSP, малого бізнесу та сервісних компаній, які хочуть тримати ШІ локально.

Коротко

• Ollama має власний тип провайдера; vLLM, SGLang, Triton, KServe та подібні сервери використовують тип OpenAI-compatible.
• Потрібна базова URL-адреса, що закінчується на /v1, і зазвичай жодного ключа.
• Позначте, що сервер справді надає, впишіть назви моделей у Allowed models і додайте власну ціну.

Перш ніж почати

• Запущений сервер, доступний для AIG через мережу:
  • Ollama: OpenAI-інтерфейс під /v1, наприклад http://<your-host>:11434/v1.
  • vLLM, SGLang, Triton (OpenAI frontend) або KServe: базова URL-адреса, що закінчується на /v1, наприклад http://vllm:8000/v1.
• Якщо сервер запущено з API-ключем (наприклад, vLLM з --api-key), цей ключ. Інакше нічого.
• Порада: запускайте vLLM або SGLang з --served-model-name <назва>, щоб ID моделі був зрозумілою назвою.
• Роль Admin в AIG або власна роль із правом створювати та редагувати провайдерів.

Налаштування локального провайдера

1. Оберіть тип

Відкрийте Connect → Providers (Підключення → Провайдери) і натисніть Connect a provider (Підключити провайдера) або Add provider (додати провайдера). Оберіть Ollama або OpenAI-compatible (OpenAI-сумісний).

2. Заповніть Base URL

Для OpenAI-compatible поле Base URL (базова URL-адреса) обов'язкове: цей тип не має типової адреси. Для Ollama введіть /v1-адресу свого хоста.

3. Залиште ключ порожнім, якщо сервер його не має

Якщо ваш сервер не має ключа, залиште поле порожнім. Тоді AIG взагалі не надсилає заголовок Authorization.

4. Обмежте, що надає провайдер

У What this provider serves (що надає цей провайдер) позначте лише те, що сервер справді пропонує, наприклад тільки чат. Інші запити відхиляються ще до того, як залишать AIG.

5. Моделі та ціни

Впишіть назви обслуговуваних моделей у Allowed models (дозволені моделі) на ключі. Додайте власну ціну, за токен або за запит: ваших моделей немає в жодному публічному прайс-листі. Без цього AIG не знатиме, скільки коштує запит.

6. Перевірте й увімкніть

Натисніть Test connection (перевірити з'єднання), а потім Enable provider (увімкнути провайдера). Клієнти використовують <назва-провайдера>/<назва-обслуговуваної-моделі>.

Що відбувається після підключення

• Ollama: чат і embeddings.
• OpenAI-compatible: чат, embeddings, зображення, мовлення, транскрипція та rerank, наскільки ви їх позначите.
• AIG протестовано з vLLM, SGLang, OpenAI frontend від Triton і Hugging Face runtime від KServe. Їхні формати помилок перетворюються на зрозумілі повідомлення.
• Трафік залишається у вашій мережі, а керування й журналювання працюють як завжди.

Корисно знати

• Потокові запити тарифікуються за нульовою ціною, якщо клієнт не надсилає stream_options: {"include_usage": true}.
• Triton не повідомляє використання токенів, тож задавайте моделям Triton ціну за запит. Embeddings від Triton через протокол KServe v2 недоступні.
• vLLM на CPU потребує --dtype float32.
• Власний (не-/v1) API Ollama не підтримується. Завжди використовуйте /v1-адресу.
• Без ліцензії AIG працює в безкоштовному режимі: 5 віртуальних ключів, по 5 запитів на ключ на день.

Усунення проблем

• This provider type has no default endpoint — a base URL is required. Заповніть Base URL для типу OpenAI-compatible.
• No model to try. Sync the catalog first… Вашої моделі немає в публічному каталозі. Додайте її в Allowed models і створіть власну ціну.
• Помилки валідації KServe виглядають, наприклад, так: Field required: body.messages.
• Запит одразу відхилено? Клієнт просить функцію, яку ви не позначили. Повідомлення називає провайдера, який може її надати.

Поговоріть з нами про AIG

Хочете об'єднати локальні й хмарні моделі під спільними правилами? Поговоріть з нами про AIG. Докладніше про усіх постачальників в одному каталозі та AIG на власній інфраструктурі.