Локални модели с Ollama, vLLM или OpenAI-съвместим сървър в Xcellerate AIG

С Xcellerate AIG поставяте моделите, които пускате сами, на лаптоп, GPU сървър или Kubernetes клъстер, зад същия управляван шлюз като облачните доставчици. Промптовете остават във вашата мрежа, а бюджетите, предпазните правила и записите продължават да важат. Ръководството е за администратори в MSP, малки фирми и компании за услуги, които искат AI да остане локално.

Накратко

• Ollama има собствен тип доставчик; vLLM, SGLang, Triton, KServe и подобни сървъри ползват типа OpenAI-compatible.
• Нужен ви е базов URL, завършващ на /v1, и обикновено никакъв ключ.
• Отметнете какво реално предлага сървърът, въведете имената на моделите в Allowed models и добавете собствена цена.

Преди да започнете

• Работещ сървър, достъпен за AIG по мрежата:
  • Ollama: OpenAI интерфейсът под /v1, например http://<your-host>:11434/v1.
  • vLLM, SGLang, Triton (OpenAI frontend) или KServe: базов URL, завършващ на /v1, например http://vllm:8000/v1.
• Ако сървърът е стартиран с API ключ (например vLLM с --api-key), този ключ. Иначе нищо.
• Препоръка: стартирайте vLLM или SGLang с --served-model-name <име>, за да е ID на модела четимо име.
• Ролята Admin в AIG или собствена роля с право да създава и редактира доставчици.

Настройка на локален доставчик

1. Изберете типа

Отворете Connect → Providers (Свързване → Доставчици) и натиснете Connect a provider (Свържи доставчик) или Add provider (добави доставчик). Изберете Ollama или OpenAI-compatible (OpenAI-съвместим).

2. Попълнете Base URL

За OpenAI-compatible полето Base URL (базов URL) е задължително: този тип няма адрес по подразбиране. За Ollama въведете /v1 URL адреса на своя хост.

3. Оставете ключа празен, ако сървърът няма такъв

Ако сървърът ви няма ключ, оставете полето празно. Тогава AIG не изпраща никаква заглавка Authorization.

4. Ограничете какво предлага доставчикът

В What this provider serves (какво предлага този доставчик) отметнете само това, което сървърът реално предлага, например само чат. Другите заявки се отказват, преди да напуснат AIG.

5. Модели и цени

Въведете имената на обслужваните модели в Allowed models (разрешени модели) на ключа. Добавете собствена цена, на токен или на заявка: вашите модели не са в нито една публична ценова листа.

6. Тествайте и активирайте

Натиснете Test connection (тест на връзката), след това Enable provider (активирай доставчика). Извикващите използват <име-на-доставчик>/<име-на-обслужвания-модел>.

Какво се случва след свързването

• Ollama: чат и embeddings.
• OpenAI-compatible: чат, embeddings, изображения, реч, транскрипция и rerank, доколкото ги отметнете.
• AIG е тестван с vLLM, SGLang, OpenAI frontend на Triton и Hugging Face runtime на KServe. Техните формати на грешки се превръщат в четими съобщения.
• Трафикът остава във вашата мрежа, а управлението и записите работят както обикновено.

Добре е да знаете

• Стрийм заявките се остойностяват на нула, освен ако извикващият не изпрати stream_options: {"include_usage": true}.
• Triton не отчита използваните токени, затова задайте цена на заявка за моделите в Triton. Embeddings от Triton през протокола KServe v2 не са достъпни.
• vLLM на CPU изисква --dtype float32.
• Собственият (не-/v1) API на Ollama не се поддържа. Винаги ползвайте /v1 URL адреса.
• Без лиценз AIG работи в безплатен режим: 5 виртуални ключа с по 5 заявки на ключ на ден.

Отстраняване на проблеми

• This provider type has no default endpoint — a base URL is required. Попълнете Base URL за типа OpenAI-compatible.
• No model to try. Sync the catalog first… Вашият модел не е в публичния каталог. Добавете го в Allowed models и създайте собствена цена.
• Грешките при валидация на KServe изглеждат например така: Field required: body.messages.
• Заявка се отказва веднага? Клиентът иска функция, която не сте отметнали. Съобщението посочва доставчик, който може да я обслужи.

Говорете с нас за AIG

Искате да поставите локалните и облачните модели под общи правила? Говорете с нас за AIG. Прочетете още за всички доставчици в един каталог и AIG на собствена инфраструктура.