Підключення AWS Bedrock до Xcellerate AIG

Підключивши AWS Bedrock до Xcellerate AIG, ви розміщуєте моделі з власного облікового запису AWS за тим самим шлюзом, що й інших провайдерів. AIG підписує кожен запит за допомогою AWS Signature Version 4 і використовує Converse API від Bedrock, тож кожна модель у Bedrock працює в одному форматі. Застосунки й далі використовують OpenAI-сумісний API AIG з віртуальним ключем. Цей посібник для адміністраторів MSP, малого бізнесу та сервісних компаній.

Коротко

• Потрібні регіон AWS, access key ID і secret access key.
• Чат (без потокової передачі) і rerank працюють через Bedrock.
• Потокова передача через Bedrock поки недоступна: спрямовуйте потокових клієнтів до іншого провайдера через резервний маршрут.

Перш ніж почати

• Доступ до потрібних моделей, увімкнений у Bedrock в обраному регіоні AWS.
• Облікові дані IAM: Access key ID і Secret access key, а також session token, якщо ви використовуєте тимчасові дані. Вони мають дозволяти виклик Bedrock runtime (Converse), а для rerank ще й операцію Rerank у Bedrock agent runtime. Узгодьте точну політику IAM зі своїм адміністратором AWS.
• Регіон AWS, наприклад eu-central-1.
• Вихідний HTTPS-трафік до bedrock-runtime.<region>.amazonaws.com (і bedrock-agent-runtime.<region>.amazonaws.com для rerank) або VPC endpoint.
• Роль Admin в AIG або власна роль із правом створювати та редагувати провайдерів.

Налаштування AWS Bedrock

1. Створіть провайдера

Відкрийте Connect → Providers (Підключення → Провайдери) і натисніть Connect a provider (Підключити провайдера) або Add provider (додати провайдера). Оберіть тип AWS Bedrock і задайте назву, наприклад «Bedrock Франкфурт». Залиште Base URL (базова URL-адреса) порожнім: її буде визначено за регіоном. Якщо використовуєте VPC endpoint, введіть його тут.

2. Введіть дані AWS на ключі

Для цього типу звичайний API-ключ не потрібен. Заповніть на ключі ці поля; вони відображаються з технічними назвами всіма мовами:

• region
• access_key_id
• secret_access_key
• session_token

Перші три обов'язкові. session_token заповнюйте лише для тимчасових даних.

3. Перевірте й увімкніть

Натисніть Test connection (перевірити з'єднання), а потім Enable provider (увімкнути провайдера).

4. Викличте модель

Вкажіть ID моделі Bedrock після назви провайдера, наприклад <provider-name>/anthropic.claude-3-5-sonnet-…-v1:0. ID моделей Bedrock містять крапки й двокрапки. Якщо ID немає в каталозі, додайте власну ціну в Cost → Pricing (Витрати → Ціни).

5. Rerank

Для rerank модель може бути коротким ID; AIG доповнює його до ARN foundation model у вашому регіоні. Повний ARN теж працює.

Що відбувається після підключення

• Чат через Converse: системний промпт, temperature, top-p, max tokens, стоп-послідовності й визначення інструментів перекладаються. Виклики інструментів повертаються у форматі OpenAI. Вхідні токени, прочитані з кешу, враховуються в ціні.
• Rerank: повертає всі документи впорядкованими, якщо клієнт не вказав top_n.
• Ваші дані залишаються в обраному вами регіоні AWS.

Корисно знати

• Потокову передачу відхилено для Bedrock. Якщо клієнту потрібен потік, налаштуйте резервний маршрут до іншого провайдера.
• Через Bedrock доступні лише чат і rerank, без embeddings, зображень чи аудіо.
• Провайдер працює з access key ID і secret access key на ключі.
• Облікові дані доступні лише для запису й більше не показуються. Секрет ніколи не з'являється в повідомленнях про помилки.
• Без ліцензії AIG працює в безкоштовному режимі: 5 віртуальних ключів, по 5 запитів на ключ на день.

Усунення проблем

• Bedrock provider '<name>' has no region configured on its key. Заповніть region на ключі.
• Помилка облікових даних може виникати через підпис для неправильного сервісу чи хоста. Спершу перевірте регіон і Base URL, а вже потім міняйте ключі.
• <model> did not answer (<ms> ms): <message> під час перевірки. Переконайтеся, що доступ до моделі в цьому регіоні увімкнено і ID правильний.
• Streaming is not available through AWS Bedrock on this gateway yet. Retry without "stream": true, or address a fallback that supports it. Клієнт запросив потокову передачу. Спробуйте без неї або використайте резервний маршрут.

Поговоріть з нами про AIG

Хочете дізнатися, як AIG об'єднує Bedrock та інших провайдерів під спільними правилами? Поговоріть з нами про AIG. Докладніше про усіх постачальників в одному каталозі та віртуальні ключі.