Свързване на AWS Bedrock с Xcellerate AIG

Като свържете AWS Bedrock с Xcellerate AIG, поставяте модели от собствения си AWS акаунт зад същия шлюз като другите си доставчици. AIG подписва всяка заявка с AWS Signature Version 4 и използва Converse API на Bedrock, така че всеки модел в Bedrock говори един и същ формат. Приложенията ви продължават да ползват OpenAI-съвместимия API на AIG с виртуален ключ. Ръководството е за администратори в MSP, малки фирми и компании за услуги.

Накратко

• Нужни са ви AWS регион, access key ID и secret access key.
• Чат (без стрийминг) и rerank работят през Bedrock.
• Стриймингът през Bedrock още не е наличен: пренасочете стрийминг клиентите към друг доставчик чрез резервен маршрут.

Преди да започнете

• Достъп до нужните модели, активиран в Bedrock в избрания AWS регион.
• IAM данни за достъп: Access key ID и Secret access key, плюс session token, ако ползвате временни данни. Те трябва да имат право да извикват Bedrock runtime (Converse), а за rerank и операцията Rerank на Bedrock agent runtime. Уточнете точната IAM политика с вашия AWS администратор.
• AWS регионът, например eu-central-1.
• Изходящ HTTPS трафик към bedrock-runtime.<region>.amazonaws.com (и bedrock-agent-runtime.<region>.amazonaws.com за rerank) или VPC endpoint.
• Ролята Admin в AIG или собствена роля с право да създава и редактира доставчици.

Настройка на AWS Bedrock

1. Създайте доставчика

Отворете Connect → Providers (Свързване → Доставчици) и натиснете Connect a provider (Свържи доставчик) или Add provider (добави доставчик). Изберете типа AWS Bedrock и дайте име, например „Bedrock Франкфурт“. Оставете Base URL (базов URL) празно: той се извежда от региона. Ако ползвате VPC endpoint, въведете го тук.

2. Въведете AWS данните на ключа

Този тип не изисква обикновен API ключ. Попълнете тези полета на ключа; те се показват с техническите си имена на всички езици:

• region
• access_key_id
• secret_access_key
• session_token

Първите три са задължителни. session_token попълвате само при временни данни за достъп.

3. Тествайте и активирайте

Натиснете Test connection (тест на връзката), след това Enable provider (активирай доставчика).

4. Извикайте модел

Поставете ID на модела в Bedrock след името на доставчика, например <provider-name>/anthropic.claude-3-5-sonnet-…-v1:0. ID-тата на Bedrock съдържат точки и двоеточия. Ако ID-то липсва в каталога, добавете собствена цена в Cost → Pricing (Разходи → Цени).

5. Rerank

За rerank моделът може да е кратко ID; AIG го допълва до ARN на foundation model във вашия регион. Пълен ARN също работи.

Какво се случва след свързването

• Чат през Converse: системният промпт, temperature, top-p, max tokens, стоп последователностите и дефинициите на инструменти се превеждат. Извикванията на инструменти се връщат във формат на OpenAI. Входните токени, прочетени от кеша, се отчитат за ценообразуването.
• Rerank: връща всички документи подредени, освен ако извикващият не зададе top_n.
• Данните ви остават в избрания от вас AWS регион.

Добре е да знаете

• Стриймингът се отказва за Bedrock. Ако клиент има нужда от стрийминг, настройте резервен маршрут към друг доставчик.
• През Bedrock са налични само чат и rerank, без embeddings, изображения или аудио.
• Доставчикът работи с access key ID и secret access key на ключа.
• Данните за достъп са само за запис и не се показват повече. Тайният ключ никога не се появява в съобщенията за грешки.
• Без лиценз AIG работи в безплатен режим: 5 виртуални ключа с по 5 заявки на ключ на ден.

Отстраняване на проблеми

• Bedrock provider '<name>' has no region configured on its key. Попълнете region на ключа.
• Грешка в данните за достъп може да идва от подпис за грешна услуга или хост. Първо проверете региона и Base URL, преди да сменяте ключове.
• <model> did not answer (<ms> ms): <message> при теста. Проверете дали достъпът до модела е активиран в този регион и дали ID-то е вярно.
• Streaming is not available through AWS Bedrock on this gateway yet. Retry without "stream": true, or address a fallback that supports it. Клиентът е поискал стрийминг. Опитайте без стрийминг или използвайте резервен маршрут.

Говорете с нас за AIG

Искате да разберете как AIG поставя Bedrock и другите ви доставчици под общи правила? Говорете с нас за AIG. Прочетете още за всички доставчици в един каталог и виртуалните ключове.