Połączenie AWS Bedrock z Xcellerate AIG

Po połączeniu AWS Bedrock z Xcellerate AIG modele z Twojego własnego konta AWS działają za tą samą bramką co pozostali providerzy. AIG podpisuje każde zapytanie za pomocą AWS Signature Version 4 i korzysta z Converse API Bedrocka, dzięki czemu każdy model w Bedrock mówi tym samym formatem. Aplikacje nadal używają zgodnego z OpenAI API AIG z kluczem wirtualnym. Ten poradnik jest dla administratorów w MSP, małych firmach i firmach usługowych.

W skrócie

• Potrzebujesz regionu AWS, access key ID i secret access key.
• Czat (bez strumieniowania) i rerank działają przez Bedrock.
• Strumieniowanie przez Bedrock nie jest jeszcze dostępne: kieruj klientów strumieniujących do innego providera przez trasę zapasową.

Zanim zaczniesz

• Dostęp do wybranych modeli, włączony w Bedrock w wybranym regionie AWS.
• Dane IAM: Access key ID i Secret access key, a do tego session token, jeśli używasz danych tymczasowych. Muszą mieć prawo do wywołania Bedrock runtime (Converse), a dla rerank także operacji Rerank w Bedrock agent runtime. Dokładną politykę IAM uzgodnij z administratorem AWS.
• Region AWS, np. eu-central-1.
• Wychodzący ruch HTTPS do bedrock-runtime.<region>.amazonaws.com (oraz bedrock-agent-runtime.<region>.amazonaws.com dla rerank) lub endpoint VPC.
• Rola Admin w AIG lub własna rola z uprawnieniem do tworzenia i edycji providerów.

Konfiguracja AWS Bedrock

1. Utwórz providera

Przejdź do Connect → Providers (Połącz → Providerzy) i kliknij Connect a provider (połącz providera) lub Add provider (dodaj providera). Wybierz typ AWS Bedrock i nadaj nazwę, np. „Bedrock Frankfurt”. Zostaw Base URL (bazowy URL) puste: zostanie wyznaczony na podstawie regionu. Jeśli używasz endpointu VPC, wpisz go tutaj.

2. Wpisz dane AWS na kluczu

Ten typ nie wymaga zwykłego klucza API. Wypełnij na kluczu te pola; są wyświetlane pod nazwami technicznymi we wszystkich językach:

• region
• access_key_id
• secret_access_key
• session_token

Pierwsze trzy są wymagane. session_token wypełniasz tylko przy danych tymczasowych.

3. Przetestuj i włącz

Kliknij Test connection (testuj połączenie), a potem Enable provider (włącz providera).

4. Wywołaj model

Podaj ID modelu Bedrock po nazwie providera, np. <provider-name>/anthropic.claude-3-5-sonnet-…-v1:0. ID modeli Bedrock zawierają kropki i dwukropki. Jeśli ID nie ma w katalogu, dodaj własną cenę w Cost → Pricing (Koszty → Ceny).

5. Rerank

Dla rerank model może być samym ID; AIG rozwija je do ARN foundation model w Twoim regionie. Pełny ARN też działa.

Co dzieje się po połączeniu

• Czat przez Converse: prompt systemowy, temperature, top-p, max tokens, sekwencje stop i definicje narzędzi są tłumaczone. Wywołania narzędzi wracają w formacie OpenAI. Tokeny wejściowe odczytane z cache są raportowane do wyceny.
• Rerank: zwraca wszystkie dokumenty w kolejności, chyba że wywołujący poda top_n.
• Twoje dane pozostają w wybranym regionie AWS.

Dobrze wiedzieć

• Strumieniowanie jest odrzucane dla Bedrock. Jeśli klient potrzebuje strumieniowania, ustaw trasę zapasową do innego providera.
• Przez Bedrock dostępne są tylko czat i rerank, bez embeddings, obrazów i audio.
• Provider działa z access key ID i secret access key na kluczu.
• Dane dostępowe są tylko do zapisu i nie są już nigdy pokazywane. Sekret nigdy nie pojawia się w komunikatach o błędach.
• Bez licencji AIG działa w trybie darmowym: 5 kluczy wirtualnych, po 5 zapytań na klucz dziennie.

Rozwiązywanie problemów

• Bedrock provider '<name>' has no region configured on its key. Uzupełnij region na kluczu.
• Błąd danych dostępowych może wynikać z podpisu dla niewłaściwej usługi lub hosta. Najpierw sprawdź region i Base URL, zanim wymienisz klucze.
• <model> did not answer (<ms> ms): <message> podczas testu. Sprawdź, czy dostęp do modelu jest włączony w tym regionie i czy ID jest poprawne.
• Streaming is not available through AWS Bedrock on this gateway yet. Retry without "stream": true, or address a fallback that supports it. Klient zażądał strumieniowania. Spróbuj bez niego albo użyj trasy zapasowej.

Porozmawiaj z nami o AIG

Chcesz wiedzieć, jak AIG obejmuje Bedrock i innych providerów wspólnymi zasadami? Porozmawiaj z nami o AIG. Więcej o wszystkich dostawcach w jednym katalogu i kluczach wirtualnych.