AWS Bedrock koppelen aan Xcellerate AIG

Door AWS Bedrock aan Xcellerate AIG te koppelen, zet je modellen uit je eigen AWS-account achter dezelfde gateway als je andere providers. AIG ondertekent elke aanvraag met AWS Signature Version 4 en gebruikt de Converse API van Bedrock, zodat elk Bedrock-model hetzelfde formaat spreekt. Je applicaties blijven de OpenAI-compatibele API van AIG gebruiken met een virtuele sleutel. Deze gids is voor beheerders van MSP's, kmo's en dienstverleners.

Kort samengevat

• Je hebt een AWS-regio, een access key ID en een secret access key nodig.
• Chat (zonder streaming) en rerank werken via Bedrock.
• Streaming via Bedrock is nog niet beschikbaar: stuur streamende clients via een fallback naar een andere provider.

Voor je begint

• Toegang tot de gewenste modellen, ingeschakeld in Bedrock in de gekozen AWS-regio.
• Een IAM-sleutelpaar: Access key ID en Secret access key, plus een session token als je tijdelijke credentials gebruikt. De sleutel moet de Bedrock-runtime (Converse) mogen aanroepen, en voor rerank ook de Rerank-bewerking van de Bedrock agent runtime. Stem het exacte IAM-beleid af met je AWS-beheerder.
• De AWS-regio, bijvoorbeeld eu-central-1.
• Uitgaand HTTPS-verkeer naar bedrock-runtime.<region>.amazonaws.com (en bedrock-agent-runtime.<region>.amazonaws.com voor rerank), of een VPC-endpoint.
• De rol Admin in AIG, of een eigen rol met het recht om providers aan te maken en te bewerken.

AWS Bedrock instellen

1. Maak de provider aan

Ga naar Verbinden → Providers en klik op Een provider verbinden (of Provider toevoegen). Kies het type AWS Bedrock en geef een naam, bijvoorbeeld "Bedrock Frankfurt". Laat Basis-URL leeg: die wordt afgeleid van de regio. Gebruik je een VPC-endpoint, vul dat dan hier in.

2. Vul de AWS-gegevens in op de sleutel

Voor dit type is geen gewone API-sleutel nodig. Vul op de sleutel deze velden in; ze staan in elke taal met hun technische naam op het scherm:

• region
• access_key_id
• secret_access_key
• session_token

De eerste drie zijn verplicht. session_token vul je alleen in bij tijdelijke credentials.

3. Test en schakel in

Klik op Verbinding testen en daarna op Enable provider (provider inschakelen).

4. Roep een model aan

Gebruik de model-ID van Bedrock achter de providernaam, bijvoorbeeld <provider-name>/anthropic.claude-3-5-sonnet-…-v1:0. Model-ID's van Bedrock bevatten punten en dubbele punten. Staat de ID niet in de catalogus, voeg dan een prijsoverschrijving toe onder Cost → Pricing (kosten → prijzen).

5. Rerank

Voor rerank mag het model een kale ID zijn; AIG maakt er de ARN van het foundation model in jouw regio van. Een volledige ARN werkt ook.

Wat er gebeurt na het koppelen

• Chat via Converse: systeemprompt, temperature, top-p, max tokens, stopsequenties en tooldefinities worden vertaald. Toolaanroepen komen terug in OpenAI-vorm. Gecachete invoertokens worden gerapporteerd voor de prijsberekening.
• Rerank: geeft alle documenten gerangschikt terug, tenzij de aanroeper top_n meegeeft.
• Je gegevens blijven in de AWS-regio die je kiest.

Goed om te weten

• Streaming wordt geweigerd voor Bedrock. Wil een client streamen, stel dan een fallback naar een andere provider in.
• Via Bedrock zijn alleen chat en rerank beschikbaar, geen embeddings, afbeeldingen of audio.
• De provider werkt met een access key ID en secret access key op de sleutel.
• Credentials zijn alleen-schrijven en worden nooit meer getoond. Het secret verschijnt nooit in foutmeldingen.
• Zonder licentie draait AIG in de gratis modus: 5 virtuele sleutels met elk 5 aanvragen per dag.

Problemen oplossen

• Bedrock provider '<name>' has no region configured on its key. Vul region in op de sleutel.
• Een credentialfout kan komen door een handtekening voor de verkeerde service of host. Controleer eerst de regio en de Basis-URL, voor je sleutels vervangt.
• <model> did not answer (<ms> ms): <message> bij het testen. Controleer of de modeltoegang in die regio aan staat en of de model-ID klopt.
• Streaming is not available through AWS Bedrock on this gateway yet. Retry without "stream": true, or address a fallback that supports it. De client vroeg om streaming. Probeer zonder streaming, of gebruik een fallback.

Praat met ons over AIG

Wil je weten hoe AIG Bedrock en je andere providers onder één beheer brengt? Praat met ons over AIG. Lees ook meer over alle providers in één catalogus en virtuele sleutels.