AWS Bedrock mit Xcellerate AIG verbinden

Wenn Sie AWS Bedrock mit Xcellerate AIG verbinden, stehen Modelle aus Ihrem eigenen AWS-Konto hinter demselben Gateway wie Ihre anderen Provider. AIG signiert jede Anfrage mit AWS Signature Version 4 und nutzt die Converse API von Bedrock, sodass jedes Bedrock-Modell dasselbe Format spricht. Ihre Anwendungen nutzen weiterhin die OpenAI-kompatible API von AIG mit einem virtuellen Schlüssel. Diese Anleitung richtet sich an Admins in MSPs, KMU und Dienstleistungsunternehmen.

Kurz gesagt

• Sie brauchen eine AWS-Region, eine Access Key ID und einen Secret Access Key.
• Chat (ohne Streaming) und Rerank funktionieren über Bedrock.
• Streaming über Bedrock ist noch nicht verfügbar: Leiten Sie streamende Clients per Fallback an einen anderen Provider.

Bevor Sie beginnen

• Zugriff auf die gewünschten Modelle, in Bedrock in der gewählten AWS-Region aktiviert.
• Ein IAM-Zugang: Access Key ID und Secret Access Key, dazu ein Session Token bei temporären Zugangsdaten. Er muss die Bedrock-Runtime (Converse) aufrufen dürfen und für Rerank die Rerank-Operation der Bedrock Agent Runtime. Stimmen Sie die genaue IAM-Richtlinie mit Ihrem AWS-Admin ab.
• Die AWS-Region, zum Beispiel eu-central-1.
• Ausgehendes HTTPS zu bedrock-runtime.<region>.amazonaws.com (und bedrock-agent-runtime.<region>.amazonaws.com für Rerank) oder ein VPC-Endpoint.
• Die Rolle Admin in AIG oder eine eigene Rolle mit dem Recht, Provider anzulegen und zu bearbeiten.

AWS Bedrock einrichten

1. Provider anlegen

Gehen Sie zu Connect → Providers (Verbinden → Provider) und klicken Sie auf Connect a provider (Provider verbinden) oder Add provider (Provider hinzufügen). Wählen Sie den Typ AWS Bedrock und vergeben Sie einen Namen, zum Beispiel „Bedrock Frankfurt“. Lassen Sie Base URL (Basis-URL) leer: Sie wird aus der Region abgeleitet. Nutzen Sie einen VPC-Endpoint, tragen Sie ihn hier ein.

2. AWS-Zugangsdaten am Schlüssel eintragen

Für diesen Typ ist kein normaler API-Schlüssel nötig. Füllen Sie am Schlüssel diese Felder aus; sie erscheinen in jeder Sprache mit ihrem technischen Namen:

• region
• access_key_id
• secret_access_key
• session_token

Die ersten drei sind Pflicht. session_token brauchen Sie nur bei temporären Zugangsdaten.

3. Testen und aktivieren

Klicken Sie auf Test connection (Verbindung testen) und danach auf Enable provider (Provider aktivieren).

4. Ein Modell aufrufen

Setzen Sie die Bedrock-Modell-ID hinter den Providernamen, zum Beispiel <provider-name>/anthropic.claude-3-5-sonnet-…-v1:0. Bedrock-Modell-IDs enthalten Punkte und Doppelpunkte. Fehlt die ID im Katalog, legen Sie unter Cost → Pricing (Kosten → Preise) eine Preisüberschreibung an.

5. Rerank

Für Rerank kann das Modell eine reine ID sein; AIG ergänzt sie zur ARN des Foundation Models in Ihrer Region. Eine vollständige ARN funktioniert ebenfalls.

Was nach dem Verbinden passiert

• Chat über Converse: Systemprompt, Temperature, Top-p, Max Tokens, Stoppsequenzen und Tool-Definitionen werden übersetzt. Tool-Aufrufe kommen im OpenAI-Format zurück. Aus dem Cache gelesene Eingabetokens werden für die Preisberechnung gemeldet.
• Rerank: liefert alle Dokumente sortiert zurück, außer der Aufrufer setzt top_n.
• Ihre Daten bleiben in der AWS-Region, die Sie wählen.

Gut zu wissen

• Streaming wird abgelehnt für Bedrock. Braucht ein Client Streaming, richten Sie einen Fallback zu einem anderen Provider ein.
• Über Bedrock sind nur Chat und Rerank verfügbar, keine Embeddings, Bilder oder Audio.
• Der Provider arbeitet mit Access Key ID und Secret Access Key am Schlüssel.
• Zugangsdaten sind nur schreibbar und werden nie wieder angezeigt. Das Secret erscheint nie in Fehlermeldungen.
• Ohne Lizenz läuft AIG im kostenlosen Modus: 5 virtuelle Schlüssel mit je 5 Anfragen pro Tag.

Fehlerbehebung

• Bedrock provider '<name>' has no region configured on its key. Tragen Sie region am Schlüssel ein.
• Ein Zugangsdatenfehler kann von einer Signatur für den falschen Dienst oder Host kommen. Prüfen Sie zuerst Region und Base URL, bevor Sie Schlüssel austauschen.
• <model> did not answer (<ms> ms): <message> beim Test. Prüfen Sie, ob der Modellzugriff in dieser Region aktiviert ist und die Modell-ID stimmt.
• Streaming is not available through AWS Bedrock on this gateway yet. Retry without "stream": true, or address a fallback that supports it. Der Client hat Streaming angefordert. Versuchen Sie es ohne Streaming oder nutzen Sie einen Fallback.

Sprechen Sie mit uns über AIG

Sie möchten wissen, wie AIG Bedrock und Ihre anderen Provider unter gemeinsame Regeln stellt? Sprechen Sie mit uns über AIG. Mehr dazu: alle Anbieter in einem Katalog und virtuelle Schlüssel.