Adaptives Routing
Jede Anfrage an das richtige Modell senden
Schreiben Sie Routing-Regeln, die ein Operator lesen kann: einen Teil des Traffics an einen Canary senden, einen A/B-Test durchführen, den Anbieter mit der niedrigsten Latenz bevorzugen, Daten in einer Region halten oder basierend auf dem tatsächlichen Inhalt der Anfrage routen.
Enthalten
Warum es wichtig ist
Modelländerungen sicher mit Canaries und A/B-Tests ausrollen
Latenz niedrig und Traffic automatisch in der Region halten
Sofort failovern, sobald ein Anbieter degradiert
Was enthalten ist
Canary und A/B
Einen kontrollierten Prozentsatz des Traffics auf ein neues Modell verlagern und vor dem Commit vergleichen.
Latenz- und geobewusst
Den schnellsten gesunden Anbieter bevorzugen oder Traffic für die Datenresidenz an eine Region binden.
Semantisches Routing
Basierend auf dem Inhalt der Anfrage routen und verschiedene Themen an die am besten geeigneten Modelle senden.
Circuit-Breaker
Wenn ein Anbieter ausfällt, umgeht der Router ihn und durchläuft automatisch Ihre Fallbacks.
Bereit, es in Aktion zu sehen?
Sprechen Sie mit unserem Team und wir zeigen Ihnen, wie Xcellerate AIG in Ihren Stack passt.
Kostenlos starten