Amazon Bedrock 智慧型提示路由

對於開發人員來說，了解哪些查詢需要更高階的模型或可以使用較小、更快、更便宜的模型可能會是一項挑戰。使用進階提示比對和模型理解技術，智慧提示路由會預測每個模型對於每個請求的效能，並將每個請求動態路由至其預測最可能以最低成本提供所需回應的模型。您可以在預覽中的兩個提示路由器選擇，這些路由器會在 Claude Sonnet 3.5 和 Claude Haiku 之間，或在 Llama 3.1 7B 和 Llama 3.1 80B 之間路由請求。

為了達成應用程式所需的效能和成本，您必須經常開發複雜的協同運作工作流程，根據您的經驗將每個要求路由到最適合該要求的模型，以達到所需的精確性效能。透過智慧提示路由功能，您可以省下數月測試不同模型和建立複雜的協同運作工作流程的時間。

每個請求都是完全可追蹤的，使您能夠識別處理每個請求的模型，並幫助您輕鬆了解和偵錯任何問題。

在預覽版期間，會針對將請求路由至其中的模型以一般隨選定價向客戶收費。有關不同模型供應商的詳細定價，請參閱我們的定價頁面。