Routage des invites intelligent Amazon Bedrock

Il peut être difficile pour les développeurs de comprendre quelles requêtes exigent des modèles plus avancés ou pourraient fonctionner avec des modèles plus petits, plus rapides et moins chers. À l’aide de techniques avancées de mise en relation des invites et de compréhension des modèles, le routage des invites intelligent prédit les performances de chaque modèle pour chaque demande et achemine dynamiquement chaque demande vers le modèle qui, selon ses prévisions, est le plus susceptible d’apporter la réponse souhaitée au moindre coût. Vous pouvez choisir parmi deux routeurs d’invites en version préliminaire, qui acheminent les requêtes soit entre Claude Sonnet 3.5 et Claude Haiku, soit entre Llama 3.1 7B et Llama 3.1 80B.

Pour atteindre les objectifs de performances et de coût pour vos applications, vous devez souvent développer des flux de travail d’orchestration complexes, en acheminant chaque demande vers le modèle le mieux adapté à cette demande en fonction de votre expérience afin d’obtenir les performances souhaitées en termes de précision. Grâce au routage des invites intelligent, vous pouvez économiser des mois d’efforts en matière de test de différents modèles et de création de flux de travail d’orchestration complexes.

Chaque demande est entièrement traçable, ce qui vous permet d’identifier le modèle qui gère chaque demande, de comprendre et de résoudre facilement les problèmes.

Pendant la version préliminaire, les clients paient des tarifs réguliers à la demande pour les modèles vers lesquels les demandes sont acheminées. Consultez notre page de tarification pour connaître les tarifs détaillés des différents fournisseurs de modèles.