Direccionamiento inteligente de peticiones de Amazon Bedrock

Puede ser un desafío para los desarrolladores entender qué consultas requieren modelos más avanzados o podrían funcionar con otros más pequeños, rápidos y económicos. Mediante técnicas avanzadas de comparación de peticiones y comprensión de modelos, el direccionamiento de peticiones inteligente predice el rendimiento de cada modelo para cada solicitud y dirige dinámicamente cada solicitud al modelo que predice que es más probable que dé la respuesta deseada al menor costo. Puede elegir entre dos direccionadores de petición en versión preliminar que direccionan las solicitudes entre Claude Sonnet 3.5 y Claude Haiku, o entre Llama 3.1 7B y Llama 3.1 80B.

Para lograr el rendimiento y el costo deseados para sus aplicaciones, con frecuencia debe desarrollar flujos de trabajo de orquestación complejos, dirigiendo cada solicitud al modelo que mejor se adapte a esa solicitud en función de su experiencia para lograr el rendimiento deseado en términos de precisión. Con el direccionamiento de peticiones inteligente, puede ahorrar meses de esfuerzo al probar diferentes modelos y crear flujos de trabajo de orquestación complejos.

Cada solicitud es totalmente rastreable, lo que le permite identificar qué modelo gestiona cada solicitud y también puede comprender y depurar fácilmente cualquier problema.

Durante la versión preliminar, a los clientes se les cobran precios regulares bajo demanda según los modelos a los que se dirigen las solicitudes. Consulte nuestra página de precios para ver los precios detallados de los diferentes proveedores de modelos.