Roteamento de prompts inteligente do Amazon Bedrock
Visão geral
O Roteamento de Prompts Inteligente da Amazon Bedrock direciona prompts para diferentes modelos fundamentais dentro de uma família de modelos, ajudando você a otimizar a qualidade das respostas e o custo. O Roteamento de Prompts Inteligente pode reduzir os custos em até 30% sem comprometer a precisão.
Maximize o desempenho com custos mais baixos
Pode ser um desafio para os desenvolvedores entender quais consultas exigem modelos mais avançados ou podem funcionar com consultas menores, mais rápidas e mais baratas. Com o uso de técnicas avançadas de correspondência de prompts e compreensão do modelo, o Roteamento de Prompts Inteligente prevê o desempenho de cada modelo para cada solicitação e encaminha dinamicamente cada solicitação para o modelo que, segundo ele, tem maior probabilidade de fornecer a resposta desejada com o menor custo. Você pode escolher entre dois roteadores de aviso na versão prévia que roteiam solicitações entre o Claude Sonnet 3.5 e o Claude Haiku, ou entre o Llama 3.1 7B e o Llama 3.1 80B.
Reduza seu esforço de desenvolvimento
Para alcançar o desempenho e o custo desejados para seus aplicativos, muitas vezes é necessário desenvolver fluxos de trabalho de orquestração complexos, encaminhando cada solicitação para o modelo mais adequado para essa solicitação com base em sua experiência para obter o desempenho desejado em termos de precisão. Com o Roteamento de Prompts Inteligente, é possível economizar meses de esforço testando diferentes modelos e criando fluxos de trabalho de orquestração complexos.
Depure facilmente com solicitações totalmente rastreáveis
Cada solicitação é totalmente rastreável, permitindo que você identifique qual modelo lida com cada solicitação e permitindo que você entenda e depure facilmente quaisquer problemas.
Notas de preços
Durante a versão prévia, os clientes pagam preços regulares sob demanda dos modelos para os quais as solicitações são encaminhadas. Consulte nossa página de preços para obter preços detalhados para diferentes fornecedores de modelos.
