Model Distillation d’Amazon Bedrock
Présentation
Avec la Model Distillation d’Amazon Bedrock, vous pouvez utiliser des modèles plus petits, plus rapides et plus économiques qui offrent une précision spécifique à chaque cas d’utilisation comparable aux modèles les plus avancés d’Amazon Bedrock. Les modèles distillés dans Amazon Bedrock sont 500 % plus rapides et 75 % moins chers que les modèles originaux, avec une perte de précision inférieure à 2 % pour des cas d’utilisation tels que RAG.
Utilisez des modèles plus petits et plus économiques
Avec Model Distillation, les clients peuvent sélectionner un modèle « enseignant » dont ils souhaitent obtenir la précision pour leur cas d’utilisation, puis sélectionner un modèle « étudiant » qu’ils souhaitent optimiser. Les clients fournissent également des invites pour leur cas d’utilisation. Model Distillation automatise le processus de génération des réponses de l’enseignant et utilise ces réponses pour optimiser le modèle de l’élève. Les modèles d’étudiants peuvent alors se comporter comme des modèles d’enseignants avec une précision similaire à des coûts réduits.
Optimisez les performances des modèles distillés grâce à une synthèse de données exclusive
La mise au point d’un modèle plus petit et rentable pour obtenir une précision similaire à celle d’un modèle plus grand pour votre cas d’utilisation spécifique est un processus itératif. Pour éliminer la charge d’itération nécessaire à l’obtention de meilleurs résultats, Model Distillation peut utiliser différentes méthodes de synthèse des données qui conviennent le mieux à votre cas d’utilisation. Par exemple, Bedrock peut étendre le jeu de données d’entraînement en générant des invites similaires ou générer des réponses synthétiques de haute qualité en utilisant les paires de réponses promptes fournies par le client comme exemples en or.
Réduisez les coûts en transférant facilement vos données de production
Dans le cadre des réglages traditionnels, les clients sont tenus de créer des invites et des réponses. Avec la distillation de modèles, les clients n’ont qu’à fournir des invites, que cette dernière utilise ensuite pour générer des réponses synthétiques et affiner les modèles des étudiants. Les clients peuvent nous diriger vers leurs journaux de consultation et également filtrer les journaux sur la base de certains champs de métadonnées. La distillation des modèles peut lire à la fois les invites et les réponses via les journaux d’invocations et ignorer la génération de réponses synthétiques dans le flux de travail de distillation des modèles, ce qui réduit les coûts en évitant de générer à nouveau des réponses à partir du modèle de l’enseignant. Commencez avec des exemples de code.
