« Analytique

Amazon Data Firehose

Chargez de manière fiable des flux en temps réel dans des lacs de données, des entrepôts de données et des services analytiques

Capturez, transformez et chargez facilement des données de streaming. Créez un flux de diffusion, sélectionnez la destination et commencez à diffuser des données en temps réel en quelques clics.

Allouez et mettez à l'échelle automatiquement les ressources de calcul, de mémoire et de réseau sans administration permanente.

Transformez les données de streaming non traitées dans des formats tels que Apache Parquet et partitionnez dynamiquement les données de streaming sans besoin de créer vos propres pipelines de traitement.

Connectez-vous à plus de 30 services AWS entièrement intégrés et à des destinations de streaming telles que Amazon Simple Storage Service (S3) et Amazon Redshift.

Fonctionnement

Amazon Data Firehose constitue le moyen le plus simple d’acquérir, de transformer et de diffuser des flux de données en quelques secondes vers des lacs de données, des entrepôts de données et des services d’analytique. Pour utiliser Amazon Data Firehose, vous devez configurer un flux avec une source, une destination et les transformations requises. Amazon Data Firehose traite le flux en continu, le met à l’échelle automatiquement en fonction de la quantité de données disponibles et le diffuse en quelques secondes.

Source

Sélectionnez la source de votre flux de données, par exemple une rubrique dans Amazon Managed Streaming for Kafka (MSK), un flux dans Kinesis Data Streams, ou écrivez des données à l’aide de l’API Firehose Direct PUT. Amazon Data Firehose est intégré à plus de 20 services AWS. Vous pouvez donc configurer un flux à partir de sources telles qu’Amazon CloudWatch Logs, les journaux d’ACL Web AWS WAF, les journaux d’AWS Network Firewall, Amazon SNS ou AWS IoT.

Transformation des données (facultatif)

Indiquez si vous souhaitez convertir votre flux de données dans des formats tels que Parquet ou ORC, décompresser les données, effectuer des transformations de données personnalisées à l’aide de votre propre fonction AWS Lambda ou partitionner dynamiquement les enregistrements d’entrée en fonction d’attributs à diffuser à différents emplacements.

Destination

Sélectionnez une destination pour votre flux, telle qu’Amazon S3, Amazon OpenSearch Service, Amazon Redshift, Splunk, Snowflake ou un point de terminaison HTTP personnalisé.

Pour plus d’informations sur Amazon Data Firehose, consultez la documentation d’Amazon Data Firehose.

Schéma illustrant la façon de configurer les flux de livraison de données avec Amazon Firehose. Décrit dans le lien « Agrandir et lire la description de l'image. »

Cas d'utilisation

Diffuser dans des lacs et des entrepôts de données

Diffusez des données dans Amazon S3 et convertissez des données dans des formats requis à des fins d'analyse sans avoir à créer des pipelines de traitement.

Renforcer la sécurité

Contrôlez la sécurité du réseau en temps réel et créez des alertes lorsque surviennent des menaces potentielles à l'aide des outils pris en charge de gestion des informations et des événements de sécurité (SIEM).

Créer des applications de streaming ML

Enrichissez vos flux de données avec les modèles de machine learning (ML) pour analyser les données et prédire les points de terminaison d'inférence à mesure que les flux se dirigent vers leur destination.