Qu'est-ce que la diffusion en continu des données en temps réel ?
La diffusion en continu des données en temps réel implique la collecte et l'ingestion d'une séquence de données provenant de différentes sources de données et le traitement de ces données en temps réel pour en extraire du sens et des informations.
Les fichiers journaux générés par les clients à l'aide de vos applications mobiles ou Web, les achats électroniques, l'activité des joueurs, les informations provenant de réseaux sociaux, de salles de marché ou de services géospatiaux, et la télémétrie d'appareils ou d'instruments connectés dans des centres de données sont autant d'exemples de données transmises en continu.
La diffusion en continu des données en temps réel vous permet d'analyser et de traiter les données en temps réel au lieu d'attendre des heures, des jours ou des semaines pour obtenir des réponses.
Quels sont les composants de la diffusion en continu des données en temps réel ?
Source : jusqu'à des centaines ou des milliers d'appareils ou d'applications qui produisent des volumes importants de données continues à une vitesse élevée. Il s'agit par exemple d'appareils mobiles, d'applications Web (parcours de navigation), de journaux d'application, de capteurs IoT, d'appareils intelligents et d'applications de jeu.
Ingestion de flux : intégration simple à plus de 15 services AWS (Amazon API Gateway, AWS IoT Core, Amazon Cloudwatch, etc.) qui vous permet de capturer des données en continu produites par des milliers d'appareils de manière durable et sécurisée.
Stockage des flux : choisissez une solution qui répond à vos besoins de stockage en fonction des exigences de mise à l'échelle, de latence et de traitement, comme Amazon Kinesis Data Streams, Amazon Kinesis Data Firehose et Amazon Managed Streaming for Apache Kafka (Amazon MSK).
Traitement des flux : choisissez parmi une sélection de services allant de solutions qui nécessitent quelques clics pour transformer et diffuser des données en continu vers une destination telle qu'Amazon Kinesis Data Firehose, à de puissantes applications personnalisées et en temps réel, en passant par l'intégration de du machine learning à l'aide de services tels le service géré Amazon pour Apache Flink et AWS Lambda.
Destination : fournissez des données transmises en continu à une sélection de lacs de données, d'entrepôts de données et de services d'analyse entièrement intégrés pour des analyses plus approfondies ou un stockage à long terme, comme Amazon S3 , Amazon Redshift, Amazon OpenSearch Service et Amazon EMR.
Quels sont les cas d'utilisation de la diffusion en continu des données en temps réel ?
Mouvement des données en temps réel
Les données transmises en continu provenant de centaines de milliers d'appareils et l'exécution de transformations ETL sur de grands volumes de données continues et à haute vitesse en temps réel permettent aux utilisateurs d'analyser les données dès qu'elles sont produites, puis de les stocker durablement dans un lac de données, un entrepôt de données ou une base de données en vue d'une analyse ultérieure.
Découvrez comment John Deere effectue un ETL de streaming dans son lac de données en temps réel
Analyses en temps réel
Analysez les données dès qu'elles sont produites et prenez des décisions en temps réel dans l'ensemble de l'organisation afin de tirer parti des opportunités, d'améliorer l'expérience client, de prévenir les défaillances du réseau ou de mettre à jour les métriques commerciales critiques en temps réel.
Journaux : capturez, traitez et analysez les journaux de vos applications en temps réel.
En savoir plus sur comment analyser le comportement des utilisateurs en temps réel
Découvrez comment analyser et visualiser le trafic réseau de votre VPC
Découvrez comment gérer les journaux centralisés de Microsoft Exchange Server
En savoir plus sur l'analyse des journaux »
Mises à jour en temps réel : engagez-vous auprès des consommateurs, des joueurs, des traders financiers, etc. en fournissant des mises à jour en temps réel des métriques de décision critiques, des recommandations d'offres et des expériences client.
Découvrez comment utiliser les analyses de jeux en temps réel pour satisfaire vos joueurs
Découvrez comment diffuser des actualités personnalisées et tendances en temps réel
Parcours de navigation : bénéficiez d'une vue en temps réel des performances de votre contenu Web et de l'interaction des utilisateurs avec vos applications et sites Web, notamment le comportement des utilisateurs, le temps passé, le contenu populaire, etc.
IoT : connectez-vous à des centaines de milliers d'appareils IoT et collectez, traitez et analysez les données transmises en continu en temps réel.
Traitement des flux d'événements
Capturez les événements et réagissez-y dès qu'ils se produisent en temps réel dans plusieurs applications. Les cas d'utilisation les plus courants sont la communication entre des centaines de microservices découplés et la gestion d'un système d'enregistrement via la capture des données de changement.
Communication entre microservices découplés : lorsqu'un microservice est déclenché, un événement peut être envoyé à un flux de données en temps réel, et d'autres microservices peuvent « observer » le flux pour voir si un événement s'est produit et déclencher l'action requise.
Découvrez comment Lyft communique entre des centaines de microservices en temps réel
Capture des données de changement : toutes les modifications apportées aux données dans plusieurs applications et bases de données peuvent être diffusées en temps réel à un système d'enregistrement central.
Découvrez comment diffuser la capture des données de changement en temps réel
Quels sont les services de diffusion en continu disponibles sur AWS ?
AWS propose plusieurs options pour utiliser la diffusion en continu des données en temps réel.
- Amazon Kinesis Data Streams est un service de diffusion en continu des données en temps réel évolutif et durable, capable de capturer en continu plusieurs gigaoctets de données par seconde à partir de centaines de milliers de sources.
- Amazon Kinesis Data Firehose capture, transforme et charge des flux de données dans des magasins de données AWS pour des analyses en temps quasi réel avec des outils d'informatique décisionnelle existants, en quelques clics seulement.
- Le service géré Amazon pour Apache Flink transforme et analyse les données transmises en continu en temps réel avec Apache Flink, un cadre open source et un moteur de traitement des flux de données.
- Amazon Managed Streaming pour Apache est un service entièrement géré qui vous permet de créer et d'exécuter facilement des applications qui utilisent Apache Kafka pour traiter les données transmises en continu.
Commencez à diffuser en continu des données en temps réel sur AWS en créant un compte dès aujourd'hui.
Prochaines étapes sur AWS
