Feature von Amazon Managed Workflows für Apache Airflow (MWAA)

Managed Workflows nutzen das gleiche Open-Source-Produkt Apache Airflow, das Sie kennen, nur einfacher gemacht. Sie können Managed Workflows über die AWS-Managementkonsole, die Befehlszeilenoberfläche (CLI), AWS CloudFormation oder AWS SDK bereitstellen - und dabei dieselbe Airflow-Benutzererfahrung nutzen, mit der Sie vertraut sind.

Mit Managed Workflows ist eine nahtlose Skalierung der Worker möglich, ohne dass eine Konfiguration erforderlich ist. Die Überwachung der Arbeitskräfte ist integriert - wenn die Arbeitskräfte überlastet sind, werden automatisch zusätzliche Arbeitskräfte bereitgestellt und dann außer Betrieb genommen, wenn sie nicht mehr benötigt werden.

Managed Workflows sichern Ihre Daten mit Amazons Virtual Private Cloud (VPC). Die Daten werden automatisch mit AWS Key Management Service (KMS) verschlüsselt, sodass Ihre Workflow-Umgebung standardmäßig sicher ist.

Managed Workflows sendet automatisch Apache Airflow-Systemmetriken und -Protokolle an Amazon Cloudwatch, was es Ihnen erleichtert, Verzögerungen bei der Aufgabenausführung und Workflow-Fehler in einer oder mehreren Umgebungen ohne Drittpartei-Tools anzuzeigen.

Managed Workflows beseitigen die betriebliche Belastung, die mit dem Betrieb von Open Source Apache Airflow auf der Skala einhergeht, so dass Sie die Betriebskosten und den technischen Overhead reduzieren können, während Sie eine Datenpipeline-Orchestrierung auf nahezu jeder Skala betreiben.

Managed Workflows stellen eine Verbindung zu den AWS-Ressourcen her, die für Ihre Workflows erforderlich sind, darunter Athena, Batch, Cloudwatch, DynamoDB, DataSync, EMR, ECS/Fargate, EKS, Firehose, Glue, Lambda, Redshift, SQS, SNS, Sagemaker und S3. Sie können Managed Workflows verwenden, um sich mit Ihren eigenen lokalen Ressourcen zu verbinden.