Apache Spark für Amazon EMR

EMR bietet eine Amazon EMR-Laufzeit für Apache Spark, eine leistungsoptimierte Laufzeitumgebung für Apache Spark, die standardmäßig in Amazon EMR-Clustern aktiv ist. Die Amazon EMR-Laufzeit für Apache Spark kann mehr als dreimal schneller sein als Cluster ohne EMR-Laufzeit und ist zu 100 % API-kompatibel mit Standard-Apache Spark. Diese verbesserte Leistung bedeutet, dass Ihre Workloads schneller ablaufen und Sie Kosten sparen, ohne Änderungen an Ihren Anwendungen vornehmen zu müssen.

Durch die Verwendung einer DAG-Ausführungs-Engine (gerichteter, azyklischer Graph) können mit Spark effiziente Abfragepläne für Datentransformationen erstellt werden. Spark speichert außerdem Eingabe-, Ausgabe- und Zwischendaten im Arbeitsspeicher robuste Daten-Frames, wodurch eine schnelle Verarbeitung ohne E/A-Kosten möglich wird, durch die die Performance iterativer oder interaktiver Workloads gesteigert werden kann.

Apache Spark unterstützt nativ Java, Scala SQL und Python, sodass Ihnen eine Reihe von Sprachen zur Verfügung stehen, um Ihre Anwendungen zu erstellen. Außerdem können Sie mit dem Spark-SQL-Modul SQL- oder HiveQL-Abfragen senden. Zusätzlich zum Ausführen von Anwendungen können Sie die Spark-API interaktiv mit Python oder Scala direkt in der Spark-Shell, über EMR Studio oder über Jupyter Notebooks in Ihrem Cluster verwenden. Die Unterstützung für Apache Hadoop 3.0 in EMR 6.0 ermöglicht Docker-Container-Unterstützung, um die Verwaltung von Abhängigkeiten zu vereinfachen. Des Weiteren können Sie Cluster-unabhängige EMR-Notebooks (basierend auf Jupyter) oder Zeppelin zum Erstellen interaktiver und kollaborativer Notebooks für die Datenexploration und -visualisierung verwenden. Sie können Ihre Workloads in der EMR-Konsole einstellen und debuggen. Die EMR-Konsole verfügt über einen nicht geclusterten, persistenten Spark History Server.

Apache Spark umfasst mehrere Bibliotheken, die Sie beim Erstellen von Anwendungen für Machine Learning (MLlib), Stream-Verarbeitung (Spark Streaming) und Graph-Verarbeitung (GraphX) unterstützen. Diese Bibliotheken sind umfassend in das Spark-System integriert und können sofort für eine Vielzahl von Anwendungsfällen genutzt werden. Zudem können Sie Deep-Learning-Frameworks wie Apache MXNet mit Ihren Sparks-Anwendungen verwenden. Die Integration mit den AWS Step Functions ermöglicht es Ihnen, Ihren Anwendungen eine Serverless-Workflow-Automatisierung und Orchestrierung hinzuzufügen.

Übermitteln Sie Apache-Spark-Aufträge mit der EMR-Step-API, verwenden Sie Spark mit EMRFS, um direkt auf Daten in S3 zuzugreifen, sparen Sie Kosten durch die Verwendung von EC2-Spot-Kapazität, fügen Sie mit vollständig verwaltetem EMR Managed Scaling dynamisch Kapazität hinzu und entfernen Sie sie wieder, und nutzen Sie je nach Workload lang- oder kurzlebige Cluster. Die Spark-Verschlüsselung und Kerberos-Authentifizierung können Sie außerdem problemlos mithilfe einer EMR-Sicherheitskonfiguration konfigurieren. Zusätzlich können Sie den AWS-Glue-Datenkatalog verwenden, um Spark-SQL-Tabellenmetadaten zu speichern, oder Sie können Amazon SageMaker mit Ihren Spark-Machine-Learning-Pipelines verwenden. EMR installiert und verwaltet Spark für Hadoop YARN; und Sie können zusätzlich andere Big-Data-Anwendungen zu Ihrem Cluster hinzufügen. EMR mit Apache Hudi ermöglicht Ihnen eine effizientere Verwaltung der Änderungsdatenerfassung (Change Data Capture, CDC) und hilft bei Datenschutzbestimmungen wie DSGVO und CCPA, indem es das Löschen von Datensätzen vereinfacht. Klicken Sie hier, um weitere Informationen zu den Funktionen von EMR zu erhalten.

Verwenden und verarbeiten Sie Echtzeitdaten von Amazon Kinesis, Apache Kafka oder anderen Daten-Streams mit Spark Streaming für Amazon EMR. Führen Sie fehlertolerante Streaming-Analysen durch und schreiben Sie die Ergebnisse in S3 oder HDFS im Cluster.

Apache Spark für EMR umfasst MLlib für zahlreiche skalierbare Algorithmen für Machine Learning. Alternativ können Sie Ihre eigenen Bibliotheken verwenden. Spark bietet durch die Speicherung von Datensätzen im Arbeitsspeicher während eines Jobs eine hohe Performance bei iterativen Abfragen, die bei Workloads für maschinelles Lernen häufig vorkommen. Sie können die Funktionen von Amazon SageMaker erweitern, indem Sie die Notebook-Instance an einen Apache Spark-Cluster anschließen, der auf Amazon EMR ausgeführt wird, wobei Amazon SageMaker für einfaches Training und Hosten von Modellen sorgt.

Verwenden Sie Spark SQL für interaktive Abfragen mit niedriger Latenz mit SQL oder HiveQL. Spark für EMR kann EMRFS nutzen, sodass Sie Ad-hoc-Zugriff auf Ihre Datensätze in S3 erhalten. Außerdem können Sie EMR Studio, EMR-Notebooks, Zeppelin-Notebooks oder BI-Tools über ODBC- und JDBC-Verbindungen nutzen.