Amazon S3 Tables

Amazon S3 Tables는 Apache Iceberg 지원이 기본 제공되는 최초의 클라우드 객체 저장소를 제공하며 대규모 테이블 형식 데이터를 간단하게 저장할 수 있습니다. 지속적인 테이블 최적화는 백그라운드에서 테이블 데이터를 자동으로 스캔하고 재작성하여 관리되지 않는 Iceberg 테이블에 비해 최대 3배 빠른 쿼리 성능을 달성합니다. 이러한 성능 최적화는 시간이 지남에 따라 계속 개선될 것입니다. 또한, S3 테이블에는 범용 S3 버킷에 저장된 Iceberg 테이블에 비해 초당 최대 10배 더 높은 트랜잭션을 제공하는 Iceberg 워크로드에 특화된 최적화 기능이 포함되어 있습니다. S3 테이블의 쿼리 성능 개선에 대한 자세한 내용은 블로그를 참조하세요.

S3 Tables는 Apache Iceberg 표준을 지원하므로, Amazon Athena, Redshift, EMR, Apache Spark와 같은 인기 있는 AWS 및 서드 파티 쿼리 엔진으로 테이블 형식 데이터를 손쉽게 쿼리할 수 있습니다. S3 Tables를 사용하여 일일 구매 트랜잭션, 스트리밍 센서 데이터 또는 광고 노출과 같은 테이블 형식 데이터를 S3에 Iceberg 테이블로 저장하고, 자동 테이블 유지 관리를 사용하여 데이터 진화에 따라 성능 및 비용을 최적화할 수 있습니다. 자세한 내용은 블로그를 참조하세요.

S3 Tables는 정형 데이터를 Apache Parquet 형식으로 저장하기 위한 목적별 S3 스토리지를 제공합니다. 테이블 버킷 내에서 S3에 직접 최고 수준의 리소스로 테이블을 생성할 수 있습니다. 이러한 테이블은 ID 또는 리소스 기반 정책에 정의된 테이블 수준 권한으로 보호할 수 있으며, Apache Iceberg 표준을 지원하는 애플리케이션 또는 도구에서 액세스할 수 있습니다. 테이블 버킷에 테이블을 생성하면 S3의 기본 데이터가 Parquet 데이터로 저장됩니다. 그런 다음 S3는 Parquet 데이터를 애플리케이션에서 쿼리 가능하게 만드는 데 필요한 메타데이터를 유지 관리합니다. 테이블 버킷에는 쿼리 엔진이 테이블 버킷에 있는 테이블의 Iceberg 메타데이터를 탐색하고 업데이트하는 데 사용하는 클라이언트 라이브러리가 포함되어 있습니다. 이 라이브러리를 테이블 작업을 위한 업데이트된 S3 API와 함께 사용하면 여러 클라이언트가 테이블에서 데이터를 안전하게 읽고 쓸 수 있습니다. 시간이 지남에 따라 S3는 객체를 다시 쓰거나 ‘압축’하여 기본 Parquet 데이터를 자동으로 최적화합니다. 압축은 S3의 데이터를 최적화하여 쿼리 성능을 개선하고 비용을 최소화합니다. 자세한 내용은 사용 설명서를 참조하세요.