Amazon S3 Metadata(평가판)

CMT에서는 전 세계 모바일 IoT 디바이스로부터 수 페타바이트의 데이터를 저장하고 분석하여 운전자 및 도로 안전을 강화합니다. 당사는 규모가 확장됨에 따라 새로운 인사이트와 모델을 개발하기 위한 데이터를 찾는 것이 점점 더 어려워지고 있습니다. S3 Metadata, 특히 사용자 지정 메타데이터 기능을 사용하면 모든 데이터에 주석을 달고 쿼리 가능한 관리형 테이블에 메타데이터를 유지할 수 있습니다. 이제 효율적이고 경제적인 SQL 쿼리 하나만 있으면 관련 데이터를 찾을 수 있습니다. 당사는 S3 Metadata라는 게임 체인저를 통해 고객에게 새로운 기능을 제공할 수 있게 되었습니다.

S3 Metadata는 Amazon Athena, Amazon QuickSight와 같은 표준 도구를 사용하여 수조 개의 S3 객체를 분석할 수 있는 간단한 메커니즘을 제공합니다. 이 기능을 사용하면 S3 객체 메타데이터에 액세스하고 쿼리하기 위한 복잡한 데이터 파이프라인을 구축하는 대신 의사 결정에 시간을 할애할 수 있습니다.

S3 Metadata는 생성형 AI 이니셔티브를 가속화합니다. 당사는 팀을 위해 내부 챗봇과 같은 LLM 애플리케이션을 구축하기 때문에 PDF와 같은 비정형 데이터의 가치가 점점 더 커지고 있습니다. 챗봇이 Roche의 특정 비즈니스 컨텍스트에 맞게 조정할 수 있도록 대량의 도메인별 문서를 검색 증강 생성(RAG) 애플리케이션에 수집해야 합니다. 하지만 이는 관리해야 하는 비정형 데이터가 점점 많아진다는 의미이기도 합니다. 그래서 사용자가 대규모 데이터 레이크를 빠르게 탐색하여 구축 중인 특정 생성형 AI 애플리케이션에 대한 관련 데이터세트를 식별할 수 있도록 비정형 데이터를 효율적으로 설명할 수 있는 메타데이터 시스템이 필요합니다. S3 Metadata를 사용하면 AWS Management Console에서 클릭 몇 번으로 강력한 메타데이터 시스템을 간단하게 구축할 수 있습니다. 계속해서 더 많은 비정형 데이터가 수집됨에 따라 S3 Metadata가 자동으로 메타데이터를 표시하고 메타데이터를 최신 상태로 유지합니다. 또한 자체 Lambda를 사용하여 Roche와 관련된 분류 체계를 기반으로 문서를 분류하는 등 비즈니스별 메타데이터를 추출하고 이 메타데이터를 S3 Metadata 테이블과 함께 동일한 글루 카탈로그에 저장하므로 간단한 SQL 조인으로 필요한 모든 메타데이터를 확보할 수 있습니다. S3 Metadata를 사용함으로써 생성형 AI 애플리케이션을 더 빠르게 구축할 수 있으므로 데이터를 정리하는 대신 구축에 집중할 수 있습니다.

Amazon S3 데이터를 통해 타임머신을 날리는 것을 상상해 보세요. SmugMug와 Flickr에서는 22년 이상 고객의 사진과 수천억 개의 객체를 S3에 저장하고 있습니다. 새로운 S3 Metadata 기능을 사용하면 S3 객체 메타데이터를 쉽고 경제적으로 탐색할 수 있습니다. 시간 경과에 따른 객체 크기 등 메타데이터 전체를 쿼리하여 데이터가 어떻게 진화했는지 파악할 수 있습니다. 이전에는 이를 위해 값비싼 데이터베이스 쿼리를 객체 인벤토리와 결합해야 했습니다. 사진 작가들이 스토리지를 어떻게 사용하는지 이해하면 사진의 힘을 통해 더 나은 세상을 만들겠다는 우리의 약속을 더욱 진전시킬 수 있습니다.

Solink는 매달 5억 시간 이상의 동영상을 처리하여 보안 영상을 350개 이상의 소스에서 가져온 중요한 비즈니스 데이터와 통합합니다. AWS는 당사가 사용하는 인프라를 지원하며 Amazon S3 Metadata는 이를 한 단계 더 발전시켜 스토리지 및 사용 모니터링부터 고객 구성 변경의 실시간 영향 추적에 이르기까지 콘텐츠 관리를 향상시키는 실시간 인사이트를 제공할 것입니다.

Amazon S3는 다양한 데이터 유형을 위한 선도적인 클라우드 스토리지 공급자로 부상했습니다. Amazon S3 Metadata를 사용하면 Commvault와 같은 공급업체가 민감한 정보를 사전에 식별하고 보호하는 동시에 데이터 계층화와 같은 요소를 자동화하고 공유 고객의 성과를 개선할 수 있습니다. S3 Metadata는 효율적인 데이터 구성을 용이하게 하고 데이터 검색을 간소화하여 객체에 대한 세부 주석을 추가할 수 있도록 합니다. 이는 클라우드 우선 사이버 복원력에 매우 중요합니다.

관찰성의 선두 주자인 New Relic의 데이터 엔진은 매일 약 1.3엑사바이트의 Amazon S3 데이터를 처리합니다. S3 Metadata는 풍부한 객체 메타데이터를 자동으로 생성하여 팀이 제품 실험을 실행하고 고객에게 유용한 신규 지표 개발과 같은 개념 증명을 구축하는 데 필요한 데이터 탐색을 간소화함으로써 혁신을 가속화할 것입니다. S3 Metadata를 사용하면 S3 관리 콘솔에서 수백 시간이 걸리던 강력한 메타데이터 시스템을 구축 및 유지 관리하는 데 드는 노력을 단 몇 번의 클릭으로 단축할 수 있으므로 엔지니어는 데이터 정리가 아닌 데이터 분석에 집중할 수 있습니다.