Amazon S3 中繼資料 (預覽版)

在 CMT，我們儲存和分析來自全球行動 IoT 裝置的數 PB 資料，以提高駕駛員和道路行駛的安全。隨著我們規模的擴大，定位特定資料以開發新的洞見和模型變得越來越具有挑戰性。S3 Metadata，尤其是其自訂中繼資料功能，可讓我們注釋所有資料並在受管的可查詢資料表中維護中繼資料。現在，尋找相關資料僅需執行一個高效且符合成本效益的 SQL 查詢。這使得 S3 Metadata 成為變個性工具，助力我們為客戶帶來新的功能。

S3 Metadata 為我們提供了一種簡單、直接的機制，可以使用 Amazon Athena 和 Amazon QuickSight 等標準工具分析數萬億個 S3 物件。藉助此功能，我們可以利用時間做出決策，而不是建置複雜的資料管道來存取和查詢 S3 物件中繼資料。

S3 Metadata 加速推進我們的生成式 AI 計劃。當我們為團隊建置 LLM 應用程式 (例如內部聊天機器人) 時，PDF 等非結構化資料變得越來越有價值。我們需要將大量網域特定的文件插入到擷取增強生成 (RAG) 應用程式中，以便聊天機器人根據 Roche 的特定業務環境進行量身打造。但是，這也意味著我們需要管理越來越多的非結構化資料。我們需要一個中繼資料系統來有效地描述我們的非結構化資料，以便使用者可以快速篩選大型資料湖來識別其正在建置的特定生成式 AI 應用程式的相關資料集。使用 S3 Metadata，僅需在 AWS 管理主控台中按幾下即可建置功能強大的中繼資料系統。隨著我們持續擷取更多非結構化資料，S3 Metadata 會自動顯示中繼資料，並保持其最新狀態。我們還使用自己的 Lambda 來擷取業務特定的中繼資料，例如根據與 Roche 相關的分類法對文件進行分類，並將這些中繼資料與 S3 Metadata 資料表一起儲存在同一個 Glue 型錄中，以便透過簡單的 SQL 連結取得所需的所有中繼資料。S3 Metadata 可協助我們更快地建置生成式 AI 應用程式，這使我們能夠專注於建置而非整理資料。

設想一下乘坐時光機穿越您的 Amazon S3 資料。在 SmugMug 和 Flickr，我們於 S3 中儲存客戶超過 22 年的照片，涵蓋數千億個物件。全新的 S3 Metadata 功能可協助我們輕鬆且經濟高效地探索 S3 物件中繼資料，以及透過查詢中繼資料 (例如隨時間推移的物件大小) 來了解我們的資料如何演變，該操作以前涉及將昂貴的資料庫查詢與物件清單結合。了解我們的攝影師如何使用我們的儲存空間，協助我們進一步達成透過攝影的力量建設更美好世界的承諾。

Solink 每月處理超過 5 億小時的影片，將安全影片鏡頭與來自 350 多個來源的關鍵業務資料相整合。AWS 支援我們所依賴的基礎設施，而 Amazon S3 Metadata 將更進一步提供即時洞見，增強我們的內容管理，從監控儲存和用量到追蹤客戶組態變更的即時影響。

Amazon S3 已成為各種資料類型的領先雲端儲存供應商。Amazon S3 Metadata 將使 Commvault 等供應商能夠主動協助識別和保護敏感資訊，同時協助實現資料分層等元素的自動化，並增強我們共同客戶的成果。S3 Metadata 促進高效的資料組織並有助於簡化資料探索，從而可以對物件進行詳細註解，這對於雲端優先網路恢復能力至關重要。

作為可觀測性領域的領導者，New Relic 的資料引擎每天處理大約 1.3 EB 的 Amazon S3 資料。S3 Metadata 將透過自動產生豐富的物件中繼資料來加速我們的創新，從而簡化團隊執行產品實驗和建置概念證明所需的資料探索，例如制定對客戶有益的新指標。S3 Metadata 將使我們建置和維護強大中繼資料系統的工作量從數百小時減少到僅需在 S3 管理主控台中按幾下即可，從而工程師能夠專注于資料分析而非資料組織。