Metadati Amazon S3 (anteprima)

In CMT, archiviamo e analizziamo diversi petabyte di dati provenienti da dispositivi mobili IoT in tutto il mondo per migliorare la sicurezza dei conducenti e delle strade. Man mano che scaliamo, l'individuazione di dati specifici per lo sviluppo di nuove informazioni e modelli diventa sempre più difficile. S3 Metadata, in particolare la sua funzionalità di metadati personalizzati, ci consente di annotare tutti i nostri dati e di mantenerli in una tabella gestita che è possibile sottoporre a query. Ora, per trovare i dati rilevanti è sufficiente una query SQL efficiente ed economica. Questo rende S3 Metadata un punto di svolta, consentendoci di offrire nuove funzionalità ai nostri clienti.

S3 Metadata ci fornisce un meccanismo semplice e diretto per analizzare trilioni di oggetti S3 utilizzando strumenti standard come Amazon Athena e Amazon QuickSight. Con questa funzionalità, possiamo dedicare il nostro tempo a prendere decisioni anziché creare le nostre complesse pipeline di dati per accedere e sottoporre a query i metadati degli oggetti S3.

S3 Metadata accelera le nostre iniziative di IA generativa. Man mano che creiamo applicazioni LLM come chatbot interni per i nostri team, i dati non strutturati come i PDF diventano sempre più preziosi. Dobbiamo inserire molti documenti specifici del dominio in un'applicazione di generazione potenziata tramite recupero (RAG) in modo che il chatbot possa adattarsi ai contesti aziendali specifici di Roche. Tuttavia, ciò significa anche che abbiamo sempre più dati non strutturati da gestire. Abbiamo bisogno di un sistema di metadati per descrivere in modo efficiente i dati non strutturati in modo che i nostri utenti possano setacciare rapidamente il nostro ampio data lake per identificare i set di dati pertinenti per la particolare applicazione di IA generativa che stanno creando. Con S3 Metadata, la creazione di un robusto sistema di metadati è stata semplificata in pochi clic nella Console di gestione AWS. Con l'acquisizione di un numero sempre maggiore di dati non strutturati, S3 Metadata fa emergere automaticamente i metadati e li mantiene aggiornati. Utilizziamo anche Lambda per estrarre metadati specifici per l'azienda, ad esempio classificando i documenti in base a una tassonomia rilevante per Roche, e archiviamo questi metadati nello stesso catalogo glue insieme alla tabella S3 Metadata, in modo che con un semplice join SQL possiamo avere tutti i metadati di cui abbiamo bisogno. S3 Metadata ci aiuta a creare applicazioni di IA generativa più velocemente, il che ci consente di concentrarci sulla creazione piuttosto che sull'organizzazione dei nostri dati.

Immagina di far volare una macchina del tempo tra i tuoi dati Amazon S3. In SmugMug e Flickr, abbiamo archiviato oltre 22 anni di foto dei nostri clienti, centinaia di miliardi di oggetti, in S3. La nuova funzionalità S3 Metadata ci aiuta a esplorare facilmente i metadati degli oggetti S3 in modo semplice e conveniente, eseguendo query su metadati come le dimensioni degli oggetti nel tempo per capire come si sono evoluti i nostri dati, il che in precedenza comportava l'unione di costose query sul database con inventari di oggetti. Comprendere come i fotografi utilizzano il nostro spazio di archiviazione aiuta a rafforzare il nostro impegno per costruire un mondo migliore attraverso il potere della fotografia.

Solink elabora oltre 500 milioni di ore di video al mese, integrando filmati di sicurezza con dati aziendali critici provenienti da oltre 350 fonti. AWS supporta l'infrastruttura su cui facciamo affidamento e Amazon S3 Metadata andrà oltre, fornendo informazioni in tempo reale che migliorano la nostra gestione dei contenuti, dal monitoraggio dello spazio di archiviazione e dell'utilizzo al tracciamento degli effetti in tempo reale delle modifiche alla configurazione dei clienti.

Amazon S3 è emerso come uno dei principali fornitori di cloud storage per vari tipi di dati. Amazon S3 Metadata consentirà a fornitori come Commvault di contribuire in modo proattivo all'identificazione e alla salvaguardia delle informazioni sensibili, aiutando inoltre ad automatizzare elementi come il tiering dei dati e a migliorare i risultati per i nostri clienti condivisi. S3 Metadata facilita l'organizzazione efficiente dei dati e aiuta a semplificarne il rilevamento, consentendo l'annotazione dettagliata degli oggetti, fondamentale per la resilienza informatica incentrata sul cloud.

In qualità di leader dell'osservabilità, il motore di dati di New Relic elabora circa 1,3 exabyte di dati Amazon S3 al giorno. S3 Metadata accelererà la nostra innovazione generando automaticamente ricchi metadati sugli oggetti, semplificando così l'esplorazione dei dati necessaria ai nostri team per eseguire esperimenti di prodotto e creare bozze concettuali, ad esempio sviluppando nuove metriche vantaggiose per i nostri clienti. S3 Metadata ridurrà il nostro impegno per creare e mantenere un solido sistema di metadati da centinaia di ore a pochi clic nella console di gestione S3, consentendo ai nostri ingegneri di concentrarsi sull'analisi dei dati piuttosto che sulla loro organizzazione.