Metadatos de Amazon S3 (versión preliminar)

En CMT, almacenamos y analizamos varios petabytes de datos de dispositivos IoT móviles en todo el mundo para mejorar la seguridad vial y de los conductores. A medida que escalamos, la localización de datos específicos para desarrollar nuevos conocimientos y modelos resulta cada vez más desafiante. S3 Metadata, en particular su capacidad de metadatos personalizados, nos permite anotar todos nuestros datos y mantener los metadatos en una tabla administrada que se puede consultar. Ahora, para encontrar datos relevantes basta con una consulta SQL eficiente y rentable. Esto convierte a S3 Metadata en un punto de inflexión, ya que nos permite ofrecer nuevas capacidades a los clientes.

S3 Metadata ofrece un mecanismo sencillo y directo para analizar billones de objetos de S3 mediante herramientas estándares como Amazon Athena y Amazon QuickSight. Con esta funcionalidad, podemos dedicar nuestro tiempo a tomar decisiones en lugar de crear complejas canalizaciones de datos para acceder a los metadatos de los objetos de S3 y consultarlos.

S3 Metadata acelera nuestras iniciativas de IA generativa. A medida que creamos aplicaciones de LLM, como los chatbots internos, para nuestros equipos, los datos no estructurados, como los PDF, son cada vez más valiosos. Necesitamos incorporar muchos documentos de dominios específicos a una aplicación de generación aumentada por recuperación (RAG) para que el chatbot pueda adaptarse a los contextos empresariales específicos de Roche. Sin embargo, esto también significa que cada vez hay más datos no estructurados que necesitamos administrar. Necesitamos un sistema de metadatos que describa de manera eficiente nuestros datos no estructurados, de modo que nuestros usuarios puedan examinar rápidamente nuestro gran lago de datos e identificar los conjuntos de datos relevantes para la aplicación de IA generativa en particular que están creando. Gracias a S3 Metadata, la creación de un sistema de metadatos sólido se ha simplificado con unos pocos clics en la consola de administración de AWS. A medida que incorporamos cada vez más datos no estructurados, S3 Metadata muestra automáticamente los metadatos y los mantiene actualizados. Además, utilizamos nuestra propia Lambda para extraer metadatos específicos de la empresa, como la clasificación de documentos basada en una taxonomía relevante para Roche, y almacenamos estos metadatos en el mismo catálogo de Glue junto con la tabla de S3 Metadata para que con una simple unión SQL podamos tener todos los metadatos que necesitamos. S3 Metadata ayuda a crear aplicaciones de IA generativa más rápido, lo que nos permite centrarnos en la creación de nuestros datos en lugar de su organización.

Imagine utilizar una máquina del tiempo a través de sus datos de Amazon S3. En SmugMug y Flickr, hemos almacenado más de 22 años de fotos de nuestros clientes, cientos de miles de millones de objetos, en S3. La nueva característica de S3 Metadata nos ayuda a explorar fácilmente los metadatos de objetos de S3 de forma sencilla y asequible, mediante la consulta de metadatos como el tamaño de los objetos a lo largo del tiempo para comprender cómo han evolucionado nuestros datos, lo que antes implicaba unir costosas consultas de bases de datos con inventarios de objetos. Comprender cómo nuestros fotógrafos utilizan nuestro almacenamiento ayuda a avanzar en nuestro compromiso de construir un mundo mejor a través del poder de la fotografía.

Solink procesa más de 500 millones de horas de video al mes e integra imágenes de seguridad con datos empresariales críticos de más de 350 orígenes. AWS es compatible con la infraestructura en la que confiamos y Amazon S3 Metadata irá más allá, ya que ofrece información en tiempo real que mejora nuestra administración de contenido, desde la supervisión del almacenamiento y su uso hasta el seguimiento de los efectos en tiempo real de los cambios en la configuración de los clientes.

Amazon S3 se ha convertido en un proveedor líder de almacenamiento en la nube para varios tipos de datos. Amazon S3 Metadata permitirá a proveedores como Commvault ayudar de forma proactiva a identificar y proteger la información confidencial, y automatizará elementos como la organización de datos por niveles y mejorará los resultados para nuestros clientes en común. S3 Metadata facilita la organización eficiente de los datos y ayuda a agilizar el descubrimiento de datos, lo que permite la anotación detallada de objetos, lo cual es crucial para la resiliencia cibernética de la nube.

Como líder en observabilidad, el motor de datos de New Relic procesa aproximadamente 1,3 exabytes de datos de Amazon S3 por día. S3 Metadata acelerará nuestra innovación mediante la generación automática de metadatos de objetos enriquecidos, lo que simplificará la exploración de datos que necesitan nuestros equipos para realizar experimentos con productos y crear pruebas de concepto, como el desarrollo de métricas nuevas y beneficiosas para nuestros clientes. S3 Metadata reducirá nuestro esfuerzo para crear y mantener un sistema de metadatos sólido de cientos de horas a solo unos pocos clics en la consola de administración de S3, lo que permitirá a nuestros ingenieros centrarse en el análisis de datos en lugar de centrarse en la organización de datos.