Integración de Amazon Aurora con Amazon Redshift sin ETL

Infosys aprovechó las posibilidades que ofrece la integración sin ETL para incorporar datos en tiempo real, lo que permite el seguimiento de los envíos de carga y ofrece información sobre su ubicación, estado y hora estimada de llegada. Esto permite la optimización de las operaciones de carga y una reducción significativa de los costos. Con los informes y análisis detallados de la integración sin ETL, así como con los esquemas industriales Cobalt y Topaz de Infosys, ahora es posible tomar decisiones basadas en datos reales.

El enorme volumen de datos y la necesidad de una migración sin interrupciones supusieron un reto importante. Además, necesitábamos una solución que nos permitiera analizar el proceso de migración rápidamente, para poder tomar decisiones rápidas basadas en datos. Para abordar estos desafíos, recurrimos a la integración sin ETL de Amazon Aurora con Amazon Redshift, esto nos permitió optimizar nuestro proceso de ingesta de datos y eliminar la necesidad de realizar trabajos de ingeniería complejos. Con la integración sin ETL, pudimos enviar volúmenes masivos de datos a Amazon Redshift sin necesidad de capturar datos o realizar tareas de ingesta independientes. Esto permitió obtener información rápida para impulsar decisiones técnicas y empresariales críticas, ahorrando meses de esfuerzo que de otro modo habrían sido necesarios. La integración sin ETL de Aurora en Amazon Redshift nos ayudó a explorar nuevos patrones en Intuit para migraciones de datos a gran escala y análisis prácticamente en tiempo real.

Antes de que la integración sin ETL estuviera disponible, utilizábamos una solución personalizada que transmitía continuamente los cambios de nuestras bases de datos principales a las aplicaciones posteriores, pero nos enfrentábamos a desafíos de rendimiento persistentes y a los impactos en nuestra carga de trabajo de producción. Para hacer frente al impacto en el rendimiento de la carga de trabajo de producción, tuvimos que ajustar manualmente las canalizaciones para enviar actualizaciones con menos frecuencia y conformarnos con datos antiguos en Amazon Redshift. Utilizar la integración sin ETL de Aurora MySQL con Amazon Redshift nos permite tener datos disponibles prácticamente en tiempo real a través de Amazon Redshift. Esto elimina todas las horas que los desarrolladores dedican a administrar manualmente las canalizaciones de datos para las operaciones de ETL, así como a enfrentar los impactos en el rendimiento de nuestras cargas de trabajo, lo que sin duda ayuda a reducir nuestra carga operativa.

Antes del lanzamiento de la integración sin ETL de Amazon Aurora en Amazon Redshift, el problema de tener que implementar y mantener nuestras operaciones de ETL para analizar los datos de productos de Amazon Aurora MySQL en Amazon Redshift era todo un desafío. La integración sin ETL de Aurora MySQL con Amazon Redshift permite la sincronización de datos prácticamente en tiempo real entre nuestras bases de datos Aurora MySQL y Amazon Redshift, algo que sin dudas reduce el tiempo necesario para crear un entorno de análisis de un mes a solo tres horas. Además de reducir la carga inicial en el momento del desarrollo, la integración sin ETL genera un menor impacto en los entornos de producción, lo que permite crear un entorno de análisis a un costo mínimo y a la máxima velocidad.

Para nosotros, es fundamental obtener información oportuna de nuestros datos, ya que esto significa que podemos tomar decisiones rápidas basadas en los datos de nuestra empresa y responder de manera eficaz a los eventos críticos y urgentes. El uso de la captura de datos de cambios y la fusión de los registros llevó mucho tiempo y su procesamiento fue más costoso de lo esperado. Utilizar la integración sin ETL de Amazon Aurora MySQL con Amazon Redshift, nos permitió obtener, en un día, los mismos resultados que, de otro modo, habrían tardado 2 meses en desarrollarse debido al esfuerzo de ingeniería requerido para las operaciones de ETL. La latencia de nuestros datos se redujo significativamente con la integración, ya que los datos estaban listos para ser consultados. Esto nos permitió tomar decisiones más rápidas a medida que ocurrían los acontecimientos. Disminuimos nuestro esfuerzo de ingeniería, redujimos los puntos de falla en la administración de las canalizaciones y ahorramos costos gracias a la integración sin ETL de Aurora en Amazon Redshift.