Integração ETL zero do Amazon Aurora com o Amazon Redshift

A Infosys utilizou os recursos do ETL zero para ingerir dados em tempo real, permitindo o rastreamento de remessas de carga e fornecendo visibilidade da localização, do status e da hora estimada de chegada. Isso permite a otimização das operações de frete e uma redução significativa de custos. Com relatórios e analytics abrangentes de ETL zero, em conjunto com os esquemas do setor da Infosys Cobalt e Topaz, a tomada de decisões baseada em dados agora é possível.

O grande volume de dados e a necessidade de uma migração contínua representaram um desafio significativo para nós. Além disso, precisávamos de uma solução que nos permitisse analisar o processo de migração rapidamente, permitindo tomar decisões rápidas e baseadas em dados. Para enfrentar esses desafios, recorremos à integração ETL zero do Amazon Aurora com o Amazon Redshift para simplificar nosso processo de ingestão de dados e eliminar a necessidade de trabalhos complexos de engenharia. Com o Zero-ETL, conseguimos enviar grandes quantidades de dados para o Amazon Redshift sem a necessidade de captura de dados ou trabalhos de ingestão separados. Isso permitiu insights rápidos para impulsionar decisões técnicas e comerciais críticas, economizando meses de esforços que, de outra forma, seriam necessários. A integração ETL zero do Aurora com o Amazon Redshift nos ajudou a explorar novos padrões na Intuit para migrações de dados em grande escala e analytics quase em tempo real.

Antes da integração ETL zero estar disponível, usávamos uma solução personalizada que transmitia continuamente mudanças de nossos bancos de dados principais para aplicações downstream, mas enfrentávamos desafios constantes de desempenho e impactos na workload de produção. Para lidar com o impacto sobre o desempenho na workload de produção, tivemos que ajustar manualmente os pipelines para enviar atualizações com menos frequência e nos contentar com dados antigos no Amazon Redshift. Usando a integração ETL zero do Aurora MySQL com o Amazon Redshift, podemos sempre ter dados quase em tempo real disponíveis no Amazon Redshift, eliminando as horas de desenvolvimento gastas gerenciando manualmente pipelines de dados para operações de ETL ou lidando com impactos no desempenho das workloads, o que ajuda a reduzir nossa carga operacional.

Antes do lançamento da integração ETL zero do Amazon Aurora com o Amazon Redshift, a carga de implementar e manter nossas operações de ETL para analisar dados de produtos do Amazon Aurora MySQL no Amazon Redshift era desafiadora. A integração ETL zero do Aurora MySQL com o Amazon Redshift permite a sincronização de dados quase em tempo real entre nossos bancos de dados Aurora MySQL e o Amazon Redshift, reduzindo o tempo de criação de um ambiente de análise de um mês para apenas três horas. Além de reduzir a carga inicial na hora do desenvolvimento, com a integração ETL zero, há menos impacto nos ambientes de produção, possibilitando a criação do ambiente de análise com custo mínimo e velocidade máxima.

Obter insights rápidos dos nossos dados é fundamental, pois significa que podemos promover rapidamente decisões baseadas em dados em toda a empresa e responder de forma eficaz a eventos críticos e urgentes. Usar a captura de dados de alterações e a coagulação de registros era demorado e mais caro do que o esperado para processar. Ao usar a integração ETL zero do Amazon Aurora MySQL com o Amazon Redshift, pudemos produzir os mesmos resultados em um dia que, de outra forma, levariam dois meses para serem desenvolvidos devido ao esforço de engenharia necessário para operações de ETL. Nossa latência de dados foi significativamente reduzida usando a integração, pois os dados estavam prontos para consulta. Isso nos permitiu tomar decisões mais rapidamente à medida que os eventos ocorriam. Diminuímos nosso esforço de engenharia, reduzimos os pontos de falha no gerenciamento do pipeline e economizamos custos usando a integração ETL zero do Aurora com o Amazon Redshift.