Atributos do AWS DataSync

Para transferências de dados on-line, o AWS DataSync simplifica, automatiza e acelera a cópia de grandes quantidades de dados entre armazenamentos on-premises, locais da borda ou outros provedores de nuvem e serviços de armazenamento da AWS. O DataSync pode copiar dados de e para compartilhamentos do Network File System (NFS), compartilhamentos do Server Message Block (SMB), Sistemas de Arquivos Distribuídos do Hadoop (HDFS), armazenamentos de objetos autogerenciados, armazenamentos de objetos em outras nuvens, como o Google Cloud Storage e o Wasabi Cloud Storage (consulte a lista completa de nuvens compatíveis), Arquivos do Azure, Armazenamento de Blobs do Azure (incluindo dados do Azure Data Lake Storage Gen2), armazenamentos compatíveis com o Amazon S3 no Snowball Edge, Amazon Simple Storage Service (Amazon S3), sistemas de arquivos do Amazon Elastic File System (Amazon EFS), sistemas de arquivos do Amazon FSx para Windows File Server, sistemas de arquivos do Amazon FSx para Lustre, sistemas de arquivos do Amazon FSx para OpenZFS, e sistemas de arquivos do Amazon FSx para NetApp ONTAP.

O AWS DataSync usa um protocolo de transferência projetado pela AWS, desacoplado do protocolo de armazenamento, para acelerar a movimentação de dados. O protocolo executa otimizações na forma e no momento do envio, assim como na seleção dos dados enviados pela rede. Otimizações de rede executadas pelo DataSync incluem transferências incrementais, compressão em linha e detecção de arquivos esparsos, bem como validação e criptografia de dados em linha.

As conexões entre o agente local do DataSync e os componentes do serviço de nuvem são multiencadeadas, maximizando a performance na Wide Area Network (WAN). Uma única tarefa DataSync é totalmente capaz de utilizar 10 Gbps em um link de rede entre seu ambiente on-premises e a AWS.

Todos os seus dados são criptografados em trânsito entre o agente DataSync e o serviço DataSync usando Transport Layer Security (TLS). O DataSync oferece suporte ao uso de criptografia em repouso padrão para buckets do Amazon Simple Storage Service (Amazon S3). Além disso, ele também oferece suporte para criptografia de dados em repouso e em trânsito para o Amazon EFS e o Amazon FSx.

O DataSync garante que os dados cheguem intactos. Para cada transferência, o serviço realiza verificações de integridade nos dados em trânsito e ociosos. Essas verificações garantem que os dados gravados no destino correspondem aos dados lidos na origem e validam sua consistência.

O AWS DataSync ajuda a migrar dados entre a AWS, sistemas de arquivos on-premises e outros serviços de armazenamento em nuvem. A AWS continuou a ampliar seus serviços em nuvem para ajudar os clientes a simplificar, gerenciar e governar infraestrutura e aplicações híbridas e multinuvem. Para clientes que operam em ambientes multinuvem, o AWS DataSync agora pode migrar dados de entrada e saída no armazenamento em várias nuvens. Além do suporte para Google Cloud Storage, Arquivos do Azure e Armazenamento de Blobs do Azure, com o DataSync, você pode migrar seus dados de objetos em escala entre o armazenamento compatível com S3 em outras nuvens e os serviços de armazenamento da AWS, como o Amazon S3. Isso inclui suporte para armazenamento de objetos na Wasabi Cloud, Oracle Cloud, Cloudflare, DigitalOcean Spaces e Backblaze, entre outros.

Saiba mais:

• Simplify multicloud data movement wherever data is stored with AWS DataSync
• Migrating Google Cloud Storage to Amazon S3 using AWS DataSync
• Configuring AWS DataSync transfers with Google Cloud Storage
• Configuring AWS DataSync transfers with Microsoft Azure Blob Storage
• Migrating Azure Blob Storage to Amazon S3 using AWS DataSync
• How to move data from Azure Files SMB shares to AWS using AWS
• Migrating DigitalOcean Spaces to Amazon S3 using AWS DataSync
• How London Stock Exchange Group migrated 30 PB of market data using AWS DataSync
• Migrating Oracle Cloud Infrastructure Object Storage to Amazon S3 using AWS DataSync

A transferência de dados quentes ou frios não deve impedir seus negócios. O DataSync é equipado com controles detalhados para otimizar o consumo de largura de banda. Acelere a velocidade de transferência para até 10 Gbps fora do horário de expediente e defina limites quando a disponibilidade da rede for necessária em outro lugar.

O agente do DataSync se conecta aos sistemas de armazenamento existentes usando os protocolos NFS e SMB padrão do setor, ao cluster Hadoop como um cliente HDFS, ao armazenamento de objetos autogerenciado, ao Google Cloud Storage usando a interface de programação de aplicações (API) do Amazon S3 ou ao Armazenamento de Blobs do Azure usando a API Blob. O agente transfere dados rapidamente e os grava no bucket designado do Amazon S3, no sistema de arquivos do Amazon EFS, no sistema de arquivos do Amazon FSx para Windows File Server ou no sistema de arquivos do Amazon FSx.

Permissões de arquivo e metadados são preservados ao copiar objetos e/ou dados entre o Amazon Simple Storage Service (Amazon S3), Amazon EFS, Amazon FSx para Windows File Server, Amazon FSx para Lustre, Amazon FSx para OpenZFS ou Amazon FSx para NetApp ONTAP.

Ao copiar dados para o Amazon Simple Storage Service (Amazon S3), o DataSync converte automaticamente cada arquivo em um único objeto do S3, em uma relação de um para um, e preserva os metadados de POSIX de compartilhamentos do NFS ou HDFS como metadados de objetos do Amazon Simple Storage Service (Amazon S3). Quando você copia objetos que contêm metadados de sistema de arquivos de volta para os formatos de arquivo, os metadados do arquivo original copiados pelo DataSync para o S3 são restaurados.

O DataSync é fornecido com um mecanismo de agendamento integrado que permite executar periodicamente tarefas de transferência de dados para detectar e copiar alterações do sistema de armazenamento de origem para o destino. Você pode programar suas tarefas usando o console do AWS DataSync ou a AWS Command Line Interface (CLI), sem gravar scripts para gerenciar transferências repetidas. A programação de tarefas as executa automaticamente dentro do cronograma que configurado, com as opções horárias, diárias ou semanais fornecidas diretamente no Console AWS.

Os relatórios de tarefas do DataSync fornecem arquivos de saída em formato JSON que incluem relatórios resumidos e detalhados de todos os arquivos transferidos, ignorados, verificados e excluídos, permitindo que você verifique e audite facilmente as operações de transferência de dados para cada execução de tarefa. Os relatórios de tarefas são gerados após a conclusão das tarefas de transferência e armazenados no bucket do Amazon S3. Isso permite que você use facilmente serviços da AWS, como AWS Glue, Amazon Athena e Amazon QuickSight, para catalogar, analisar e visualizar automaticamente a saída do relatório de tarefas para verificar o progresso de suas transferências de dados em todas as execuções de tarefas. Os relatórios de tarefas simplificam o rastreamento e a auditoria, permitindo que você compreenda facilmente tendências comuns de execução de tarefas ou padrões de falha e obtenha informações críticas sobre seus processos de transferência de dados.

Com o Amazon CloudWatch, você pode monitorar o status de qualquer transferência do DataSync em andamento e conferir o histórico de transferências de dados anteriores. Com o CloudWatch Metrics, você pode ver o número de arquivos e a quantidade de dados copiados. Consulte o CloudWatch Logs para obter informações sobre arquivos individuais transferidos em um determinado momento, bem como os resultados da verificação de integridade do DataSync. Isso simplifica o monitoramento, a elaboração de relatórios e a solução de problemas, o que permite fornecer atualizações pontualmente às partes interessadas. Além disso, o CloudWatch Events é acionado na conclusão das tarefas de transferência, o que permite automatizar fluxos de trabalho dependentes. Para fins de auditoria, você pode consultar o AWS CloudTrail, que registra todas as ações executadas pelo DataSync.

O AWS DataSync Discovery ajuda a simplificar o planejamento da migração e acelerar a migração de dados para a AWS, oferecendo visibilidade sobre a performance e a utilização do armazenamento on-premises e fornecendo recomendações para migrar seus dados para serviços de armazenamento da AWS, como o Amazon FSx para NetApp ONTAP, Amazon FSx para Windows File Server e Amazon Elastic File System (EFS). O DataSync Discovery possibilita que você compreenda melhor a performance do armazenamento on-premises e o uso da capacidade por meio da coleta e análise automatizada de dados, o que possibilita identificar os dados a serem migrados com rapidez e usar as recomendações geradas para selecionar os serviços do armazenamento da AWS que se alinham às suas necessidades de performance e capacidade.

Com o AWS DataSync, você paga somente pelo uso do serviço. Não são necessárias licenças de software, contratos ou taxas de manutenção. Isso fornece um custo total de propriedade (TCO) mais baixo em comparação com a construção, a operação e a otimização manuais de suas próprias transferências com script de alta performance, bem como custo total mais baixo do que comprar e executar ferramentas comerciais de transferência.

Usando o AWS DataSync Discovery, é possível executar trabalhos de descoberta por até 31 dias e receber recomendações gratuitamente. O DataSync Discovery mantém os dados coletados e as recomendações associadas por 60 dias após a conclusão do trabalho.

O DataSync funciona de maneria nativa com serviços de segurança, monitoramento e auditoria da AWS para simplificar a movimentação de dados e fornecer experiência de gerenciamento consistente para suas equipes de TI, armazenamento e DevOps. Além das integrações com o Amazon Simple Storage Service (Amazon S3), Amazon EFS e Amazon FSx, o DataSync é compatível com endpoints da AWS Virtual Private Cloud (VPC) (desenvolvidos pelo AWS PrivateLink) para poder transferir arquivos diretamente à sua Amazon VPC. Como outros produtos da AWS, é possível utilizar o AWS Identity and Access Management (IAM) para gerenciar com segurança o acesso ao DataSync. Da mesma forma, você pode configurar um perfil do IAM para controlar os serviços que acessam seu bucket do Amazon S3.