Recursos do Amazon OpenSearch Service

O armazenamento quente permite a recuperação rápida de dados acessados com frequência. O UltraWarm é uma camada quente de armazenamento que complementa a camada quente de armazenamento do OpenSearch Service, fornecendo armazenamento mais econômico para dados mais antigos e acessados com menos frequência, sem deixar de proporcionar uma experiência interativa de consultas. O UltraWarm armazena dados no Amazon Simple Storage Service (Amazon S3) e usa nós personalizados, altamente otimizados e de propósito específico no AWS Nitro System para atividades rápidas de armazenamento em cache, pré-recuperação e consulta desses dados.

Com o UltraWarm, você pode reter até 3 PB de dados em um único cluster do OpenSearch Service, reduzindo os custos por GB em quase 90% em comparação com a camada quente de armazenamento. Você também pode consultar e visualizar facilmente os dados na interface do OpenSearch Dashboards ou Kibana (versão 7.10 e anteriores). Analise os dados de log recentes (semanas) e históricos (meses ou anos) sem perder horas ou dias restaurando logs arquivados.

O UltraWarm é uma camada quente de armazenamento totalmente gerenciada e de baixo custo para o OpenSearch Service. Ele é compatível com o OpenSearch, o Elasticsearch (até a versão 7.10) e o OpenSearch Dashboards e Kibana (até a versão 7.10), permitindo analisar dados com as mesmas ferramentas que o OpenSearch Service oferece hoje. O UltraWarm integra-se perfeitamente aos atributos atuais do OpenSearch Service, como alertas integrados, consultas SQL e muito mais. 

O UltraWarm ajuda você a expandir de forma econômica os dados que deseja analisar no OpenSearch Service. Você pode obter insights valiosos sobre dados que podem ter sido excluídos ou arquivados anteriormente. Com o UltraWarm, agora é possível reter economicamente mais dados para analisá-los de forma interativa sempre que quiser.

O OpenSearch Service é compatível com duas camadas de armazenamento integrado: quente e UltraWarm. A camada quente é alimentada por nós de dados que são usados para indexar, atualizar e fornecer o acesso mais rápido aos dados. Os nós do UltraWarm complementam a camada quente, fornecendo uma camada de baixo custo e somente leitura para dados mais antigos e acessados com menos frequência.

O UltraWarm usa o Amazon S3 para armazenamento, projetado para uma durabilidade de 99,999999999% e elimina a necessidade de configurar uma réplica do Elasticsearch para seus dados a quente. Além disso, se você tiver mais de um nó UltraWarm, no caso de uma falha no nó, os outros nós UltraWarm acessarão automaticamente os dados, conforme necessário.

O UltraWarm é compatível com até 3 PB de dados primários. O UltraWarm foi projetado para permitir que você utilize totalmente 100% desse armazenamento. E, como o UltraWarm armazena dados no Amazon S3 para maior durabilidade, você não precisa usar armazenamento adicional para réplicas do Elasticsearch.

O UltraWarm proporciona uma experiência interativa no OpenSearch Dashboards e no Kibana, implementando otimizações detalhadas de armazenamento em cache de E/S, pré-busca e mecanismo de consulta para fornecer performance semelhante à de instâncias de alta densidade usando armazenamento local.

Para começar com o UltraWarm, crie um novo domínio do OpenSearch Service com o UltraWarm habilitado por meio do console, da CLI ou de APIs. Após a criação do seu domínio, será possível mover dados do armazenamento quente para o UltraWarm usando as APIs do OpenSearch/Elasticsearch. Para obter mais informações, consulte o Guia do desenvolvedor do OpenSearch Service.

O armazenamento frio é a opção de armazenamento com o custo mais baixo para o OpenSearch Service, que permite reter no Amazon S3 os dados acessados com pouca frequência e pagar por computação apenas quando necessário. O armazenamento frio é baseado no UltraWarm, que fornece nós especializados que armazenam dados no Amazon S3 e usa uma solução de armazenamento em cache sofisticada para oferecer uma experiência interativa. Ao desacoplar recursos de computação do armazenamento, o armazenamento frio ajuda você a reter qualquer quantidade de dados no seu domínio do OpenSearch Service e, ao mesmo tempo, reduz os custos por GB para preços de armazenamento semelhantes aos do Amazon S3. Desvincule dados a quente históricos ou acessados com pouca frequência que não estão em uso e libere computação para ajudar a reduzir os custos. Descubra e anexe seletivamente seus dados inativos aos nós UltraWarm do seu domínio em segundos com a sua escolha de uma interface Kibana (versão 7.10 e anterior) ou OpenSearch Dashboards e APIs de fácil uso. Com o armazenamento inativo, você pode consultar os dados inativos anexados com uma experiência e performance interativas semelhantes à dos seus dados ativos.

O OpenSearch contém determinados códigos do Elasticsearch licenciados pelo Apache do Elasticsearch B.V. e outros códigos-fonte. O Elasticsearch B.V. não é a fonte desse outro código-fonte. ELASTICSEARCH é uma marca comercial registrada da Elasticsearch B.V.

O armazenamento frio é uma camada de armazenamento com o custo mais baixo e totalmente gerenciada para o OpenSearch Service que permite armazenar e analisar com segurança seus logs históricos sob demanda com mais facilidade. O armazenamento frio ajuda você a separar totalmente o armazenamento da computação quando não estiver realizando ativamente a análise de dados e permite que você mantenha seus dados prontamente disponíveis a baixo custo. Os dados de armazenamento frio ficam disponíveis no domínio do OpenSearch Service por meio dos seus nós do UltraWarm. O armazenamento frio integra-se perfeitamente ao OpenSearch e ao OpenSearch Dashboards, bem como ao Elasticsearch (versões 7.9 e 7.10) e ao Kibana (versões 7.9 e 7.10). Ele ajuda você a analisar dados usando as mesmas ferramentas que o OpenSearch Service fornece atualmente.

O armazenamento frio permite expandir de maneira econômica os dados que deseja analisar no OpenSearch Service, além de obter insights valiosos sobre dados que podem ter sido excluídos ou arquivados anteriormente. O armazenamento frio é uma ótima opção, caso precise fazer pesquisas ou análises forenses nos seus dados mais antigos e queira usar todas as funcionalidades do OpenSearch Service para fazer isso a um preço acessível. O armazenamento frio é criado para escala e baseia-se no Amazon S3. Encontre e descubra os dados de que precisa, anexe-os aos nós do UltraWarm no seu cluster e mantenha-os disponíveis para análise em segundos. Os dados a frio anexados estão sujeitos às políticas de controle de acesso refinado atuais que restringem o acesso no nível do índice, documento e campo.

Com o armazenamento frio, o OpenSearch Service é compatível com três camadas de armazenamento integradas: quente, UltraWarm e frio. A camada quente é usada para indexar, atualizar e fornecer o acesso mais rápido aos dados. O UltraWarm fornece uma extensão direta do nível frequente fornecendo nós de computação que oferecem uma experiência interativa de alta performance para dados armazenados de forma durável no Amazon S3 e deve ficar disponível de forma persistente, atualmente oferecendo suporte a até 3 PB de dados em um único domínio. Com o armazenamento frio, agora é possível desvincular os índices do UltraWarm quando não estiverem em uso e liberar computação para ajudar a reduzir os custos. Com as novas APIs de armazenamento frio e a interface do OpenSearch Dashboards e do Kibana, é possível descobrir índices com base em padrões de índice e carimbos de data e hora de dados para encontrar rapidamente tudo o que precisa para análises. Assim, os dados ficam prontos para serem anexados ao domínio e para análise em segundos. Ao concluir a análise, basta desanexar os dados para liberar a sua computação novamente. 

O armazenamento frio foi criado para escalar. Enquanto os limites de armazenamento de dados a quente e warm permanecerem em 3 PB, você poderá armazenar qualquer quantidade de dados no armazenamento frio.

O armazenamento frio é baseado no UltraWarm, que fornece nós especializados que armazenam dados no Amazon S3 e usa uma solução de armazenamento em cache sofisticada para oferecer uma experiência interativa. Primeiro, os dados a frio devem ser anexados aos nós do UltraWarm do seu domínio do OpenSearch Service. Uma vez anexados, as consultas sobre esses dados são alimentadas por nós do UltraWarm atuais e oferecem a mesma performance que os seus dados a quente. Se houver capacidade de UltraWarm suficiente disponível para os dados solicitados, levará segundos para anexar índices inativos ao seu domínio. Se você precisar de mais capacidade, os nós de dados do UltraWarm deverão ser adicionados, o que pode levar alguns minutos.

O OpenSearch Service fornece recursos de pesquisa de documentos em tempo real que vão além da pesquisa de banco de dados. Esse serviço totalmente gerenciado usa o mecanismo OpenSearch para pesquisa. O OpenSearch é um mecanismo de pesquisa de código aberto, portátil e independente de plataforma, baseado em Lucene e com todos os atributos, compatível com pesquisa por palavra-chave, pesquisa em linguagem natural, sinônimos, vários idiomas e muito mais. Os principais recursos de pesquisa incluem o seguinte:

• Adquire dados de um banco de dados ou sistema de gerenciamento de conteúdo, um crawler da Web ou da intranet ou um serviço de streaming
• Fornece APIs de pesquisa para criar um front-end sobre os serviços de pesquisa
• Viabiliza pesquisas em muitos atributos
• Localiza novos documentos que correspondem a um conjunto de consultas salvas com pesquisa prospectiva (percolação)
• Avalia padrões de uso e realiza planejamento de capacidade e previsão de custos com recursos de monitoramento do OpenSearch Service
• Usa algoritmos de machine learning (ML) integrados para pesquisa de k-vizinhos mais próximos (k-NN) para realizar pesquisa vetorial, pesquisa de similaridade, pesquisa semântica e outras
• Usa algoritmos de ML integrados para aprender a classificar a fim de calcular pontuações de relevância
• Fornece pesquisa e armazenamento vetorial simples, escaláveis e de alta performance para potencializar experiências de pesquisa aumentada por ML e aplicações de IA generativa
• Usa várias linguagens de consulta, incluindo SQL

Pesquisar recursos

Vídeo: AWS On Air for search  (AWS On Air para pesquisa)

Vídeo: LexisNexis on ML-driven search  (LexisNexis na pesquisa orientada por ML)

Demo: Improve search results with Amazon OpenSearch Service  (Demonstração: Melhorar resultados de pesquisas com o Amazon OpenSearch Service)

Workshop: Improve search relevance with ML in Amazon OpenSearch Service (Workshop: Melhorar a relevância da pesquisa com ML no Amazon OpenSearch Service)

Blog: Novartis AG uses OpenSearch Service k-NN and SageMaker to power search and recommendation (Blog: Novartis AG usa o k-NN do OpenSearch Service e o SageMaker para pesquisa e recomendação avançadas)

Reference architecture diagram: Search-backed applications (Diagrama de arquitetura de referência: aplicações com recurso de pesquisa)

Auxilie suas equipes de operações de segurança (SecOps) a detectar ameaças potenciais rapidamente e, ao mesmo tempo, ter as ferramentas para ajudar nas investigações de segurança, tudo com baixos custos de retenção de dados. Proteja os dados da sua empresa e detecte rapidamente possíveis ameaças à segurança. O OpenSearch Service fornece suporte pronto para uso para mais de 2.200 regras de segurança Sigma de código aberto para detectar possíveis ameaças à segurança filtrando as descobertas relacionadas. Você pode até mesmo personalizar ou usar as regras padrão do Sigma para detectar rapidamente possíveis ameaças à segurança e enviar alertas para um destino pré-selecionado. Use o suporte pronto para uso para várias fontes de logs, incluindo Windows, Netflow, AWS CloudTrail, DNS e muito mais. 

A análise de segurança do OpenSearch foi projetada para ajudar a investigar, detectar, analisar e responder a ameaças à segurança que possam comprometer as operações de funções críticas de negócios. Essas ameaças incluem a exposição potencial de dados confidenciais, ataques cibernéticos e outros eventos adversos de segurança. Estão incluídos as ferramentas e os atributos necessários para definir parâmetros de detecção, gerar alertas e responder de forma eficaz a ameaças em potencial.

No momento, oferecemos suporte a oito tipos de log, incluindo NetFlow, logs de DNS, logs de acesso do Apache, logs do Windows, logs AD/LDAP, logs do sistema Linux, logs do AWS CloudTrail e logs de acesso do Amazon S3.

Você pode usar seus canais de ingestão existentes que enviam dados formatados em JSON para o OpenSearch.

Sim, pacotes de análise de segurança do OpenSearch com mais de 2.200 regras de segurança Sigma prontas para uso com diferentes tipos de detectores de segurança. Essas regras são pré-selecionadas quando você fornece uma configuração mínima sobre a origem do log.

Sim, regras personalizadas podem ser adicionadas para os tipos de log compatíveis acima. Essas regras precisam estar em um formato de regra Sigma e podem ser importadas para o OpenSearch antes de serem usadas com um detector de segurança.

Sim, os logs devem estar no formato JSON. Recomendamos enviá-los no formato ECS (Elastic Common Schema).

A análise de segurança do OpenSearch está disponível para você sem custos adicionais ou taxas de licenciamento. Você paga pelo mesmo custo que pagaria para ingerir outros dados no OpenSearch Service.

A análise de segurança vem pré-instalada com o OpenSearch Service executando a versão 2.5 ou superior do OpenSearch.

O Amazon Security Lake centraliza automaticamente os dados de segurança de fontes na nuvem, on-premises e personalizadas em um data lake específico armazenado em sua conta. Esses dados agregados são normalizados em um formato comum, armazenados em buckets do S3. Esses dados podem ser ingeridos no OpenSearch Service, que permite visualizar, consultar e criar relatórios. A análise de segurança fornece um mecanismo de regras de segurança que pode ajudar a detectar e alertar sobre possíveis eventos de segurança, bem como auxiliar a correlacioná-los para ajudar na sua investigação.

Sim, você pode trazer logs adicionais do Security Lake para o OpenSearch e criar um detector para executar regras relevantes nos logs ingeridos.

OR1, a família de instâncias otimizadas do OpenSearch que oferece uma relação até 30% maior entre preço e desempenho em relação às instâncias existentes em benchmarks internos e usa o Amazon S3 para fornecer 11 9s de durabilidade. Com o OR1, o Amazon OpenSearch Service usa a inovação do OpenSearch e as tecnologias da AWS para reimaginar como os dados são indexados e armazenados na nuvem. O OR1 permite que os clientes escalem de forma mais econômica e confiável suas implantações do OpenSearch, sem comprometer a experiência de análise interativa que eles esperam. 

OR1 é a família de instâncias otimizadas do OpenSearch para os clusters gerenciados do Amazon Opensearch Service que oferece uma relação até 30% maior entre preço e desempenho em relação às instâncias existentes em benchmarks internos e usa o Amazon S3 para fornecer 11 9s de durabilidade. Com o OR1, o Amazon OpenSearch Service usa a inovação do OpenSearch e as tecnologias da AWS para reimaginar como os dados são indexados e armazenados na nuvem. O OR1 permite que os clientes escalem de forma mais econômica e confiável suas implantações do OpenSearch, sem comprometer a experiência de análise interativa que eles esperam. O OR1 oferece preços de instâncias reservadas e com pagamento conforme o uso, com uma taxa horária simples para as instâncias e o armazenamento provisionados.

Os clientes usam amplamente o Amazon OpenSearch Service para análise de logs operacionais devido à sua capacidade de ingerir grandes volumes de dados e, ao mesmo tempo, fornecer análises abundantes e interativas sobre esses dados. OR1, a família de instâncias otimizadas do OpenSearch que oferece uma relação até 30% maior entre preço e desempenho em relação às instâncias existentes em benchmarks internos e usa o Amazon S3 para fornecer 11 9s de durabilidade. Se você estiver executando workloads pesadas de análise operacional de indexação, poderá se beneficiar da melhoria do desempenho e da eficiência computacional. Além disso, no caso de uma falha, o OpenSearch pode realizar a recuperação automática de dados até a última operação bem-sucedida, melhorando a confiabilidade do domínio.

O Amazon OpenSearch Service oferece suporte a duas estratégias de replicação — replicação lógica (documento) e física (segmento). No caso de replicação lógica, os dados são indexados em todas as cópias individualmente, levando à duplicação de esforços. No caso de replicação física, os dados são indexados somente na cópia primária e cópias adicionais são criadas copiando dados da cópia primária. OR1, as novas instâncias dos clusters gerenciados do Amazon OpenSearch Service, usam replicação física para gravar dados no armazenamento remoto baseado no Amazon S3. O repositório Amazon S3, um armazenamento de dados altamente durável, serve como fonte confiável para todas as operações de replicação e recuperação. O design inovador leva a melhorias no desempenho da indexação e a uma postura de durabilidade aprimorada para domínios do Amazon OpenSearch Service.

O Amazon OpenSearch Service oferece suporte a nós do gerenciador de clusters (nós principais), nós de dados e nós quentes. Para nós de dados, os clientes podem escolher entre: instâncias de uso geral, otimizadas para memória, otimizadas para computação, otimizadas para armazenamento e, agora, otimizadas para OpenSearch, dependendo da função e das características da workload. Para nós ativos, o Amazon OpenSearch Service fornece instâncias superativas que são otimizadas para reduzir o custo de armazenamento de dados quentes. As OR1 são a primeira opção de instâncias na nova família de instâncias otimizadas do OpenSearch. OR1 são otimizadas para memória e estão disponíveis como nós de dados. OR1 fornecem throughput de indexação aprimorada em relação às instâncias padrão otimizadas para memória. Além disso, OR1 fornecem durabilidade de dados sem depender de instantâneos e fornece recuperação rápida e automatizada. As instâncias OR1 e Ultrawarm usam armazenamento local (EBS) e armazenamento remoto (armazenamento gerenciado - com base no Amazon S3) para armazenar dados. Para OR1, uma cópia dos dados é mantida no armazenamento local e no armazenamento remoto, enquanto que, para o Ultrawarm, para reduzir os custos de armazenamento, os dados são mantidos principalmente no armazenamento remoto e, dependendo do padrão de acesso, os dados são movidos para o armazenamento local. 

As instâncias OR1 usam o EBS como armazenamento local e o Amazon S3 como armazenamento remoto. Todos os dados são gravados de forma síncrona no Amazon S3, projetado para fornecer 99,999999999% (11 9s) de durabilidade de dados.

As instâncias OR1 podem ser usadas como nós de dados para todos os novos clusters gerenciados do Amazon OpenSearch Service criados no OpenSearch versão 2.11 ou posterior e ter a criptografia em repouso ativada. No momento do lançamento, as instâncias OR1 não estarão disponíveis para clusters gerenciados que foram criados usando outras instâncias para nós de dados. Para OR1, você precisa provisionar instâncias Graviton para gerenciadores de cluster.

No caso de um índice vermelho, as instâncias OR1 restauram automaticamente os fragmentos perdidos do armazenamento remoto (Amazon S3). O tempo de recuperação varia de acordo com o volume de dados a serem recuperados. 

E-book de referência de arquitetura

Vídeo: Tools for data transformation (Ferramentas para transformação de dados)