Amazon OpenSearch Service 기능

핫 스토리지를 사용하면 자주 액세스하는 데이터의 조회가 빨라집니다. 웜 스토리지 계층인 UltraWarm은 대화식 쿼리 환경을 계속 제공하면서 오래되고 자주 액세스하지 않는 데이터에 대해 저렴한 스토리지를 제공함으로써 OpenSearch Service의 핫 스토리지를 보완합니다. UltraWarm은 Amazon Simple Storage Service(Amazon S3)에 데이터를 저장하며 데이터의 캐시, 미리 가져오기 및 쿼리를 신속하게 수행하기 위해 AWS Nitro System에 적합하게 구축되고 최고로 최적화된 사용자 지정 노드를 사용합니다.

UltraWarm을 사용하면 단일 OpenSearch Service 클러스터에 최대 3PB의 데이터를 보관하여 핫 스토리지 계층에 비해 GB당 비용을 거의 90% 줄여줍니다. 또한 Kibana(버전 7.10 및 그 이전) 또는 OpenSearch 대시보드 인터페이스에서 데이터를 쉽게 쿼리하고 시각화할 수 있습니다. 아카이빙된 로그를 복원하느라 몇 시간 또는 며칠을 소비하는 일 없이 최근(주 단위) 및 과거(월 또는 연 단위)의 로그 데이터를 분석합니다.

UltraWarm은 OpenSearch Service를 위한 저가의 완전관리형 웜 스토리지 계층입니다. OpenSearch, Elasticsearch(7.10 버전까지), OpenSearch 대시보드 및 Kibana(7.10 버전까지)와 호환되므로 OpenSearch Service가 현재 공급하는 것과 동일한 도구를 사용해 데이터를 분석하는 데 도움이 됩니다. UltraWarm은 통합 알림, SQL 쿼리 등 기존 OpenSearch Service의 기능과 원활하게 통합됩니다. 

UltraWarm을 사용하면 OpenSearch Service에서 분석하려는 데이터의 범위를 비용 효율적으로 확대할 수 있습니다. 이전에 삭제되거나 아카이빙되었을 수 있는 데이터에서 귀중한 인사이트를 얻을 수 있습니다. UltraWarm을 사용하면 더 많은 데이터를 경제적으로 보관하고, 필요할 때 언제든 대화형으로 분석할 수 있습니다.

OpenSearch Service는 2가지 통합 스토리지 계층인 핫 계층과 UltraWarm 계층을 지원합니다. 핫 계층은 인덱싱, 업데이트 및 데이터에 대한 가장 빠른 액세스를 제공하는 데 사용되는 데이터 노드로 구성됩니다. UltraWarm 노드는 오래되고 액세스 빈도가 적은 데이터를 위한 저렴한 읽기 전용 계층을 제공하여 핫 계층을 보완합니다.

UltraWarm은 99.999999999% 내구성을 위해 설계된 Amazon S3 스토리지를 사용하므로 웜 데이터를 위한 Elasticsearch 복제본을 구성할 필요가 없습니다. 또한 UltraWarm 노드가 여러 개 있는 경우, 노드 장애가 발생했을 때 필요에 맞게 다른 UltraWarm 노드가 자동으로 데이터에 액세스합니다.

UltraWarm은 최대 3PB의 프라이머리 데이터를 지원합니다. UltraWarm은 이 스토리지를 100% 활용할 수 있도록 설계되었습니다. 또한 UltraWarm은 Amazon S3에 데이터를 저장하여 내구성을 지원하기 때문에 Elasticsearch 복제본을 위한 추가 스토리지를 사용할 필요가 없습니다.

UltraWarm은 세분화된 I/O 캐싱, 프리페치 및 쿼리 엔진 최적화를 구현하여 OpenSearch 대시보드 및 Kibana에서 대화형 환경을 제공함으로써 로컬 스토리지를 사용하는 고밀도 인스턴스와 유사한 성능을 제공합니다.

UltraWarm 사용을 시작하려면 콘솔, CLI 또는 API를 통해 UltraWarm을 사용하도록 설정하고 새 OpenSearch Service 도메인을 생성해야 합니다. 도메인이 생성되면 OpenSearch/Elasticsearch API를 사용하여 데이터를 핫 계층에서 UltraWarm 계층으로 이동할 수 있습니다. 자세한 내용은 OpenSearch Service 개발자 안내서를 참조하세요.

콜드 스토리지는 OpenSearch Service의 스토리지 옵션 중에서 가장 저렴한 스토리지로, 자주 액세스하지 않는 데이터를 Amazon S3에 보존하고 필요할 때 컴퓨팅 비용만 지불하고 사용할 수 있는 스토리지입니다. 콜드 스토리지는 Amazon S3에 데이터를 저장하는 특별한 노드를 제공하며 정교한 캐싱 솔루션을 사용하여 대화형 경험을 구현하는 UltraWarm을 기반으로 합니다. 컴퓨팅 리소스를 스토리지와 분리하는 방식으로 콜드 스토리지를 사용하면 OpenSearch Service 도메인의 모든 데이터를 보존하면서도 GB당 비용을 Amazon S3 스토리지 가격 수준으로 절감할 수 있습니다. 기록 데이터 또는 자주 액세스하지 않는 웜 데이터를 사용하지 않는 동안 분리하여 여유 컴퓨팅 리소스를 확보함으로써 비용을 절감할 수 있습니다. Kibana(버전 7.10 및 그 이전) 또는 OpenSearch 대시보드 인터페이스 및 사용하기 쉬운 API를 사용하여 수초 만에 콜드 데이터를 탐색한 후 도메인의 UltraWarm 노드에 선택적으로 연결합니다. 콜드 스토리지가 있으면 웜 데이터와 유사한 대화형 경험과 성능으로 연결된 콜드 데이터를 쿼리할 수 있습니다.

OpenSearch에는 Elasticsearch B.V. 및 다른 소스 코드의 특정 Apache 라이선스 Elasticsearch 코드가 포함됩니다. Elasticsearch B.V.는 다른 소스 코드의 소스가 아닙니다. ELASTICSEARCH는 Elasticsearch B.V.의 등록 상표입니다.

콜드 스토리지는 OpenSearch Service에서 기록 로그를 온디맨드로 안전하게 저장하고 분석하는 데 사용할 수 있는 완전관리형의 가장 저렴한 스토리지 계층입니다. 콜드 스토리지를 사용하면 데이터 분석을 적극적으로 수행하지 않을 때 컴퓨팅에서 스토리지를 완전히 분리할 수 있기 때문에 저렴한 비용으로 데이터의 가용성을 유지할 수 있습니다. 콜드 스토리지 데이터는 OpenSearch Service 도메인 내에서 UltraWarm 노드를 통해 사용할 수 있습니다. 콜드 스토리지는 Elasticsearch(버전 7.9 및 7.10) 및 Kibana(버전 7.9 및 7.10)와 마찬가지로 OpenSearch 및 OpenSearch 대시보드와 원활하게 통합됩니다. 현재 OpenSearch 서비스가 제공하는 것과 동일한 도구를 사용하여 데이터를 분석하는 데 도움이 됩니다.

콜드 스토리지는 OpenSearch Service에서 분석하려는 데이터의 범위를 비용 효율적으로 확대하고, 이전에 삭제되었거나 아카이빙되었을 수 있는 데이터에서 유용한 인사이트를 얻는 데 도움이 됩니다. 콜드 스토리지는 이전 데이터를 기반으로 연구 또는 과학 수사 분석을 수행해야 하고 OpenSearch Service의 모든 기능을 사용하여 합리적인 요금으로 이를 수행하려는 경우 아주 적합합니다. 콜드 스토리지는 확장성을 고려하여 구축되었으며 Amazon S3로 지원됩니다. 필요한 데이터를 찾고 검색한 후 클러스터의 UltraWarm 노드에 연결하면 몇 초 안에 분석에 사용할 수 있습니다. 연결된 콜드 데이터에는 인덱스, 문서 및 필드 수준에서 액세스를 제한하는 기존의 세분화된 액세스 제어 정책이 적용됩니다.

콜드 스토리지를 사용하는 경우 OpenSearch Service는 3가지 통합 스토리지 계층인 핫 계층, UltraWarm 및 콜드 계층을 지원합니다. 핫 계층은 인덱싱, 업데이트 및 가장 빠른 데이터 액세스 제공에 사용됩니다. UltraWarm은 내구성을 위해 Amazon S3에 저장하지만 지속적으로 사용할 수 있어야 하는 데이터에 고성능의 대화형 경험을 제공하는 컴퓨팅 노드를 제공하여 핫 티어를 원활하게 연장하며 현재 단일 도메인에서 최대 3PB의 데이터를 지원합니다. 콜드 스토리지를 사용하면 인덱스를 사용하지 않는 동안 UltraWarm에서 인덱스를 분리하고 컴퓨팅 리소스를 확보함으로써 비용을 절감할 수 있습니다. 콜드 스토리지 API와 OpenSearch 대시보드 및 Kibana 인터페이스를 통해 인덱스 패턴 및 데이터 타임스탬프를 기준으로 인덱스를 검색하여 분석에 필요한 데이터를 손쉽게 찾을 수 있습니다. 그런 다음 이 데이터를 도메인에 연결하고 몇 초 안에 분석에 사용할 수 있습니다. 분석이 완료되면 데이터를 간단히 분리하여 여유 컴퓨팅 리소스를 다시 확보할 수 있습니다. 

콜드 스토리지는 확장성을 고려하여 구축되었습니다. 핫 데이터 및 웜 데이터의 스토리지 한도는 3PB로 유지되지만 콜드 스토리지에는 원하는 양의 데이터를 저장할 수 있습니다.

콜드 스토리지는 Amazon S3에 데이터를 저장하는 특별한 노드를 제공하며 정교한 캐싱 솔루션을 사용하여 대화형 경험을 구현하는 UltraWarm을 기반으로 합니다. 먼저 콜드 데이터를 OpenSearch Service 도메인의 UltraWarm 노드에 연결해야 합니다. 연결되면 기존 UltraWarm 노드에서 이 데이터에 대한 쿼리를 지원하여 웜 데이터와 동일한 성능을 제공합니다. 콜드 인덱스를 도메인에 연결할 때는 요청된 데이터에 사용할 수 있는 UltraWarm 용량이 충분하기만 하면 몇 초 안에 연결됩니다. 추가 용량이 필요한 경우 UltraWarm 데이터 노드를 추가해야 하며 추가하는 데 몇 분 정도 걸릴 수 있습니다.

OpenSearch Service는 데이터베이스 검색을 뛰어 넘어서는 실시간 문서 검색 기능을 제공합니다. 이 완전관리형 서비스는 검색에 OpenSearch 엔진을 사용합니다. OpenSearch는 완전한 기능을 갖춘 Lucene 기반의 휴대 가능하며 플랫폼에 구애받지 않는 오픈 소스 검색 엔진이며 키보드 검색, 자연어 검색, 동의어, 여러 언어 등을 지원합니다. 핵심 검색 기능에는 다음이 포함됩니다.

• 데이터베이스 또는 콘텐츠 관리 시스템, 웹 또는 인트라넷 크롤러 또는 스트리밍 서비스에서 데이터를 수집
• 검색 API를 제공하여 검색 서비스의 맨 위에 프런트엔드 구축
• 여러 속성에 걸쳐 검색 제공
• 저장된 쿼리 집합과 잠재 검색이 일치하는 새 문서 파악(퍼컬레이션)
• OpenSearch 서비스 모니터링 기능을 통해 사용 패턴을 평가하고 용량 계획 및 비용 예측을 수행
• K-최근접 이웃(k-NN) 검색에 대해 내장 기계 학습(ML) 알고리즘을 사용하여 벡터 검색, 유사성 검색, 시맨틱 검색 등을 수행
• 내장된 순위 매기기 기계 학습 알고리즘을 사용하여 관련성 점수 계산
• 단순하고 확장 가능한 고성능 벡터 스토리지 및 검색을 제공하여 ML 증강 검색 경험 및 생성형 AI 애플리케이션을 지원
• SQL을 비롯한 여러 쿼리 언어 사용

리소스 검색

동영상: 검색을 위한 AWS On Air

동영상: 기계 학습 기반 검색에서의 LexisNexis

데모: Amazon OpenSearch Service를 사용하여 검색 결과 향상

워크숍: Amazon OpenSearch Service에서 기계 학습을 사용하여 검색 관련성 향상

블로그: Novartis AG, OpenSearch Service k-NN 및 SageMaker를 사용하여 검색 및 추천 기능을 구동

참조 아키텍처 다이어그램: 검색 지원 애플리케이션

보안 운영(SecOps) 팀에서는 저렴한 데이터 보존 비용으로 보안 조사를 지원하는 도구를 보유하면서 잠재적 위협을 신속하게 탐지할 수 있습니다. 비즈니스 데이터를 보호하고 잠재적인 보안 위협을 신속하게 탐지합니다. OpenSearch Service는 2,200개 이상의 오픈 소스 Sigma 보안 규칙을 기본적으로 지원하므로 보안 결과를 필터링하여 잠재적인 보안 위협을 탐지할 수 있습니다. 기본 Sigma 규칙을 사용하거나 사용자 지정하여 잠재적인 보안 위협을 신속하게 탐지하고 미리 선택한 대상으로 경고를 보낼 수도 있습니다. Windows, NetFlow, AWS CloudTrail, DNS 등을 비롯한 여러 로그 소스가 기본적으로 지원됩니다. 

OpenSearch 보안 분석은 비즈니스 핵심 기능의 운영을 위태롭게 할 수 있는 보안 위협을 조사, 탐지, 분석 및 대응하는 데 도움이 되도록 설계되었습니다. 이러한 위협으로는 기밀 데이터의 잠재적 노출, 사이버 공격 및 기타 악의적인 보안 이벤트 등이 있습니다. 보안 분석에는 탐지 파라미터를 정의하고, 경고를 생성하며, 잠재적 위협에 효과적으로 대응하는 데 필요한 도구와 기능이 포함됩니다.

현재 NetFlow, DNS 로그, Apache 액세스 로그, Windows 로그, AD/LDAP 로그, Linux 시스템 로그, AWS CloudTrail 로그 및 Amazon S3 액세스 로그를 포함한 8가지 로그 유형을 지원합니다.

JSON 형식의 데이터를 OpenSearch로 보내는 기존 수집 파이프라인을 사용할 수 있습니다.

예. OpenSearch 보안 분석은 다양한 유형의 보안 탐지기와 함께 즉시 사용 가능한 2,200개 이상의 Sigma 보안 규칙을 패키지로 제공합니다. 로그 소스에 대한 최소 구성을 제공하면 이러한 규칙이 미리 선택됩니다.

예. 위의 지원되는 로그 유형에 대한 사용자 지정 규칙을 추가할 수 있습니다. 이러한 규칙은 Sigma 규칙 형식이어야 하며 보안 탐지기와 함께 사용하기 전에 OpenSearch로 가져올 수 있습니다.

예. 로그는 JSON 형식이어야 합니다. Elastic Common Schema(ECS) 형식으로 전송하는 것이 좋습니다.

OpenSearch 보안 분석은 추가 비용이나 라이선스 비용 없이 사용할 수 있습니다. 다른 데이터를 OpenSearch Service로 수집할 때와 동일한 비용을 지불하면 됩니다.

보안 분석은 OpenSearch 버전 2.5 이상을 실행하는 OpenSearch Service에 사전 설치되어 제공됩니다.

Amazon Security Lake는 클라우드, 온프레미스 및 사용자 지정 소스의 보안 데이터를 계정에 저장된 중앙의 목적별 데이터 레이크에 자동 수집합니다. 이 집계된 데이터는 공통 형식으로 정규화되어 S3 버킷에 저장됩니다. 이 데이터를 OpenSearch Service로 수집하여 데이터에 대한 시각화 및 쿼리를 수행하고 보고서를 작성할 수 있습니다. 보안 분석은 잠재적인 보안 이벤트를 탐지하고 이에 대해 경고하는 데 도움이 될 뿐만 아니라 이러한 이벤트의 상관 관계를 분석하여 조사에 도움이 되는 보안 규칙 엔진을 제공합니다.

예. Security Lake의 추가 로그를 OpenSearch로 가져오고 탐지기를 만들어 수집된 로그에서 관련 규칙을 실행할 수 있습니다.

OpenSearch 최적화 인스턴스 제품군인 OR1은 내부 벤치마크에서 기존 인스턴스보다 가격 대비 최대 30% 향상된 성능을 전달하며 Amazon S3를 사용하여 11개의 9 내구성을 제공합니다. OR1을 통해 Amazon OpenSearch Service는 OpenSearch의 혁신과 AWS 기술을 사용하여 데이터가 인덱싱되고 클라우드에 저장되는 방식을 재구상합니다. OR1을 사용하면 고객이 기대하는 대화형 분석 경험에 영향을 주지 않으면서 OpenSearch 배포를 보다 경제적이고 안정적으로 확장할 수 있습니다. 

OR1은 Amazon OpenSearch Service 관리형 클러스터를 위한 OpenSearch 최적화 인스턴스 제품군으로, 내부 벤치마크에서 기존 인스턴스에 비해 가격 대비 성능을 최대 30% 개선했으며 Amazon S3를 사용하여 11개의 9 내구성을 제공합니다. OR1을 통해 Amazon OpenSearch Service는 OpenSearch의 혁신과 AWS 기술을 사용하여 데이터가 인덱싱되고 클라우드에 저장되는 방식을 재구상합니다. OR1을 사용하면 고객이 기대하는 대화형 분석 경험에 영향을 주지 않으면서 OpenSearch 배포를 보다 경제적이고 안정적으로 확장할 수 있습니다. OR1은 사용한 만큼만 지불하고 예약 인스턴스 요금을 제공하며, 프로비저닝된 인스턴스와 스토리지에 대해 간단한 시간당 요금을 적용합니다.

고객이 운영 로그 분석에 Amazon OpenSearch Service를 널리 사용하는 이유는 대량의 데이터를 수집하는 동시에 해당 데이터에 대한 풍부한 대화형 분석을 제공하기 때문입니다. OpenSearch 최적화 인스턴스 제품군인 OR1은 내부 벤치마크에서 기존 인스턴스보다 가격 대비 최대 30% 향상된 성능을 전달하며 Amazon S3를 사용하여 11개의 9 내구성을 제공합니다. 인덱싱이 많은 운영 분석 워크로드를 실행하는 경우 향상된 성능과 향상된 컴퓨팅 효율성을 활용할 수 있습니다. 또한 오류가 발생할 경우 OpenSearch는 마지막으로 성공한 작업까지 자동 데이터 복구를 수행하여 도메인의 안정성을 높일 수 있습니다.

Amazon OpenSearch Service는 논리적(문서) 복제와 물리적(세그먼트) 복제라는 두 가지 복제 전략을 지원합니다. 논리적 복제의 경우 모든 복제본의 데이터가 개별적으로 인덱싱되므로 작업이 중복됩니다. 물리적 복제의 경우 데이터는 기본 복제본에서만 인덱싱되며 기본 복제본에서 데이터를 복사하여 추가 복제본을 생성합니다. Amazon OpenSearch Service 관리형 클러스터의 새로운 인스턴스인 OR1은 물리적 복제를 사용하여 Amazon S3를 기반으로 원격 스토어에 데이터를 기록합니다. 내구성이 뛰어난 데이터 스토어인 Amazon S3 리포지토리는 모든 복제 및 복구 작업에 대한 정보 소스 역할을 합니다. 혁신적인 설계로 인해 인덱싱 성능이 개선되고 Amazon OpenSearch Service 도메인의 내구성 상태가 개선되었습니다.

Amazon OpenSearch Service는 클러스터 관리자 노드(프라이머리 노드), 데이터 노드 및 웜 노드를 지원합니다. 데이터 노드의 경우 고객은 역할 및 워크로드 특성에 따라 범용, 메모리 최적화, 컴퓨팅 최적화, 스토리지 최적화, 현재 OpenSearch 최적화 인스턴스 중에서 선택할 수 있습니다. 웜 노드의 경우, Amazon OpenSearch Service는 웜 데이터 저장 비용을 절감하도록 최적화된 Ultrawarm 인스턴스를 제공합니다. OR1은 새로운 OpenSearch Optimized 인스턴스 패밀리의 첫 번째 인스턴스 옵션입니다. OR1은 메모리에 최적화되어 있으며 데이터 노드로 사용할 수 있습니다. OR1은 표준 메모리 최적화 인스턴스보다 향상된 인덱싱 처리량을 제공합니다. 또한 OR1은 스냅샷에 의존하지 않고 데이터 내구성을 제공하며 빠른 자동 복구를 제공합니다. OR1과 Ultrawarm 인스턴스 모두 로컬 스토어(EBS) 와 원격 스토어(관리형 스토리지 - Amazon S3 기반)를 사용하여 데이터를 저장합니다. OR1의 경우 데이터 사본이 로컬 저장소와 원격 저장소에 모두 보관되는 반면, Ultrawarm의 경우 스토리지 비용을 줄이기 위해 데이터를 주로 원격 스토어에 보관하고 액세스 패턴에 따라 데이터를 로컬 스토어로 이동합니다. 

OR1 인스턴스는 EBS를 로컬 스토어로 사용하고 Amazon S3를 원격 스토어로 사용합니다. 모든 데이터는 99.999999999%(11개의 9)의 데이터 내구성을 제공하도록 설계된 Amazon S3에 동시에 기록됩니다.

OR1 인스턴스는 OpenSearch 버전 2.11 이상에서 생성된 모든 새로운 Amazon OpenSearch Service 관리형 클러스터의 데이터 노드로 사용할 수 있으며 저장 시 암호화를 활성화할 수 있습니다. 시작 시점에 OR1 인스턴스는 데이터 노드용 다른 인스턴스를 사용하여 생성한 관리형 클러스터에 사용할 수 없습니다. OR1의 경우 클러스터 관리자용 Graviton 인스턴스를 프로비저닝해야 합니다.

빨간색 인덱스가 있는 경우 OR1 인스턴스는 원격 스토어(Amazon S3)에서 누락된 샤드를 자동으로 복원합니다. 복구 시간은 복구할 데이터의 볼륨에 따라 다릅니다. 

참조 아키텍처 eBook

동영상: 데이터 변환을 위한 도구