Fitur Amazon OpenSearch Service

Penyimpanan panas memungkinkan pengambilan data yang sering diakses secara cepat. UltraWarm merupakan tingkat penyimpanan hangat yang melengkapi tingkat penyimpanan panas OpenSearch Service dengan menyediakan penyimpanan yang lebih murah untuk data yang lebih lama dan lebih jarang diakses, sambil tetap memberikan pengalaman kueri yang interaktif. UltraWarm menyimpan data di Amazon Simple Storage Service (Amazon S3) dan menggunakan simpul kustom dengan pengoptimalan tinggi yang dibuat khusus di AWS Nitro System untuk melakukan cache, prefetch, dan kueri data tersebut dengan cepat.

Dengan UltraWarm, Anda bisa mempertahankan hingga 3 PB data dalam satu klaster OpenSearch Service, sekaligus mengurangi biaya per GB hingga hampir 90% dibandingkan dengan tingkat penyimpanan panas. Anda juga dapat melakukan kueri dan memvisualisasikan data secara mudah di antarmuka Kibana (versi 7.10 dan versi sebelumnya) atau Dasbor OpenSearch. Lakukan analisis pada data log terkini (minggu) dan riwayat (bulan atau tahun) Anda tanpa perlu meluangkan waktu selama berjam-jam atau berhari-hari untuk memulihkan log yang diarsipkan.

UltraWarm adalah tingkat penyimpanan hangat yang terkelola penuh dan berbiaya rendah untuk OpenSearch Service. UltraWarm kompatibel dengan OpenSearch, Elasticsearch (hingga versi 7.10), Dasbor OpenSearch, dan Kibana (hingga versi 7.10) sehingga membantu Anda menganalisis data menggunakan alat yang sama yang disediakan OpenSearch Service saat ini. UltraWarm secara lancar terintegrasi dengan fitur OpenSearch Service yang sudah ada seperti peringatan terintegrasi, kueri SQL, dan masih banyak lagi. 

UltraWarm membantu Anda memperluas data yang ingin dianalisis secara efektif di OpenSearch Service. Anda dapat memperoleh wawasan berharga tentang data yang sebelumnya mungkin telah dihapus atau diarsipkan. Dengan UltraWarm, kini Anda dapat mempertahankan lebih banyak data secara ekonomis untuk menganalisisnya secara interaktif kapan pun.

OpenSearch Service mendukung dua tingkat penyimpanan terintegrasi, panas dan UltraWarm. Tingkat panas didukung oleh simpul data yang digunakan untuk mengindeks, memperbarui, dan menyediakan akses tercepat ke data. Simpul UltraWarm melengkapi tingkat panas dengan menyediakan tingkat hanya baca yang berbiaya rendah untuk data yang lebih lama dan lebih jarang diakses.

UltraWarm menggunakan Amazon S3 untuk penyimpanan, yang dirancang untuk 99,999999999 persen ketahanan, dan menghilangkan kebutuhan untuk mengonfigurasi replika Elasticsearch bagi data hangat Anda. Selain itu, jika Anda memiliki lebih dari satu simpul UltraWarm lalu terjadi kegagalan simpul, simpul UltraWarm lainnya akan secara otomatis mengakses data sesuai kebutuhan.

UltraWarm mendukung hingga 3 PB data primer. UltraWarm dirancang untuk memungkinkan Anda memanfaatkan 100% penyimpanan ini. Karena UltraWarm menyimpan data di Amazon S3 untuk ketahanan, Anda tidak perlu menggunakan penyimpanan tambahan untuk replika Elasticsearch.

UltraWarm menghadirkan pengalaman interaktif di Dasbor OpenSearch dan Kibana dengan mengimplementasikan caching I/O yang terperinci, pengambilan terlebih dahulu, dan optimisasi mesin kueri untuk memberikan performa yang serupa dengan instans yang memiliki kepadatan tinggi menggunakan penyimpanan lokal.

Untuk memulai UltraWarm, buat domain OpenSearch Service baru dengan UltraWarm yang diaktifkan melalui konsol, CLI, atau API. Setelah domain dibuat, Anda dapat memindahkan data dari tingkat panas ke UltraWarm menggunakan API OpenSearch/Elasticsearch. Untuk informasi selengkapnya, lihat Panduan Developer OpenSearch Service.

Penyimpanan dingin merupakan opsi penyimpanan berbiaya terendah untuk OpenSearch Service, yang memungkinkan Anda mempertahankan data yang jarang diakses di Amazon S3 dan hanya membayar biaya komputasi saat Anda memerlukannya. Penyimpanan dingin dibangun di atas UltraWarm, yang menyediakan simpul khusus dan menyimpan data di Amazon S3 serta menggunakan solusi cache yang canggih untuk memberikan pengalaman interaktif. Dengan memisahkan sumber daya komputasi dari penyimpanan, penyimpanan dingin membantu Anda mempertahankan data dalam jumlah berapa pun di domain OpenSearch Service, sekaligus mengurangi biaya per GB hingga mendekati harga penyimpanan Amazon S3. Lepaskan data hangat historis atau data yang jarang diakses saat tidak digunakan dan kosongkan komputasi untuk membantu menurunkan biaya operasi. Temukan dan lampirkan data dingin Anda secara selektif ke simpul UltraWarm domain dalam hitungan detik dengan pilihan antarmuka Kibana (versi 7.10 dan versi sebelumnya) atau Dasbor OpenSearch dan API yang mudah digunakan. Dengan cold storage, Anda dapat melakukan kueri data dingin terlampir sambil menghadirkan pengalaman dan kinerja interaktif yang serupa dengan data hangat Anda.

OpenSearch mencakup kode Elasticsearch tertentu yang berlisensi Apache dari Elasticsearch B.V. dan kode sumber lainnya. Elasticsearch B.V. bukan merupakan sumber dari kode sumber lain tersebut. ELASTICSEARCH adalah merek dagang terdaftar dari Elasticsearch B.V.

Penyimpanan dingin adalah tingkat penyimpanan terkelola penuh dengan berbiaya terendah untuk OpenSearch Service yang akan memudahkan Anda menyimpan dan menganalisis log historis sesuai permintaan dengan aman. Penyimpanan dingin membantu Anda untuk sepenuhnya melepaskan penyimpanan dari komputasi ketika Anda tidak lagi secara aktif melakukan analisis data dan memungkinkan data Anda tetap tersedia dengan biaya rendah. Data penyimpanan dingin tersedia dalam domain OpenSearch Service melalui simpul UltraWarm Anda. Penyimpanan dingin terintegrasi secara lancar dengan OpenSearch dan Dasbor OpenSearch, serta Elasticsearch (versi 7.9 dan 7.10) dan Kibana (versi 7.9 dan 7.10). Hal ini membantu Anda menganalisis data menggunakan alat yang sama, yang saat ini disediakan oleh OpenSearch Service.

Penyimpanan dingin memungkinkan Anda untuk secara efektif memperluas data yang ingin Anda analisis di OpenSearch Service dan mendapatkan wawasan berharga tentang data yang sebelumnya mungkin telah dihapus atau diarsipkan. Penyimpanan dingin sangat cocok jika Anda memiliki kebutuhan untuk melakukan penelitian atau analisis forensik pada data lama Anda dan ingin menggunakan semua kemampuan OpenSearch Service untuk melakukannya dengan harga yang terjangkau. Penyimpanan dingin dibuat untuk menskalakan dan didukung oleh Amazon S3. Cari dan temukan data yang Anda butuhkan, lampirkan ke simpul UltraWarm di klaster Anda, dan sediakan untuk analisis dalam hitungan detik. Data dingin yang terlampir tunduk pada kebijakan kontrol akses mendetail yang ada serta membatasi akses pada tingkat indeks, dokumen, dan bidang.

Dengan penyimpanan dingin, OpenSearch Service mendukung tiga tingkat penyimpanan terintegrasi: panas, UltraWarm, dan dingin. Tingkat panas digunakan untuk mengindeks, memperbarui, dan menyediakan akses tercepat ke data. UltraWarm menyediakan ekstensi tanpa batas dari hot tier dengan menyediakan node komputasi yang memberikan pengalaman interaktif berkinerja tinggi untuk data yang disimpan secara tahan lama di Amazon S3 dan perlu tersedia terus-menerus, saat ini mendukung hingga 3PB data dalam satu domain. Dengan penyimpanan dingin, kini Anda dapat melepaskan indeks dari UltraWarm saat tidak digunakan dan mengosongkan komputasi untuk membantu menurunkan biaya. Dengan API penyimpanan dingin dan Dasbor OpenSearch serta antarmuka Kibana, Anda dapat menemukan indeks berdasarkan pola indeks dan stempel waktu data untuk menemukan hal yang Anda perlukan untuk analisis secara mudah. Kemudian, data tersebut dapat dilampirkan ke domain dan siap dianalisis dalam hitungan detik. Setelah Anda selesai menganalisis, lepaskan data, lalu bebaskan komputasi Anda kembali. 

Penyimpanan dingin dibuat untuk menskalakan. Meskipun batas penyimpanan untuk data panas dan hangat tetap pada 3 PB, Anda dapat menyimpan data dalam jumlah berapa pun dalam penyimpanan dingin.

Penyimpanan dingin dibangun di atas UltraWarm, yang menyediakan simpul khusus dan menyimpan data di Amazon S3 serta menggunakan solusi cache yang canggih untuk memberikan pengalaman interaktif. Data dingin harus terlebih dahulu dilampirkan ke simpul UltraWarm dari domain OpenSearch Service Anda. Setelah dilampirkan, kueri pada data ini didukung oleh simpul UltraWarm yang sudah ada dan menawarkan performa yang sama dengan data hangat Anda. Melampirkan indeks dingin ke domain Anda membutuhkan waktu beberapa detik jika tersedia kapasitas UltraWarm yang cukup untuk data yang diminta. Jika Anda membutuhkan kapasitas tambahan, simpul data UltraWarm harus ditambahkan dan dapat memakan waktu selama beberapa menit.

OpenSearch Service menyediakan kemampuan pencarian dokumen waktu nyata yang melampaui pencarian basis data. Layanan terkelola penuh ini menggunakan mesin OpenSearch untuk pencarian. OpenSearch adalah mesin pencari sumber terbuka yang bersifat agnostik platform, berfitur lengkap, berbasis Lucene, dan portabel, yang mendukung pencarian kata kunci, pencarian bahasa alami, sinonim, banyak bahasa, dan lainnya. Kemampuan pencarian inti meliputi:

• Memperoleh data dari basis data atau sistem manajemen konten, perayap web atau intranet, atau layanan streaming
• Menyediakan API pencarian untuk membangun frontend di atas layanan pencarian
• Mendukung pencarian di banyak atribut
• Mencari dokumen baru yang cocok dengan serangkaian kueri tersimpan dengan pencarian prospektif (perkolasi)
• Menilai pola penggunaan dan melakukan perencanaan kapasitas serta prediksi biaya dengan kemampuan pemantauan OpenSearch Service
• Menggunakan algoritma machine learning (ML) bawaan untuk pencarian k-tetangga terdekat (k-NN) guna menyelesaikan pencarian vektor, pencarian kesamaan, pencarian semantik, dan lainnya
• Menggunakan algoritma ML bawaan untuk Pembelajaran Peringkat guna menghitung skor relevansi
• Menyediakan penyimpanan dan pencarian vektor yang sederhana, dapat diskalakan, dan beperforma tinggi untuk mendukung pengalaman pencarian ML yang ditingkatkan dan aplikasi AI generatif
• Menggunakan beberapa bahasa kueri, termasuk SQL

Sumber daya pencarian

Video: AWS On Air untuk pencarian

Video: LexisNexis pada pencarian berbasis ML

Demo: Tingkatkan hasil pencarian dengan Amazon OpenSearch Service

Lokakarya: Tingkatkan relevansi pencarian dengan ML di Amazon OpenSearch Service

Blog: Novartis AG menggunakan Layanan OpenSearch k-NN dan SageMaker untuk mendukung pencarian dan rekomendasi

Diagram arsitektur referensi: Aplikasi yang didukung pencarian

Bantu tim operasi keamanan (SecOps) Anda untuk mendeteksi potensi ancaman secara cepat sekaligus memiliki alat untuk membantu penyelidikan keamanan, dengan biaya retensi data yang rendah. Amankan data bisnis Anda dan deteksi potensi ancaman keamanan dengan cepat. OpenSearch Service menyediakan dukungan unik untuk lebih dari 2.200 aturan keamanan Sigma sumber terbuka guna mendeteksi potensi ancaman keamanan dengan memfilter melalui temuan keamanan. Bahkan, Anda dapat menyesuaikan atau menggunakan aturan Sigma default untuk mendeteksi potensi ancaman keamanan secara cepat dan mengirimkan peringatan ke tujuan yang telah dipilih sebelumnya. Gunakan dukungan siap pakai untuk beberapa sumber log termasuk Windows, NetFlow, AWS CloudTrail, DNS, dan lainnya. 

Analitik keamanan OpenSearch dirancang untuk membantu menyelidiki, mendeteksi, menganalisis, dan merespons ancaman keamanan yang dapat membahayakan operasi fungsi penting dalam bisnis. Ancaman ini mencakup potensi paparan data rahasia, serangan siber, dan peristiwa keamanan yang merugikan lainnya. Analitik keamanan ini mencakup alat dan fitur yang diperlukan untuk menentukan parameter deteksi, menghasilkan peringatan, dan merespons potensi ancaman secara efektif.

Kami mendukung delapan jenis log, termasuk NetFlow, log DNS, log akses Apache, log Windows, log AD/LDAP, log sistem Linux, log AWS CloudTrail, dan log akses Amazon S3.

Anda dapat menggunakan alur penyerapan yang ada, yang mengirim data dengan format JSON ke OpenSearch.

Ya, analitik keamanan OpenSearch mengemas lebih dari 2.200 aturan keamanan Sigma untuk penggunaan siap pakai dengan berbagai jenis detektor keamanan. Aturan ini telah dipilih sebelumnya setelah Anda memberikan konfigurasi minimal tentang sumber log.

Ya, aturan kustom dapat ditambahkan untuk jenis log yang didukung di atas. Aturan ini harus dalam format aturan Sigma dan dapat diimpor ke OpenSearch sebelum digunakan dengan detektor keamanan.

Ya, log tersebut harus dalam format JSON. Kami menyarankan agar Anda mengirimnya dalam format ECS (Elastic Common Schema).

Analitik keamanan OpenSearch tersedia untuk Anda tanpa biaya tambahan atau biaya lisensi. Anda membayar biaya yang sama seperti yang Anda bayarkan untuk menyerap data lain ke OpenSearch Service.

Analitik keamanan bersifat prainstal dengan OpenSearch Service yang menjalankan OpenSearch versi 2.5 atau yang lebih tinggi.

Danau Keamanan Amazon secara otomatis memusatkan data keamanan dari cloud, on-premise, dan sumber kustom ke dalam danau data yang dibangun secara khusus dan disimpan di akun Anda. Data agregat ini dinormalisasikan ke dalam format umum dan disimpan di dalam bucket S3. Data ini dapat diserap ke dalam OpenSearch Service, yang memungkinkan Anda untuk memvisualisasikan, melakukan kueri, dan membuat laporan. Analitik keamanan menyediakan mesin aturan keamanan yang dapat membantu Anda mendeteksi dan memperingatkan potensi peristiwa keamanan, serta membantu menghubungkannya untuk membantu penyelidikan Anda.

Ya, Anda dapat membawa log tambahan dari Security Lake ke OpenSearch dan membuat detektor untuk menjalankan aturan yang relevan pada log yang diserap.

OR1, keluarga Instans yang Dioptimalkan OpenSearch, yang memberikan peningkatan performa harga hingga 30% dibandingkan dengan instans yang sudah ada di tolok ukur internal dan menggunakan Amazon S3 untuk memberikan daya tahan yang sangat tinggi. Dengan OR1, Amazon OpenSearch Service menggunakan inovasi OpenSearch dan teknologi AWS untuk menata ulang cara data diindeks dan disimpan di cloud. OR1 memungkinkan pelanggan untuk menskalakan deployment OpenSearch mereka secara lebih ekonomis dan andal tanpa mengorbankan pengalaman analitik interaktif yang diharapkan. 

OR1, keluarga Instans yang Dioptimalkan OpenSearch untuk klaster terkelola Amazon OpenSearch Service, yang memberikan peningkatan performa harga hingga 30% dibandingkan dengan instans yang ada di tolok ukur internal dan menggunakan Amazon S3 untuk memberikan daya tahan yang sangat tinggi. Dengan OR1, Amazon OpenSearch Service menggunakan inovasi OpenSearch dan teknologi AWS untuk menata ulang cara data diindeks dan disimpan di cloud. OR1 memungkinkan pelanggan untuk menskalakan deployment OpenSearch mereka secara lebih ekonomis dan andal tanpa mengorbankan pengalaman analitik interaktif yang diharapkan. OR1 menawarkan harga instans terpesan dan bayar sesuai penggunaan, dengan tarif per jam sederhana untuk instans dan penyimpanan yang disediakan.

Pelanggan banyak menggunakan Amazon OpenSearch Service untuk analitik log operasional karena kemampuannya untuk menyerap volume data yang tinggi sekaligus menyediakan analitik yang kaya dan interaktif pada data ini. OR1, keluarga Instans yang Dioptimalkan OpenSearch, yang memberikan peningkatan performa harga hingga 30% dibandingkan dengan instans yang sudah ada di tolok ukur internal dan menggunakan Amazon S3 untuk memberikan daya tahan yang sangat tinggi. Jika Anda menjalankan pengindeksan beban kerja analitik operasional yang berat, Anda dapat memperoleh manfaat dari peningkatan performa dan peningkatan efisiensi komputasi. Selain itu, jika terjadi kegagalan, OpenSearch dapat melakukan pemulihan data otomatis ke operasi terakhir yang berhasil sehingga meningkatkan keandalan domain.

Amazon OpenSearch Service mendukung dua strategi replikasi, yaitu replikasi logis (dokumen) dan fisik (segmen). Dalam kasus replikasi logis, data diindeks pada semua salinan secara individual, yang mengarah ke duplikasi upaya. Dalam kasus replikasi fisik, data hanya diindeks pada salinan primer dan salinan tambahan dibuat dengan menyalin data dari primer. OR1, instans baru untuk klaster yang dikelola Amazon OpenSearch Service, menggunakan replikasi fisik untuk menulis data ke penyimpanan jarak jauh berdasarkan Amazon S3. Repositori Amazon S3, penyimpanan data yang sangat tahan lama, berfungsi sebagai sumber informasi untuk semua operasi replikasi dan pemulihan. Desain inovatif mengarah pada peningkatan performa pengindeksan dan postur daya tahan yang ditingkatkan untuk domain Amazon OpenSearch Service.

Amazon OpenSearch Service mendukung simpul manajer klaster (simpul utama), simpul data, dan simpul hangat. Untuk simpul data, pelanggan dapat memilih dari tujuan umum, memori yang dioptimalkan, komputasi yang dioptimalkan, penyimpanan yang dioptimalkan, dan sekarang instans yang dioptimalkan OpenSearch, tergantung pada peran dan karakteristik beban kerja. Untuk simpul hangat, Amazon OpenSearch Service menyediakan instans ultrawarm yang dioptimalkan untuk mengurangi biaya penyimpanan data hangat. OR1 adalah opsi instans pertama dalam keluarga instans yang Dioptimalkan OpenSearch yang baru. OR1 adalah memori yang dioptimalkan dan tersedia sebagai simpul data. OR1 memberikan throughput pengindeksan yang lebih baik daripada instans memori yang dioptimalkan standar. Selain itu, OR1 memberikan daya tahan data tanpa bergantung pada snapshot dan memberikan pemulihan otomatis yang cepat. Instans OR1 dan Ultrawarm menggunakan penyimpanan lokal (EBS) dan penyimpanan jarak jauh (Penyimpanan Terkelola - berdasarkan Amazon S3) untuk menyimpan data. Untuk OR1, salinan data disimpan di penyimpanan lokal dan penyimpanan jarak jauh, sedangkan untuk Ultrawarm, data disimpan terutama di penyimpanan jarak jauh dan tergantung pada pola akses data dipindahkan ke penyimpanan lokal, guna mengurangi biaya penyimpanan. 

Instans OR1 menggunakan EBS sebagai penyimpanan lokal dan Amazon S3 sebagai penyimpanan jarak jauh. Semua data ditulis secara sinkron ke Amazon S3, dirancang untuk memberikan daya tahan data 99,999999999% (11 9s).

Instans OR1 dapat digunakan sebagai simpul data untuk semua klaster yang dikelola Amazon OpenSearch Service baru yang dibuat di OpenSearch versi 2.11 atau yang lebih baru dan mengaktifkan enkripsi diam. Pada saat peluncuran, instans OR1 tidak akan tersedia untuk klaster terkelola yang dibuat menggunakan instans lain untuk simpul data. Untuk OR1, Anda perlu menyediakan instans Graviton untuk manajer klaster.

Jika terjadi indeks merah, instans OR1 secara otomatis mengembalikan serpihan (shard) yang hilang dari penyimpanan jarak jauh (Amazon S3). Waktu pemulihan bervariasi berdasarkan volume data yang akan dipulihkan. 

eBook arsitektur referensi

Video: Alat untuk transformasi data