Apa itu OpenSearch?
OpenSearch adalah rangkaian pencarian dan analitik yang terdistribusi, didorong komunitas, berlisensi Apache 2.0, dan 100% sumber terbuka yang digunakan untuk banyak kasus penggunaan seperti pemantauan aplikasi waktu nyata, analitik log, dan pencarian situs web. OpenSearch menyediakan sistem yang dapat diskalakan untuk memberikan akses serta respons cepat terhadap volume data besar dengan alat visualisasi terintegrasi, Dasbor OpenSearch, yang memudahkan pengguna menjelajahi data. OpenSearch didukung oleh pustaka pencarian Apache Lucene dan mendukung sejumlah kemampuan pencarian serta analitik, seperti pencarian k-nearest neighbors (KNN), SQL, Deteksi Anomali, Machine Learning Commons, Analitik Pelacakan, pencarian teks lengkap, dan masih banyak lagi.
Mengapa harus menggunakan OpenSearch?
OpenSearch memungkinkan Anda dapat dengan mudah menyerap, mengamankan, mencari, menggabungkan, melihat, dan menganalisis data untuk sejumlah kasus penggunaan seperti analitik log, pencarian aplikasi, pencarian korporasi, dan masih banyak lagi. Melalui OpenSearch, Anda akan mendapatkan manfaat dengan produk yang 100% sumber terbuka, yang dapat Anda gunakan, modifikasi, perluas, monetisasi, dan jual kembali sesuai keinginan. Terdapat banyak partner Proyek OpenSearch yang jumlahnya terus meningkat, yang menawarkan sejumlah layanan berbeda seperti dukungan profesional, fitur mutakhir, dan layanan OpenSearch terkelola. Proyek OpenSearch terus menyediakan rangkaian pencarian dan analitik yang aman serta berkualitas tinggi dengan panduan yang kaya akan fungsionalitas inovatif baru.
Mengapa OpenSearch dibuat?
Developer merangkul perangkat lunak sumber terbuka karena berbagai alasan, salah satunya yang terpenting adalah kebebasan untuk menggunakan perangkat lunak tersebut di mana pun dan dengan cara apa pun. Pada tanggal 21 Januari 2021, Elastic NV mengumumkan bahwa mereka akan mengubah strategi pemberian lisensi perangkat lunak mereka dan tidak akan merilis versi baru Elasticsearch dan Kibana di bawah lisensi Apache License, Versi 2.0 (ALv2) yang permisif. Sebaliknya, Elastic merilis Elasticsearch dan Kibana dengan kode sumber yang tersedia di bawah Lisensi Elastic, atau Lisensi Publik Sisi Server (SSPL). Lisensi ini bukan sumber terbuka dan tidak menawarkan kebebasan yang sama kepada pengguna. Karena beberapa developer ingin perangkat lunak mereka menjadi sumber terbuka dan ingin menghindari penguncian vendor tunggal, kami memutuskan untuk membuat dan mempertahankan cabang dari versi terakhir ALv2 Elasticsearch dan Kibana. Cabang ini disebut sebagai OpenSearch dan tersedia di bawah ALv2.
Apa kaitan antara OpenSearch dan Amazon OpenSearch Service?
Amazon OpenSearch Service adalah layanan yang dikelola AWS yang memungkinkan Anda menjalankan dan menskalakan klaster OpenSearch tanpa harus mengkhawatirkan pengelolaan, pemantauan, dan pemeliharaan infrastruktur, atau keharusan untuk membangun keahlian yang mendalam dalam mengoperasikan klaster OpenSearch. Kami telah meluncurkan dukungan untuk OpenSearch di Amazon OpenSearch Service pada bulan September 2021, yang dimulai dengan versi 1.0, dan mengganti namanya dari Amazon Elasticsearch Service menjadi Amazon OpenSearch Service. Sejak saat itu, layanan tersebut telah mendukung beberapa fitur baru yang ditambahkan ke OpenSearch di banyak versi. Beberapa contohnya adalah dukungan untuk replika lintas klaster, analitik pelacakan, aliran data, transformasi, antarmuka pengguna dengan observabilitas baru, dan notebook di Dasbor OpenSearch. Selain itu, terdapat peningkatan yang signifikan pada k-NN, deteksi anomali, PPL, SQL, dan pemberitahuan. Meskipun Amazon OpenSearch Service terus mendukung versi Elasticsearch sumber terbuka (hingga 7.10), kami sangat menyarankan Anda untuk menggunakan OpenSearch pada layanan agar mendapatkan manfaat dari fitur baru yang dibangun sebagai bagian dari versi OpenSearch sumber terbuka.
Apakah Amazon OpenSearch Service akan mendukung versi Elasticsearch baru di atas 7.10?
Tidak. Versi Elasticsearch di atas 7.10 bukan merupakan sumber terbuka dan tidak dirilis di bawah lisensi ALv2 yang permisif. Sementara Amazon OpenSearch Service akan terus mendukung versi Elasticsearch sumber terbuka hingga 7.10, ke depannya, kami akan memanfaatkan versi baru OpenSearch sumber terbuka guna memberikan fitur dan inovasi kepada pelanggan dengan menggunakan Amazon OpenSearch Service untuk berbagai kasus penggunaan seperti analitik log, pencarian, dan observabilitas.
Apakah OpenSearch akan mempertahankan kompabilitas dan paritas fitur dengan versi Elasticsearch baru?
Panduan untuk OpenSearch sifatnya didorong komunitas. Berbagai organisasi, termasuk AWS, menyumbangkan fitur baru ke basis kode sumber terbuka. OpenSearch digunakan untuk banyak kasus penggunaan seperti pemantauan aplikasi waktu nyata, analitik log, dan pencarian situs web. Panduan untuk OpenSearch harus dipandang sebagai proyek yang independen dari Elasticsearch dan OpenSearch akan berfokus untuk menyediakan fitur dan inovasi baru yang diinginkan oleh komunitas dan pelanggan. Meskipun OpenSearch mungkin menyertakan fitur yang serupa dengan fitur baru yang tersedia di Elasticsearch (dan sebaliknya), tetapi implementasi semua fitur di antara dua proyek tersebut bersifat unik. Tujuan utama OpenSearch adalah memenuhi kebutuhan komunitas OpenSearch dan pelanggan kami.
Fitur apa saja yang disediakan OpenSearch?
| Fitur |
Manfaat |
| Menawarkan enkripsi, autentikasi, otorisasi, dan fitur audit. Mencakup integrasi dengan Active Directory, LDAP, SAML, Kerberos, token web JSON, dan banyak lagi. OpenSearch juga menyediakan kontrol akses berbasis peran yang mendetail ke indeks, dokumen, dan bidang. |
|
| Menawarkan sejumlah fitur untuk membantu Anda dalam mengkustomisasi pengalaman pencarian seperti kueri Teks penuh, Autocomplete, Scroll Search, penilaian serta pemeringkatan yang dapat dikustomisasi, dan masih banyak lagi. |
|
| Menyediakan sintaks kueri SQL yang sudah dikenal luas. Menggunakan agregasi, grup berdasarkan, dan lokasi klausul untuk menyelidiki data Anda. Membaca data sebagai dokumen JSON atau tabel CSV sehingga Anda memiliki fleksibilitas untuk menggunakan format yang paling sesuai bagi Anda. |
|
| Memungkinan Anda menggunakan sintaks kueri SQL yang sudah dikenal luas sekaligus mendapatkan akses ke banyak rangkaian kemampuan pencarian seperti pencocokan fuzzy, boosting, pencocokan frasa, dan masih banyak lagi. |
|
| Data Prepper adalah pengumpul data sisi server yang memiliki kemampuan memfilter, memperkaya, mentransformasi, menormalisasi, dan menggabungkan data untuk analitik dan visualisasi hilir. Data Prepper memungkinkan pengguna membangun pipeline kustom untuk meningkatkan tampilan operasional aplikasi. |
|
| Analitik Pelacakan menyediakan cara untuk menyerap dan memvisualisasikan data OpenTelemetry di OpenSearch. Data ini dapat membantu Anda menemukan dan memperbaiki masalah performa yang ada di aplikasi terdistribusi. |
|
| Gunakan analitik aplikasi untuk membuat aplikasi dengan observabilitas kustom untuk melihat status ketersediaan sistem Anda. Di analitik ini, Anda dapat mengombinasikan log event dengan data pelacakan dan metrik menjadi satu tampilan kondisi sistem secara keseluruhan. Hal ini akan memungkinkan Anda untuk melakukan pivot di antara log, pelacakan, dan metrik guna menggali sumber masalah. |
|
| Piped Processing Language menyediakan sintaks kueri yang sudah dikenal luas dengan serangkaian perintah komprehensif yang dibatasi oleh karakter bilah vertikal (|) untuk melakukan kueri data. |
|
| Bangun panel operasional untuk mengatur visualisasi Observabilitas yang dihasilkan dengan menggunakan Piped Processing Language (PPL). |
|
| Gunakan kueri Piped Processing Language (PPL) untuk secara interaktif membangun dan melihat visualisasi data yang berbeda, termasuk korelasi log pelacakan. |
|
| Gunakan rangkaian algoritme machine learning seperti kmeans dan deteksi anomali untuk melatih model dan memprediksi tren data Anda. ML Commons berintegrasi dengan PPL dan API REST secara langsung. |
|
| Jadwalkan, ekspor, dan bagikan laporan dari dasbor, penelusuran tersimpan, peringatan, dan visualisasi. |
|
| Manfaatkan deteksi anomali Machine Learning berdasarkan algoritme Random Cut Forest (RCF) untuk mendeteksi anomali secara otomatis saat data Anda diserap. Kombinasikan dengan Pemberitahuan untuk memantau data hampir secara langsung dan secara otomatis mengirimkan notifikasi pemberitahuan. |
|
| Tetapkan kebijakan kustom untuk mengotomatiskan tugas manajemen indeks rutin, seperti rollover dan hapus, serta terapkan ke indeks dan pola indeks. |
|
| Buat tampilan ringkasan data Anda yang berpusat di sekitar bidang tertentu, sehingga Anda dapat memvisualisasikan atau menganalisis data dengan cara yang berbeda. Misalnya, Anda memiliki data maskapai penerbangan yang tersebar di beberapa bidang dan kategori, dan ingin melihat ringkasan data yang diatur menurut maskapai penerbangan, kuartal, dan harga. Anda dapat menggunakan tugas transformasi untuk membuat indeks baru yang diringkas, yang diatur menurut spesifik tersebut. |
|
| Pilih bidang yang Anda inginkan dan gunakan rollup indeks untuk membuat indeks baru dengan hanya menggunakan bidang tersebut yang digabungkan menjadi bucket waktu yang lebih kasar. Anda dapat menyimpan data historis selama berbulan-bulan atau bertahun-tahun dengan performa kueri yang sama tetapi dengan biaya yang lebih terjangkau. |
|
| Buat kueri berbagai metrik dan agregasi kinerja kluster. Gunakan PerfTop, antarmuka baris perintah (CLI) untuk menampilkan dan menganalisis metrik dengan cepat. Gunakan kerangka kerja analisis akar penyebab (RCA) untuk menyelidiki masalah kinerja dan keandalan dalam kluster. |
|
| Jalankan kueri yang rumit tanpa rasa khawatir tentang waktu kueri yang kedaluwarsa dan dengan kueri Penelusuran Asinkron yang berjalan di latar belakang. Lacak kemajuan kueri dan dapatkan sebagian hasilnya saat tersedia. |
|
| Serap dan visualisasikan data OpenTelemetry untuk aplikasi terdistribusi. Visualisasikan alur kejadian antara aplikasi ini untuk mengidentifikasi masalah kinerja. |
|
| Pantau data dan kirimkan notifikasi pemberitahuan secara otomatis ke para pemangku kepentingan. Dengan antarmuka yang intuitif dan API yang kuat, mudah untuk menyiapkan, mengelola, dan memantau pemberitahuan. Buat kondisi pemberitahuan yang sangat spesifik dengan menggunakan bahasa kueri lengkap dan kemampuan pembuatan skrip OpenSearch. |
|
| Buat kebijakan pemberitahuan yang akan menginformasikan tren yang dikelompokkan dalam data Anda. Misalnya, Anda dapat memberitahukan setiap host yang memiliki rata-rata CPU di atas ambang batas yang Anda inginkan. |
|
| Lakukan replikasi indeks, pemetaan, dan metadata dari satu klaster OpenSearch ke klaster OpenSearch lainnya untuk membuat redundansi lintas klaster atau mengurangi kueri pelaporan ke klaster sekunder. |
|
| Menggunakan Machine Learning, jalankan algoritma penelusuran terdekat pada miliaran dokumen di ribuan dimensi dengan tingkat kemudahan yang sama seperti menjalankan kueri OpenSearch biasa. Gunakan agregasi dan filter klausul agar dapat lebih menyempurnakan operasi pencarian kesamaan. Pencarian kesamaan k-NN mendukung kasus penggunaan seperti rekomendasi produk, deteksi penipuan, pencarian gambar dan video, pencarian dokumen terkait, dan masih banyak lagi. |
|
| Gabungkan dasbor, visualisasi, teks, dan lainnya untuk memberikan penjelasan yang mendetail dan sesuai konteks saat menganalisis data. |
|
| OpenSearch mendukung berbagai klien bahasa seperti Go, JavaScript, Python, Java, dan masih banyak lagi. Gunakan klien tersebut untuk membangun aplikasi yang terintegrasi dengan OpenSearch secara langsung. |
Siapa yang mensponsori dan memelihara OpenSearch?
Banyak organisasi, termasuk AWS, SAP, CapitalOne, RedHat, Logz.io, Aiven.io, Bonsai, Logit.io, InstaCluster, dan BAInsight telah mendukung OpenSearch secara publik.
Kami mendorong dan menerima kontribusi dari komunitas dan tidak memerlukan Perjanjian Lisensi Kontributor (CLA) untuk melakukannya. Selain itu, jika Anda merupakan kontributor aktif dan ingin mengambil lebih banyak tanggung jawab di dalam proyek, kami telah menentukan proses bagi karyawan non-AWS agar bisa mendapatkan hak pengelola dalam repo proyek OpenSearch di sini.
Bagaimana kelangsungan OpenSearch di masa depan?
Kami telah meluncurkan OpenSearch versi 1.0 yang pertama kali Tersedia Secara Umum pada bulan Juli 2021, dan sejak saat itu, kami telah meluncurkan banyak versi baru, yang dijelaskan detail di sini. Dengan minat dan dukungan besar dari komunitas, kami memperkenalkan beberapa fitur baru di seluruh kasus penggunaan utama seputar analitik log, pencarian, dan observabilitas. Area tersebut terus menjadi tema utama untuk peningkatan di masa depan baik bagi OpenSearch maupun bagi lapisan visualisasi Dasbor OpenSearch kami. Silakan lihat panduan untuk gambaran umum singkat mengenai area utama yang menjadi fokus OpenSearch.
Bagaimana OpenSearch dilisensi?
Semua perangkat lunak dalam proyek OpenSearch dirilis di bawah Lisensi Apache, Versi 2.0 (ALv2). ALv2 memberikan hak penggunaan yang dipahami dengan baik dan permisif, sesuai dengan kebebasan yang diharapkan dari perangkat lunak sumber terbuka: kebebasan seperti dapat menggunakan, memodifikasi, memperluas, memonetisasi, dan menjual kembali perangkat lunak sumber terbuka di mana pun dan bagaimana pun caranya. Untuk OpenSearch, kami yakin bahwa lisensi ini akan memungkinkan adopsi dan kontribusi yang luas, yang bermanfaat bagi semua anggota komunitas. Kami juga telah menerbitkan panduan penggunaan permisif untuk merek dagang OpenSearch, sehingga Anda dapat menggunakan nama tersebut untuk mempromosikan penawaran Anda.
Di mana saya dapat mencari lebih banyak informasi mengenai klien OpenSearch dan kompabilitas API?
Silakan lihat FAQ pada situs web OpenSearch sumber terbuka. FAQ tersebut juga menjadi sumber terbaik untuk informasi seputar alat dan plugin, kompabilitas peningkatan, komunitas secara umum, serta cara agar Anda dapat berkontribusi dan mendapatkan manfaat dari OpenSearch.
Sumber Daya Tambahan:
- FAQ OpenSearch »
- Blog: Melangkah maju untuk Elasticsearch dengan sumber yang benar-benar terbuka dan Memperkenalkan OpenSearch »
OpenSearch mencakup kode Elasticsearch tertentu yang berlisensi Apache dari Elasticsearch B.V. dan kode sumber lainnya. Elasticsearch B.V. bukan merupakan sumber dari kode sumber lain tersebut. ELASTICSEARCH adalah merek dagang terdaftar dari Elasticsearch B.V.
