ELK スタックとは何ですか?
ELK スタックは、Elasticsearch、Logstash、Kibana という広く使用されている 3 つのプロジェクトで構成されるスタックで、それぞれの頭文字を取ってこのように呼ばれています。Elasticsearch と呼ばれることも多い ELK スタックは、システムおよびアプリケーションすべてのログを集計して分析し、アプリケーションおよびインフラストラクチャのモニタリングの可視化、トラブルシューティングの高速化、セキュリティ分析などを実現します。
E は Elasticsearch
Elasticsearch は、Apache Lucene を基盤として構築された分散検索/分析エンジンです。さまざまな言語、高パフォーマンス、スキーマフリー JSON ドキュメントをサポートしている Elasticsearch は、さまざまなログ分析および検索のユースケースに最適です。
詳細については、「AWS Elasticsearch とは何ですか?」を参照してください
2021 年 1 月 21 日、Elastic NV はソフトウェアライセンシング戦略の変更、そして Elasticsearch と Kibana の新バージョンは一般的利用を認めている Apache License のバージョン 2.0 (ALv2) ライセンスのもとではリリースしないことを発表しました。その代わりに、同ソフトウェアの新規バージョンは Elastic ライセンスのもとに入ります。ソースコードは Elastic License もしくは SSPL で使用可能となります。これらのライセンスはオープンソースではなく、これまでと同様の自由は認められません。安全で質の高い完全にオープンソースの検索および分析スイートとして、OpenSearch プロジェクトを使用できます。これは、オープンソースの Elasticsearch と Kibana のコミュニティ主導の ALv2 ライセンスフォークです。
L = Logstash
Logstash は、オープンソースのデータインジェストツールで、さまざまなソースからデータを収集して変換し、希望する送信先に送信できます。事前構築済みのフィルターおよび 200 を超えるプラグインをサポートしている Logstash を使用すれば、データソースまたはタイプを問わずデータを簡単にインジェストできます。
Logstash は、軽量でオープンソースのサーバー側データ処理パイプラインです。さまざまなソースからデータを収集し、その場で変換して目的の宛先に送信できます。オープンソースの分析および検索エンジンである Elasticsearch のデータパイプラインとして最もよく使用されます。Logstash は Elasticsearch との緊密な統合、強力なログ処理機能、およびデータの索引付けを容易にすることができる 200 を超えるビルド済みオープンソースプラグインを有しており、Elasticsearch にデータをロードするための一般的な選択肢となっています。
非構造化データの簡単な読み込み
Logstash を使用すると、システムログ、ウェブサイトログ、アプリケーションサーバーログなど、さまざまなデータソースから非構造化データを簡単に取り込むことができます。
事前構築済みのフィルタ
Logstash では事前構築済みのフィルタが提供され、一般的なデータ型を簡単に変換し Elasticsearch でインデックスを作成することによって、カスタムデータ変換パイプラインを作成しなくてもクエリを開始できます。
柔軟なプラグインアーキテクチャ
GitHub ではすでに 200 を超えるプラグインが利用可能です。お客様のデータパイプラインをカスタマイズするために必要なプラグインを、すでに誰かが構築している可能性があります。存在しない場合には、お客様自身で作成することができます。
K は Kibana
Kibana は、ログと時系列の分析、アプリケーションのモニタリング、オペレーショナルインテリジェンスのユースケースに使われる、データの視覚化および調査ツールです。ヒストグラム、線グラフ、円グラフ、ヒートマップ、組み込み型の地理空間のサポートなど、強力で使いやすい機能を提供します。また、Kibana は人気のある分析および検索エンジンである Elasticsearch と緊密に統合されているため、Elasticsearch に保存されているデータを可視化するためのデフォルトの選択肢になります。
2021 年 1 月 21 日、Elastic NV はソフトウェアライセンシング戦略の変更、そして Elasticsearch と Kibana の新バージョンは一般的利用を認めている Apache License のバージョン 2.0 (ALv2) ライセンスのもとではリリースしないことを発表しました。その代わりに、同ソフトウェアの新規バージョンは Elastic ライセンスのもとに入ります。ソースコードは Elastic License もしくは SSPL で使用可能となります。これらのライセンスはオープンソースではなく、これまでと同様の自由は認められません。オープンソースコミュニティとお客様が、安全で質の高い完全なオープンソース検索とアナリティクススイートを引き続きお使いいただけるように、OpenSearch プロジェクトを導入しました。これはコミュニティ主導のプロジェクトで、ALv2 ライセンスを有する Elasticsearch や Kibana のようなオープンソースです。OpenSearch スイートは、検索エンジンの OpenSearch、そして視覚化とユーザーのインターフェイスである OpenSearch Dashboards で構成されます。
Kibana は、オンプレミス、Amazon Elastic Compute Cloud (Amazon EC2)、または Amazon OpenSearch Service の Apache 2.0 ライセンスバージョン (バージョン 7.10.2 まで) で実行できます。OpenSearch Dashboards は Kibana の代替となるオープンソースで、自己管理も可能です。これは、Kibana の最新オープンソースバージョン (7.10.2) から派生したものです。これには多くの進歩が含まれており、OpenSearch プロジェクトを通じて十分にサポートされています。オンプレミスまたは Amazon EC2 のデプロイでは、インフラストラクチャのプロビジョニング、Kibana または OpenSearch Dashboards のソフトウェアのインストール、およびインフラストラクチャの管理はお客様の責任となります。OpenSearch Service では、Kibana や OpenSearch Dashboards はフルマネージドサービスとしてドメインと共に自動的にデプロイされ、クラスターを管理するためのすべての面倒な処理が自動的に行われます。
インタラクティブチャート
Kibana では、大量のログデータをインタラクティブにナビゲートできる、直感的なチャートとレポートが提供されます。時間枠を動的にドラッグしたり、特定のデータサブセットを拡大縮小したり、レポートをドリルダウンしてデータから実用的な洞察を抽出したりできます。
マッピングのサポート
Kibana にはパワフルな地理空間機能が備わっており、データの上に地理情報をシームレスに重ねることができ、さらに結果をマップ上で可視化することもできます。
構築済みの集計とフィルタ
Kibana の構築済みの集計とフィルタを使用すると、ヒストグラム、上位 N 件のクエリ、トレンドなどのさまざまな分析を数ステップで実行できます。
簡単にアクセスできるダッシュボード
ダッシュボードとレポートを簡単に設定し、ほかのユーザーと共有できます。必要なのは、データの表示と探索用のブラウザだけです。
ELK スタックの仕組みはどのようになっていますか?
- Logstash は、データを取り込み、変換し、適切な送信先に送信します。
- Elasticsearch は、取り込まれたデータのインデックス作成、分析、および検索を行います。
- Kibana は、分析の結果を視覚化します。
ELK スタックはどのように機能しますか?
ELK スタックは、ログ分析、ドキュメント検索、Security Information and Event Management (SIEM)、オブザーバビリティなど、さまざまな問題を解決するために使用されます。検索および分析エンジン、データインジェスト、視覚化を提供します。
ELK スタックが重要なのはなぜですか?
ELK スタックはログ分析の分野におけるニーズを満たします。IT インフラストラクチャのパブリッククラウドへの移行が進むにつれ、インフラストラクチャのモニタリング、およびサーバーログ、アプリケーションログ、クリックストリームの処理を行うためのログ管理/分析ソリューションが必要になってきます。 ELK スタックは、シンプルかつ堅牢なログ分析ソリューションをデベロッパーおよび DevOps エンジニアに提供します。障害診断、アプリケーションパフォーマンス、インフラストラクチャモニタリングに関する有益なインサイトを、わずかな料金で取得できます。
ELK スタックに適したソリューションを選択するにはどうすればよいですか?
AWS では、ELK スタックは EC2 上で自分でデプロイおよび管理することを選択できます。ただし、セルフマネージドオプションを選択した場合は、ビジネス要件を満たすためにスケールアップやスケールダウン、またはセキュリティおよびコンプライアンスといった課題に直面することになります。開発者や DevOps エンジニアが革新的なアプリケーションの構築や、デプロイ、アップグレード、ソフトウェアのインストールとパッチ適用、バックアップ、モニタリングなどの運用タスクの管理に時間をかけられるようにしたい場合、OpenSearch Service はフルマネージド型のオープンソースの代替手段です。OpenSearch クラスターを安全かつ費用対効果の高い方法で AWS に簡単にデプロイ、運用、スケーリングできます。
どの AWS 製品が ELK スタックをサポートしていますか?
OpenSearch Service は、Apache 2.0 ライセンスの Elasticsearch (バージョン 1.5 から 7.10) と Kibana (バージョン 1.5 から 7.10) の複数のバージョンをサポートしています。OpenSearch Service は Logstash との統合もサポートしており、ソースからデータを収集して変換し、サービスにロードします。
AWS はどのようなインジェストツールを提供していますか?
AWS には、Amazon Kinesis Data Firehose、Amazon CloudWatch Logs、AWS IoT などのいくつかのデータインジェストツールがあります。これにより、お客様のユースケースの要件を満たすようなデータインジェストツールを柔軟に選択できます。詳細については、「Amazon OpenSearch Service の統合」を参照してください。
OpenSearch には、Elasticsearch B.V. の Apache ライセンスによる Elasticsearch コードの一部と、その他のソースコードが含まれています。Elasticsearch B.V. はその他のソースコードのソースではありません。ELASTICSEARCH は、Elasticsearch B.V. の登録商標です。
