ログ分析とは何ですか?

コンピュータで生成された記録の作成を開始して以来、私たちはそのような記録を一括で分析しようとしてきました。記録は、デバイス、アプリケーション、ネットワークなどから出力され、時系列でログに記録されます。多くの場合、これらのログは完全に文書化されておらず、アプリケーションやデバイス間で形式が一貫していないため、ログ分析の必要性がさらに高まります。

ログ分析は、以下のリストのような貴重な運用分析の疑問に答えることができます。次の疑問に対するリアルタイムの回答があると想像してみてください。

• インフラストラクチャは機能しているか?
• レイテンシーとエラー率は?
• アプリケーションの問題の原因は何か?
• 疑わしい認証活動はあるか?
• この IP アドレスでアクセスされたデータは?
• 詐欺の事例はあるか?
• ユーザーが興味を持っているコンテンツ/製品は?
• 最も使用されている、または使用されていない機能はどれか?
• 最もアクティブなユーザーとその理由は?

ログ分析の利点の詳細については、Omdia のこの資料をご覧ください。

ログ分析の主なユーザーは、DevOps エンジニア、サイト信頼性スタッフ、エンタープライズアーキテクトです。

ログ分析戦略では、データの取り込み、変換と強化、インデックス作成とシャーディングの戦略、インフラストラクチャの計画、そして最後にデータのライフサイクルとデータのアーカイブに対処する必要があります。一般的な手順は次のとおりです。 

1. まず、データの移動またはデータの取り込みを特定する必要があります。基本的に、取り込み経路を把握する必要があります。

2. 次に、ログ行または文字列のデータ変換をセットアップする必要があります。多くの場合、ログ分析は JSON で機能します。何かでデータを適切に変換し、必要に応じて強化する必要があります。

3. 第 3 に、インデックス作成とシャード戦略を考え出す必要があります。インデックスを適切に作成することは不可欠です。

4. 第 4 に、インフラストラクチャの計画を立てて、インスタンスタイプと必要な数を把握する必要があります。

5. 最後に、ログのサイズとコストを制御するために、データのライフサイクルとアーカイブのための全体的な戦略が必要です。

簡単にデプロイして管理

Amazon OpenSearch Service では、ハードウェアのプロビジョニング、ソフトウェアのインストールとパッチ適用、障害回復、バックアップ、モニタリングなどの管理タスクに関連する複雑さを取り除きながら、クラスターのセットアップとデプロイを簡単に行えます。これにより、運用上のオーバーヘッドを削減し、中核的なビジネス要件に注力できます。

拡張性と信頼性を得る

1 つのドメインに最大 3 PB のインスタンスストレージを備えた Amazon OpenSearch Service を使用すると、ダウンタイムなしでインスタンスを簡単に追加または削除できます。このサービスでは、保存時および転送中の組み込みの暗号化、ユーザー認証、および VPC サポートも提供されるため、データを安全に保つことができます。

他の AWS のサービスと簡単に統合

Amazon OpenSearch Service では、Kinesis Data Firehose、Managed Streaming for Kafka、IoT、CloudWatch Logs、KMS、Cognito、IAM などの他の AWS のサービスとの組み込み統合が行えるため、すべてのソースからデータを安全に取り込み、分析し、視覚化できます。

コストを抑える

Amazon OpenSearch Service では、使用した分のみ料金が発生します。前払い費用や最低料金はありません。24 時間年中無休のモニタリングや AWS サポートも利用できるため、インフラストラクチャをスケール、保護、モニタリングする Elasticsearch のエキスパートチームを設置する必要はなく、運用の総コストを低減できます。

アプリケーションとインフラストラクチャのリアルタイムモニタリング

アプリケーションと IT サイロからすべてのログとメトリクスをキャプチャして一元化し、アプリケーションとインフラストラクチャスタックを詳細に可視化し、稼働率を確保します。Amazon OpenSearch Service はデータのインデックスを作成し、リアルタイムで分析できるようにします。また、Kibana ダッシュボードを使用してリアルタイムでパフォーマンスメトリクスを視覚化できるようにします。

世界有数の旅行会社である Expedia Group は、アプリケーションのモニタリングに Amazon OpenSearch Service を使用しています。Amazon OpenSearch Service により、Expedia では、大量の Docker ログを費用効果の高い方法でモニタリングし、リアルタイムで問題を特定、トラブルシュートし、追加のログソースを簡単に対応できるようになり、運用費を削減しています。  詳細 »

根本原因分析

環境全体 (サーバー、コード) の問題をすばやく特定して、特定までの平均時間 (MTTI) と解決までの平均時間 (MTTR) を短縮します。組み込みの Kibana を使用する Amazon OpenSearch Service では、何百万ものイベントを検索し、アプリケーションとインフラストラクチャ全体を関連付けます。これにより、問題の根本原因を迅速に診断し、稼働率を改善できます。

3D 設計およびエンジニアリングソフトウェアの大手プロバイダーである Autodesk は、Amazon OpenSearch Service、Amazon Kinesis Data Firehose、Amazon Kinesis Data Analytics などの AWS のサービスを利用して、コスト効率の高い統合ログソリューションを構築しています。これにより、アプリケーションの問題をより迅速に検出して修正し、カスタマーエクスペリエンスを向上させています。  詳細 »

クリックストリーム分析

ウェブコンテンツのパフォーマンスと、ユーザーの行動、費やした時間、人気のあるコンテンツなど、ユーザーが行うアプリケーションやウェブサイトでの操作をリアルタイムで表示します。Amazon OpenSearch Service と Amazon Kinesis Data Firehose または Amazon Managed Streaming for Kafka を使用すると、クリックストリームログを簡単に集約および分析して、顧客をより深く理解することができます。

大手メディア企業である Hearst Corporation は、Amazon OpenSearch Service、Amazon Kinesis Streams、および Amazon Kinesis Firehose を使用して、1 日 30 テラバイトのデータを送信および処理するクリックストリーム分析プラットフォームを構築しました。このプラットフォームにより、Hearst の編集者は、ウェブサイトのクリックから集約済みデータまで、データストリーム全体を数分のうちに利用できるようになります。  詳細 »

セキュリティインテリジェンスとイベント管理 (SIEM)

アプリケーション、ネットワーク、オペレーティングシステムを含む環境全体で生成されたイベントを一元化して分析し、ネットワーク内の悪意のある活動や疑わしい活動を特定します。Amazon OpenSearch Service では、取り込まれてすぐのデータをインデックスできます。これによって、複数のソースからのデータをすぐに分析でき、脅威をより早く見つけ、防ぐことができます。