モニタリングシステムの構築

Alibaba Cloud の重要なインフラストラクチャである Log Service は、Alibaba Cloud のすべてのクラスターでのログデータの収集と配布をサポートしています。 Table Store、MaxCompute、CNZZ などの多くのアプリケーションは、Log Service の Logtail を使用してログデータを収集し、API 操作を呼び出してログデータを消費し、さらに分析し、統計するためにデータをダウンストリームのリアルタイム統計システムまたはオフラインシステムにインポートします。インフラストラクチャとして、Log Service には次の機能があります。

信頼性: Alibaba Group の内部ユーザーにサービスを提供し、独身の日のショッピングフェスティバルでの課題に長年対処してきた Log Service では、データの信頼性と整合性を保証する能力を実証しました。
スケーラビリティ: Log Service ではシャードを追加して、データトラフィックが増加したときに、処理能力を迅速かつ動的に拡張することができます。
利便性: Log Service は 1 クリック管理をサポートしています。たとえば、1 クリックで数万台のマシンからログを収集することができます。

Log Service は、ログの収集、ログ形式の統一、およびダウンストリームシステムによるデータ消費のための API 操作の提供を支援します。ダウンストリームシステムを複数のシステムに接続して、さまざまな方法でデータを利用することができます。たとえば、Spark や Storm を使用してリアルタイムでデータを計算したり、ElasticSearch を使用してデータをクエリすることができます。このようにして、データは 1 回収集され、複数回消費されます。多くのデータ消費シナリオの中で、モニタリングは最も一般的なものです。このトピックでは、Alibaba Cloud 提供による、Log Service に基づいたモニタリングシステムについて概説します。

Log Service は、すべてのクラスターからモニタリングデータをログとして収集します。これは異種システムからのマルチクラスター管理とログ収集の問題を解決します。モニタリングデータは同じ形式のログに変換され、Log Service に送信されます。

Log Service では、モニタリングシステムで次の機能を提供しています。

統合されたマシン管理: 各サーバーに Logtail をインストールすると、以降のすべての操作は Log Service で実行されます。
統合設定管理: Log Service で収集するログファイルを設定するだけで済みます。設定は、関連するすべてのサーバーに自動的に適用されます。
構造化データ: すべてのデータは、Log Service のデータモデルに適合するようにフォーマットされ、ダウンストリームでの消費を促進します。
エラスティックサービス機能: Log Service を使用すると、大量のデータを読み取りおよび書き込みすることができます。

モニタリングデータを収集します。
Log Service でログ収集を設定し、ログが確実に収集されて Log Service に送信されるようにします。
ミドルウェアを使用して API 操作を呼び出し、データを消費します。
SDK を使用して PullLogs 操作を呼び出し、Log Service のログデータをバッチで消費し、データをダウンストリームのリアルタイムコンピューティングシステムに同期します。
Storm リアルタイムコンピューティングシステムを構築します。
Storm または別のタイプのリアルタイムコンピューティングシステムを選択し、コンピューティングルールを設定し、コンピューティングのメトリックを選択して、計算結果を Table Store に書き込みます。
モニタリング情報を表示します。
Table Store に保存されているモニタリングデータを読み取り、モニタリングデータをフロントエンド GUI に表示します。または、モニタリングデータを読み取り、データ結果に基づいて警告を設定します。