LogHub がログを収集すると、Log Service はこれらのログを次の方法で消費します。
方法 | シナリオ | リアルタイムパフォーマンス | 保存期間 |
---|---|---|---|
リアルタイム消費 (LogHub) | ストリームコンピューティング (リアルタイムコンピューティング) | リアルタイム | カスタム |
インデックスとクエリ (LogSearch) | 最近のホット データのオンラインクエリに適用可能 | リアルタイム (99.99% の場合は 1 秒間遅れ、最大 3 秒) | カスタム |
転送と保存 (LogShipper) | オフライン分析用のフルログストレージに適用可能 | 5~30 分遅れる | ストレージシステムによって異なる |
リアルタイム消費
- 時刻、開始、終了などの条件に基づいてカーソルを取得します。
- カーソルとステップを使用してログを読み取り、次のカーソルを返します。
- ログを使用するには、カーソルを継続的に移動します。
SDK を使用したログの消費
Log Service は、Java、Python、Go などの複数のプログラミング言語で SDK を提供します。 これらの SDK は、API 操作によるログ消費をサポートしています。 SDK の詳細については、「概要」をご参照ください。
コンシューマー グループを使用したログの消費
コンシューマー グループ は、LogHub コンシューマーがログを消費するために LogHub コンシューマーに提供する高度な方法です。 コンシューマー グループでは、複数のコンシューマーが Logstore 内のデータを同時に使用できるようにする軽量コンピューティング フレームワークを提供します。 コンシューマー グループは、シャードを自動的に割り当て、ログ処理の順序を維持し、ブレークポイントからの送信を再開することもできます。 囲碁、Python、および Java SDK はコンシューマー グループをサポートします。
- Spark Streaming クライアント を使用してログを消費します。
- Storm Spoutを使用してログを消費します。
- Flink コネクタ を使用してログを消費します。 Flink コネクタは、コンシューマーとプロデューサで構成されます。
- クラウドモニター を使用して、監視シナリオでログを消費します。
- Function Compute を使ってログを消費します。
- E-MapReduce を使用してログを消費します。 詳細については、「Storm を使った LogHub ログの消費」および「Spark Streaming を使ったログの消費」をご参照ください。
オープンソースサービスを使用したログの消費
Flume で LogHub ログの読み込み:Flume を使用してログを消費し、Hadoop ファイル システム (HDFS) インスタンスにログをインポートできます。
クエリと分析
転送と保存
- Object Storage Service (OSS) へのログの転送:ログの長期保存あるいは E-MapReduce に基づく分析を行います。
- Function Compute を使用して転送をカスタマイズします。
- DataWorks を通じてデータを MaxCompute への転送:DataWorks のデータ統合を使用してビッグ データ分析を実行することにより、MaxCompute にログを出荷します。
その他のログ消費方法
セキュリティログサービス:Log Service をクラウド セキュリティ サービスに接続し、独立したソフトウェアベンダ (ISV) を使用してクラウド サービスのログを消費します。