LogHub がログを収集すると、Log Service はこれらのログを次の方法で消費します。

方法 シナリオ リアルタイムパフォーマンス 保存期間
リアルタイム消費 (LogHub) ストリームコンピューティング (リアルタイムコンピューティング) リアルタイム カスタム
インデックスとクエリ (LogSearch) 最近のホット データのオンラインクエリに適用可能 リアルタイム (99.99% の場合は 1 秒間遅れ、最大 3 秒) カスタム
転送と保存 (LogShipper) オフライン分析用のフルログストレージに適用可能 5~30 分遅れる ストレージシステムによって異なる

リアルタイム消費

LogHub は、ログをプルし、リアルタイムのログ消費をサポートする API 操作を提供します。 Log Service は、次の手順でシャード内のログを使用します。
  1. 時刻、開始、終了などの条件に基づいてカーソルを取得します。
  2. カーソルとステップを使用してログを読み取り、次のカーソルを返します。
  3. ログを使用するには、カーソルを継続的に移動します。
ログを消費またはクエリするには、Log Service がログを読み取る必要があります。 消費ログとクエリログの違いの詳細については、「ログ消費とログクエリの違い」をご参照ください。

SDK を使用したログの消費

Log Service は、Java、Python、Go などの複数のプログラミング言語で SDK を提供します。 これらの SDK は、API 操作によるログ消費をサポートしています。 SDK の詳細については、「概要」をご参照ください。

コンシューマー グループを使用したログの消費

コンシューマー グループ は、LogHub コンシューマーがログを消費するために LogHub コンシューマーに提供する高度な方法です。 コンシューマー グループでは、複数のコンシューマーが Logstore 内のデータを同時に使用できるようにする軽量コンピューティング フレームワークを提供します。 コンシューマー グループは、シャードを自動的に割り当て、ログ処理の順序を維持し、ブレークポイントからの送信を再開することもできます。 囲碁、Python、および Java SDK はコンシューマー グループをサポートします。

StreamCompute を使用したログの消費
クラウド サービスを使用したログの消費

オープンソースサービスを使用したログの消費

Flume で LogHub ログの読み込み:Flume を使用してログを消費し、Hadoop ファイル システム (HDFS) インスタンスにログをインポートできます。

クエリと分析

詳細については、 「概要」をご参照ください。 ログのクエリと分析は、次の方法で行うことができます。
  • Log Service コンソールでログを照会します。 詳細については「Flume の使用」をご参照ください。
  • Log Service の SDK または API 操作を使用してログを照会します。 Log Service は、HTTP ベースの RESTful API 操作を提供します。 API 操作は、フル機能のログ クエリをサポートします。 詳細については「Flume の使用」をご参照ください。

転送と保存

その他のログ消費方法

セキュリティログサービス:Log Service をクラウド セキュリティ サービスに接続し、独立したソフトウェアベンダ (ISV) を使用してクラウド サービスのログを消費します。