Logtail の収集プロセス

ファイルのモニタリング

サーバーに Logtail クライアントをインストールし、データソースに合わせて Logtail 構成を設定すると、その Logtail 構成は Logtail にすぐに送信されます。Logtail 構成に基づいてファイルのモニタリングが開始します。

1. 具体的には、設定されたログパスと最大モニタリングディレクトリの階層に合わせて、ファイル命名規則に準拠した指定ログディレクトリとファイルが階層ごとにスキャンされます。

   ログ収集の効率と安定性を確保するために、Logtail は収集ディレクトリ (つまり、Linux の inotify ディレクトリまたは Windows の ReadDirectoryChangesW ディレクトリ) のイベントモニタリングを登録し、定期的にポーリングします。

2. モニタリング結果に、ファイル命名規則に準拠した指定されたディレクトリに変更のなかったログファイルがあった場合、そのファイルは収集されません。変更のあったログファイルがあれば、収集プロセスが起動し、そのファイルは読み取られます。

ファイルの読み取り

ログの処理

ログのフィルタリング

Logtail 構成のフィルター設定に従ってログがフィルタリングされます。

• フィルターを設定した場合、ログはフィルタリングされず、直接ログを統計します。
• フィルターを設定しない場合、各ログのすべてのフィールドがスキャンおよび検証されます。
  • フィルター設定に適合するログが収集されます。フィルター設定のすべてのフィールドがログに含まれ、すべてのフィールドが設定条件を満たしている。
  • フィルター設定に適合しないログは収集されません。

ログの集約

ログデータは Log Service に送信されます。その前にログは一旦キャッシュされます。ネットワークリクエストの数を減らすために、必要なログは集約、パッケージ化されてから Log Service に送信されます。

ログの送信

Log Service に集約ログが送信されます。起動パラメータの構成の手順に従って、起動パラメータの max_bytes_per_sec (ログ送信速度) およびsend_request_concurrency (同時送信できるログの最大数) を調整します。調整した値を超えて送信されることがなくなります。