Logtailは、log Serviceによって提供されるログ収集エージェントです。 Logtailを使用して、複数のデータソースからリアルタイムでログを収集できます。 これらのソースには、Alibaba Cloud ECS (Elastic Compute Service) インスタンス、データセンター、およびサードパーティのクラウドサービスプロバイダーに属するサーバーが含まれます。 このトピックでは、Logtailの機能、利点、制限、および設定プロセスについて説明します。

設定プロセス

Logtailコレクション機能
  1. サーバーにLogtailをインストールします。
  2. Logtailをインストールするサーバーは、現在のアカウントに属していないECSインスタンス、またはローカルデータセンターまたはサードパーティのクラウドサービスプロバイダーに属しているECSインスタンスです。 Inこのケース、指定する必要がユーザーアイデンティティのためのサーバー。

    詳細については、「ユーザー識別子の設定」をご参照ください。

  3. マシングループを作成します。
  4. Logtail設定を作成し、マシングループに設定を適用します。

    上記の操作は、Log Serviceコンソールで実行できます。 詳細については、「概要」をご参照ください。

上記の操作を実行すると、Logtailはサーバーからログを収集し、指定されたLogstoreにログを送信します。 Log Serviceコンソール、API操作、SDK、またはCLIを使用してログを照会できます。

メリット

  • ログファイルに基づく非侵入型ログ収集をサポートします。 アプリケーションコードを変更する必要はありません。 Logtailがログを収集するとき、アプリケーションは影響を受けません。
  • テキストログ、バイナリログ、HTTPデータ、コンテナログを収集できます。
  • 標準コンテナーとKubernetesクラスターからログを収集できます。
    • Container Service For Kubernetesからログを収集する方法の詳細については、「概要」をご参照ください。
    • 自己管理型Kubernetesクラスターからログを収集する方法の詳細については、「概要」をご参照ください。
    • 自己管理型Dockerクラスターからログを収集する方法の詳細については、「標準のDockerコンテナからログを収集する」をご参照ください。
  • ログ収集中に例外を処理します。 ネットワークまたはサーバーの例外が発生した場合、Logtailはログ収集を再試行し、ローカルサーバーにログをキャッシュしてデータのセキュリティを確保します。
  • Log Serviceに基づく集中管理を提供します。 サーバーにLogtailをインストールし、マシングループとLogtail設定を作成すると、Logtailはサーバーからログを収集し、ログをLog Serviceに送信します。
  • 包括的な自己防衛メカニズムを提供します。 Logtailが使用できるCPU、メモリ、およびネットワークリソースは限られています。 これにより、Logtailがサーバー上の他のサービスのパフォーマンスに影響を与えないようにします。

制限事項

Logtailの制限の詳細については、「制限」をご参照ください。

用語

  • マシングループ: マシングループには、特定のタイプのログが収集される1つ以上のサーバーが含まれます。 マシングループにLogtail設定を適用すると、Log Serviceは設定に基づいてマシングループ内のサーバーからログを収集します。

    マシングループのIPアドレスベースの識別子またはカスタム識別子を設定できます。 これにより、識別子に基づいてマシングループ内のサーバーを管理できます。 Log Serviceコンソールで、マシングループの作成と削除、マシングループへのサーバーの追加、マシングループからのサーバーの削除を行うことができます。

  • Logtailは、log Serviceによって提供されるログ収集エージェントです。 Logtailは、ログを収集するサーバーで実行されます。
    • Linuxベースのサーバーの場合、Logtailは /usr/local/ilogtailディレクトリにインストールされます。 Logtailは、ログ収集プロセスとデーモンプロセスの名前がilogtailで始まる個別のプロセスを開始します。 Logtailのログは、/usr/local/ilogtail/ilogtail.LOGディレクトリに保存されます。
    • Windowsベースのサーバーの場合、LogtailはC:\Program Files\Alibaba\Logtailディレクトリ (32ビットシステム) またはC:\Program Files (x86)\Alibaba\Logtailディレクトリ (64ビットシステム) にインストールされます。 [コントロールパネル] > [管理ツール] > [サービス] を選択します。 [サービス] ウィンドウで、LogtailDaemonサービスを表示できます。 Logtailのログは、ilogtail.LOGファイルに保存されます。
  • ログ収集のLogtail設定: ログ収集のLogtail設定は、Logtailがログを収集するために使用する一連のポリシーです。 データソースと収集モードを指定して、ログ収集用のカスタムLogtail設定を作成できます。 設定では、サーバーからログを収集し、ログを解析し、指定されたLogstoreにログを送信する方法を指定します。

機能

機能説明
リアルタイムでのログ収集Logtailはログファイルを監視し、増分ログをリアルタイムで読み取り、解析します。 ほとんどの場合、ログはログが生成されてから3秒以内にLog Serviceに送信されます。 詳細については、「Logtailのログ収集プロセス」をご参照ください。
説明 Logtailは履歴データを収集しません。 ログが読み取られる前に12時間以上ログエントリが生成された場合、Logtailはログエントリを収集しません。
自動ログ回転複数のアプリケーションは、ファイルサイズまたは日付に基づいてログファイルを回転します。 元のログファイルの名前が変更され、ローテーションプロセス中に空のログファイルが作成されます。 たとえば、ログのローテーション中に、app.LOGファイルの名前がapp.LOG.1およびapp.LOG.2に変更されます。 収集されたログが書き込まれるファイルを指定できます (例: app.LOG) 。 Logtailはログの回転プロセスを監視し、ログが失われないようにします。
複数のデータソースLogtailは、テキストログ、syslog、HTTPログ、MySQL binlogを収集できます。 詳細については、「ログ収集方法」をご参照ください。
オープンソース収集エージェントとの互換性LogstashやBeatsなどのオープンソースエージェントを使用してデータを収集できます。 次に、Logtailを使用してエージェントからデータを収集し、そのデータをLog Serviceに送信できます。 詳細については、「ログ収集方法」をご参照ください。
コレクション例外を自動的に処理する例外によりデータがLog Serviceに送信されない場合、Logtailはシナリオに基づいてログの収集を再試行します。 例外には、サーバーエラー、ネットワークエラー、クォータの枯渇が含まれます。 再試行が失敗した場合、Logtailはデータをローカルキャッシュに書き込み、3秒後にデータを再送信します。 詳細については、「t13295.html#concept_q2t_pqb_dfb」をご参照ください。
柔軟な構成Logtailを使用すると、ログ収集の設定を柔軟に作成できます。 ログを収集するディレクトリとファイルを指定できます。 ビジネス要件に基づいて、完全一致またはワイルドカード一致を指定することもできます。 ログ収集モードを指定し、抽出するフィールドをカスタマイズすることもできます。 正規表現を使用して、ログからフィールドを抽出できます。

Log Serviceのログデータには、タイムスタンプ情報が必要です。 Logtailを使用すると、ログ時刻形式をカスタマイズし、さまざまな形式に基づいて時刻情報から必要なタイムスタンプを抽出できます。

Logtail設定の自動同期log Serviceコンソールでログ収集用のLogtail設定を作成または更新すると、設定はLogtailがインストールされているサーバーに同期され、3分以内に有効になります。 ログは、同期中に元の設定に基づいて収集されます。
ステータスモニタリングLogtailは、リアルタイムで消費されるCPUおよびメモリリソースを監視します。 これにより、Logtailが過剰な数のリソースを消費したり、他のサービスに影響を与えたりしません。 リソース消費量が制限を超えると、Logtailは自動的に再起動されます。 Logtailは、消費されるネットワーク帯域幅リソースも監視します。 これにより、Logtailが過剰な帯域幅を消費しないようになります。 詳細については、「起動構成ファイル (ilogtail_config.json)」をご参照ください。
署名と暗号化LogtailはAlibaba CloudアカウントのAccessKeyペアを取得し、そのペアを使用してlog Serviceに送信されるすべてのログデータに署名します。 このようにして、データ送信中のデータ改ざんが防止される。
説明 Logtailは、HTTPSプロトコルを使用してAlibaba CloudアカウントのAccessKeyペアを取得し、AccessKeyペアのセキュリティを確保します。

データ収集の信頼性

Logtailは、ログ収集中にローカルサーバーに定期的に収集されるチェックポイントを格納します。 予期しないサーバーのシャットダウンやプロセスの障害などの例外が発生した場合、Logtailは再起動し、最後のチェックポイントからデータを収集します。 このプロセスは、不完全なデータ収集を回避する。 Logtailは、起動設定ファイルで指定された起動パラメーターに基づいて実行されます。 リソースの使用量が5分を超えた場合、Logtailは強制的に再起動されます。 再起動後、少量の重複データが指定されたLogstoreに収集される場合があります。

ログ収集の信頼性を向上させるために、Logtailは複数の内部メカニズムを使用します。 ただし、次のシナリオではログの収集に失敗する可能性があります。
  • Logtailは実行されていませんが、ログは複数回ローテーションされます。
  • ログの回転速度は高く、例えば、毎秒1回転である。
  • ログ収集率は、長期間のログ生成率よりも低い。