edit-icon download-icon

概要

最終更新日: May 31, 2018

Logtail アクセスサービスは、 Log Service によって提供されるログ収集エージェントです。Logtail を使用して、Alibaba Cloud Elastic Compute Service (ECS)インスタンスなどのサーバーから、 Log Service コンソールでリアルタイムでログを収集することができます。

28979-1

機能の利点

  • ログファイルに基づく非接続のログ収集。アプリケーションのコードを変更する必要はなく、ログ収集はアプリケーションの動作ロジックに影響を与えません。
  • Logtail は、ログ収集プロセスで発生した例外を処理します。Logtail は、ネットワークや Log Service などの異常が発生し、ユーザデータが一時的に予約帯域の書き込み制限を超えると、データをローカルで積極的に再試行してキャッシュし、データセキュリティを保証します。
  • ログサービスに基づく集中管理機能 Logtail をインストールした後は、ログを収集するマシンや Log Service 収集方法などの設定を、サーバーにログオンせずに別々の設定を行うことなく集中的に行うことができます。Logtail のインストール方法については、Windows に Logtail をインストールLinux に Logtail をインストールを参照してください。
  • 包括的な自己保護の仕組み。マシン上で実行されている収集エージェントがサービスのパフォーマンスに大きな影響を与えないように、Logtail クライアントは CPU、メモリ、ネットワークリソースの使用を厳しく保護し、制限します。

処理能力と限界

制限値を参照してください。

手順

1

Logtail を使用してサーバからログを収集するには、次の手順に従います。

  1. Logtail をインストールします。ログを収集するサーバーに Logtail をインストールします。詳細については、Windows に Logtail をインストールLinux に Logtail をインストールを参照してください。
  2. あなたのアカウントの下にない Alibaba Cloud ECS 以外のインスタンスまたは ECS インスタンスのユーザー ID を作成する。Alibaba Cloud ECS インスタンスからログを収集しようとしている場合は、この手順をスキップしてください。
  3. マシングループを作成する。Log Service は、マシングループの形式で Logtail クライアントを使用してログを収集するすべてのサーバーを管理します。Log Service は、IP またはユーザー定義の ID を使用してマシングループを定義することをサポートします。マシングループに適用ページの指示どおりにマシングループを作成することもできます。
  4. Logtail コレクション設定を作成し、それをマシングループに適用します。データインポートウィザードで Logtail 設定を作成することにより、テキストファイルsyslog データなどのデータを収集することができます。次に、Logtail 設定をマシングループに適用することができます。

注意: Logtail コレクション設定でログ抽出ルールを設定する方法については、正規表現の設定を参照してください。

前述の手順を完了すると、ログを収集するサーバーの増分ログがアクティブに収集され、対応するログストアに送信されます。履歴ログは収集されません。コンソールまたは API/SDK を使用してこれらのログを照会することができます。収集が正常かどうか、エラーが発生したかどうかなど、コンソールの Logtail ログ収集状況を照会することもできます。

Log Service コンソールの Logtail アクセスサービスの完全な手順については、Logtail を使用してテキストファイルの収集を参照してください。

Docker

  • Alibaba クラウド Container Service :Enable Log Serviceを参照してください。
  • ECS/IDC 自己構築型 Docker(コンテナ内のログディレクトリはホストにマウントする必要があります):

    1. Windows に Logtail をインストールまたはLinux に Logtail をインストールをクリックします。
    2. コンテナ内のログディレクトリをホストディレクトリにマウントします。

      • 方法 1:次のコマンドを使用します(ホストディレクトリは /log/webapp、コンテナ内のログディレクトリは/opt/webapp/log)。

        1. docker run -d -P --name web -v /src/webapp:/opt/webapp training/webapp python app.py
      • 方法 2:オーケストレーションテンプレートを使用します。

注意: Logtail スタートアップパラメータの設定は、Logtail のチェックポイント格納アドレスを変更し、ホストにチェックポイントをマウントして、チェックポイント情報が失われたために重複して収集されないようにすることをお勧めしますコンテナがリリースされます。

コアのコンセプト

  • マシングループ:マシングループには、ログの型を収集する 1 つ以上のマシンが含まれています。Logtail 構成をマシングループに適用すると、 Log Service は同じ Logtail 構成に従ってマシングループ内のすべてのマシンからログを収集します。Log Service コンソールでは、マシングループの作成/削除、マシングループへのマシンの追加 / 削除など、マシングループを管理することもできます。マシングループは、Windows マシンと Linux マシンの両方を含むことはできませんが、異なるバージョンの Windows マシンまたは異なるバージョンの Linux マシンを含むことができます。

  • Logtailクライアント: Logtail は、ログを収集し、ログが収集されるサーバー上で実行されるエージェントです。Logtail のインストール方法については、Windows に Logtail をインストールLinux に Logtail をインストールを参照してください。サーバに Logtail をインストールした後、Logtail 設定を作成し、それをマシングループに適用します。

    • Linux では、Logtail は /usr/local/ilogtailディレクトリにインストールされ、ilogtail で始まる 2 つの独立したプロセス(収集プロセスとデーモンプロセス)を開始します。プログラム実行ログは /usr/local/ilogtail/ilogtail.LOGです。

    • Windows では、Logtail は C:\Program Files\Alibaba\Logtail ディレクトリ(32 ビットシステム用)または C:\Program Files(x86)\Alibaba\Logtail ディレクトリ(64 ビット用)システム)。Windows 管理ツール> サービスに移動すると、LogtailWorker と LogtailDaemon の 2 つの Windows サービスを表示できます。LogtailWorker はログを収集するために使用され、LogtailDaemon はデーモンとして動作します。プログラム実行ログは、インストールディレクトリの logtail_*.logです。

  • Logtail 構成: Logtail 構成は、Logtail を使用してログを収集するポリシーの集合です。データソースや収集モードなどの Logtail パラメータを設定することで、マシングループ内のすべてのマシンのログ収集ポリシーをカスタマイズできます。Logtail 設定は、マシンからログの種類を収集し、収集したログを解析し、指定された Log Service の Logstore にそれらを送信するために使用されます。Logstore がこの Logtail 構成を使用して収集されたログを受信できるようにするには、コンソール内の各 Logstore に Logtail 構成を追加できます。

基本機能

Logtail アクセスサービスは、以下の機能を提供します。

  • リアルタイムログ収集: Logtail は動的にログファイルを監視し、増分ログをリアルタイムで読み込み、解析します。一般に、ログが生成されてから Log Service ログが送信されるまでの間に、3 秒未満の遅延が存在します。

    注意: Logtail は履歴データの収集をサポートしていません。ログが読み込まれてからログが生成されるまでの間隔が 5 分を超えるログは破棄されます。

  • 自動ログローテーション処理:多くのアプリケーションは、ログファイルをファイルサイズまたは日付に従ってローテーションします。回転処理中に、元のログファイルの名前が変更され、ログの書き込み用に新しい空のログファイルが作成されます。例えば、監視された app.LOGapp.LOG.1app.LOG.2を生成するために回転します。app.LOGのように、収集されたログが書き込まれるファイルを指定することができます。Logtail は自動的にログローテーションプロセスを検出し、このプロセス中にログデータが失われないことを保証します。

    注:ログファイルが数秒以内に複数回回転すると、データが失われる可能性があります。

  • 複数の収集入力ソース:テキストログ以外にも、Loglog は syslog、HTTP、MySQL、binlog などの入力ソースをサポートしています。詳細については、「ログサービスユーザーガイド」の「データソース」を参照してください。

  • 収集例外の自動処理: Log Service エラー、ネットワーク対策、制限を超えるクォータなどの例外によりデータ送信が失敗した場合、Logtail は特定のシナリオに基づいて積極的に再試行します。再試行が失敗した場合、Logtail はローカルキャッシュにデータを書き込み、その後、自動的にデータを再送信します。

    注:ローカルキャッシュはサーバーのディスクにあります。ローカルにキャッシュされたデータが Log Service によって 24 時間以内に受信されなかった場合、そのデータは破棄され、ローカルマシンから削除されます。

  • 柔軟な収集ポリシー設定: Logtail 設定を使用して、サーバからログを収集する方法を柔軟に指定することができます。具体的には、実際のシナリオに基づいて、ワイルドカードと完全一致またはファジー一致をサポートするログディレクトリとファイルを選択できます。ログ収集の抽出方法と抽出されたフィールドの名前をカスタマイズすることができます。Log Service、正規表現を使用してログを抽出できます。Log Service のログデータモデルでは、各ログに正確なタイムスタンプが必要です。したがって、Logtail はカスタムログの時刻形式を提供し、さまざまな形式のログデータから必要なタイムスタンプ情報を抽出することができます。

  • コレクション構成の自動同期:一般的に、 Log Service コンソールで構成を作成または更新すると、Logtail は自動的にその構成を受け入れ、3 分以内に構成を有効にします。構成の更新時に収集されたデータは失われません。

  • クライアントの自動アップグレード: Logtail をサーバーに手動でインストールすると、 Log Service は自動的に Operation&Maintenance(O&M)およびLogtail のアップグレードを実行します。Logtail をアップグレードしてもログデータは失われません。

  • ステータス監視: Logtail クライアントが多すぎるリソースを消費してサービスに影響を与えないようにするため、Logtail クライアントは CPU とメモリの消費量をリアルタイムで監視します。Logtail クライアントは、リソースの使用量が制限を超えた場合に自動的に再起動され、マシン上の他の操作に影響を与えないようにします。Logtail クライアントは、ネットワークトラフィックを積極的に制限して、過剰な帯域幅消費を防ぎます。

    注意:

    • Logtail クライアントを再起動すると、ログデータが失われる可能性があります。
    • 処理ロジック内で例外のために Logtail クライアントが終了すると、対応する保護メカニズムが起動され、Logtail クライアントが再起動されてログの収集が続行されます。ただし、再起動前に生成されたログデータが失われる可能性があります。
  • シグネチャによるデータ送信:送信プロセス中にデータが改ざんされるのを防ぐため、Logtail クライアントは Alibaba Cloud AccessKey を取得し、送信されるすべてのログデータパケットに署名を提供します。

    注: Logtail クライアントは HTTPS チャンネルを使用して Alibaba Cloud AccessKey を取得します。これは AccessKey のセキュリティを保証します。