Logtail アクセスサービスは、 Log Service によって提供されるログ収集エージェントです。 Logtail を使用して、Alibaba Cloud Elastic Compute Service (ECS)インスタンスなどのサーバーから、 Log Service コンソールでリアルタイムでログを収集することができます。

図 1. 機能の利点


利点

  • ログファイルに基づく非接続のログ収集。 アプリケーションのコードを変更する必要はなく、ログ収集はアプリケーションの動作ロジックに影響を与えません。
  • テキストログの収集に加えて、binlog、http、およびcontainer stdoutなど、より多くの収集方法がサポートされています。
  • コンテナーは十分にサポートされています。 このサービスは、標準コンテナー、集団クラスター、およびKubernetesクラスターでのデータ収集をサポートします。
  • Logtail は、ログ収集プロセスで発生した例外を処理します。 ネットワークや Log Service などで異常が発生し、ユーザデータが一時的に予約帯域の書き込み制限を超えるといった問題が発生すると、Logtail はローカルで積極的にデータを再試行してキャッシュし、データセキュリティを保証します。
  • ログサービスに基づく集中管理機能。 Logtail をインストールした後は、ログを収集するマシンや Log Service での一元的な収集方法などの設定を、サーバーにログインすることなく、また個別に設定することなく行うことができます。 Logtail のインストール方法については、Logtail の WindowsへのインストールLogtail の Linux へのインストールを参照してください。
  • 包括的な自己保護の仕組み。 マシン上で実行されている収集エージェントがサービスのパフォーマンスに大きな影響を与えないように、Logtail クライアントは CPU、メモリ、ネットワークリソースの使用を厳しく保護し、制限します。

処理能力と制限

制限を参照してください。

手順

図 2. 設定プロセス


Logtail を使用してサーバからログを収集するには、次の手順に従います。
  1. Logtail をインストールします。 ログを収集するサーバーに Logtail をインストールします。 詳細:Logtail の WindowsへのインストールLogtail の Linux へのインストール
  2. マシングループにユーザー定義 ID を設定する。 Alibaba Cloud ECS インスタンスからログを収集しようとしている場合は、この手順をスキップしてください
  3. Logtail マシングループの作成。 Log Service は、マシングループの形式で Logtail クライアントを使用してログを収集するすべてのサーバーを管理します。 Log Service は、IP またはユーザー定義の ID を使用してマシングループを定義することをサポートします。 マシングループに適用ページの指示どおりにマシングループを作成することもできます。
  4. Logtail コレクション設定を作成し、それをマシングループに適用します。 データインポートウィザードで Logtail 設定を作成することにより、テキストファイルの収集syslogなどのデータを収集することができます。 次に、Logtail 設定をマシングループに適用することができます。

上記の手順を完了すると、ログを収集するサーバーの増分ログがアクティブに収集され、対応するログストアに送信されます。 履歴ログは収集されません。 コンソールまたは API/SDK を使用してこれらのログを照会することができます。 収集が正常かどうか、エラーが発生したかどうかなど、コンソールの Logtail ログ収集状況を照会することもできます。

Log Service コンソールの Logtail アクセスサービスの完全な手順については、Logtail を使用したテキストファイルの収集を参照してください。

コンテナー

主なコンセプト

  • グループ:マシングループには、ログタイプを収集する 1 つ以上のマシンが含まれています。 Logtail 構成をマシングループに適用すると、 Log Service は同じ Logtail 構成に従ってマシングループ内のすべてのマシンからログを収集します。 Log Service コンソールでは、マシングループの作成/削除、マシングループへのマシンの追加 / 削除など、マシングループを管理することもできます。 マシングループは、Windows マシンと Linux マシンの両方を含むことはできませんが、異なるバージョンの Windows マシンまたは異なるバージョンの Linux マシンを含むことができます。
  • Logtailクライアント: Logtail は、ログを収集し、ログが収集されるサーバー上で実行されるエージェントです。 Logtail のインストール方法については、Logtail の WindowsへのインストールLogtail の Linux へのインストールを参照してください。 サーバに Logtail をインストールした後、Logtail 設定を作成し、それをマシングループに適用します。
    • Linuxでは、Logtail は/usr/local/ilogtailディレクトリに インストールされ、ilogtail で始まる 2 つの独立したプロセス(収集プロセスとデーモンプロセス)を開始します。 プログラム実行ログは /usr/local/ilogtail/ilogtail.LOGです。
    • Windowsでは、Logtail は C:\Program Files\Alibaba\Logtailディレクトリ(32 ビットシステム用) またはC:\Program Files(x86)\Alibaba\Logtailディレクトリ(64 ビット用 システム)にインストールされます。 Windows 管理ツール> サービスに移動すると、 LogtailWorker と LogtailDaemon の 2 つの Windows サービスを表示できます。 LogtailDaemon はデーモンとして動作します。 プログラム実行ログは、 インストールディレクトリのlogtail_*.logです。
  • Logtail 構成: Logtail 構成は、Logtail を使用してログを収集するポリシーの集合です。 データソースや収集モードなどの Logtail パラメーターを設定することで、マシングループ内のすべてのマシンのログ収集ポリシーをカスタマイズできます。 Logtail 設定は、マシンからログの種類を収集し、収集したログを解析し、指定された Log Service の Logstore にそれらを送信するために使用されます。 Logstore がこの Logtail 構成を使用して収集されたログを受信できるようにするには、コンソール内の各 Logstore に Logtail 構成を追加できます。

基本機能

Logtail アクセスサービスは、以下の機能を提供します。
  • リアルタイムログ収集: Logtail は動的にログファイルを監視し、増分ログをリアルタイムで読み込み、解析します。 一般に、ログが生成されてから Log Service ログが送信されるまでの間に、3 秒未満の遅延があります。
    Logtail は履歴データの収集をサポートしていません。 ログが読み込まれてからログが生成されるまでの間隔が 5 分を超えるログは破棄されます。
  • 自動ログローテーション処理:多くのアプリケーションは、ログファイルをファイルサイズまたは日付に従ってローテーションします。 ローテーション処理中に、元のログファイルの名前が変更され、ログの書き込み用に新しい空のログファイルが作成されます。 例えば、監視されたapp.LOGapp.LOG. 1app.LOG. 2を生成するためにローテーションします。 app.LOGのように、収集されたログが書き込まれるファイルを指定することができます。 Logtail は自動的にログローテーションプロセスを検出し、このプロセス中にログデータが失われないことを保証します。
  • 複数の収集入力ソース:テキストログ以外にも、Loglog は syslog、HTTP、MySQL、binlog などの入力ソースをサポートしています。 詳細については、「ログサービスユーザーガイド」の「データソース」を参照してください。
  • オープンソース収集エージェントとの互換性:Logstashの入力ソースは、LogstashやBeatsなどのオープンソースソフトウェアによって収集されたデータにすることができます。 詳細については、「ログサービスユーザーガイド」の「データソース」を参照してください。
  • 収集例外の自動処理: Log Service エラー、ネットワーク対策、制限を超えるクォータなどの例外によりデータ送信が失敗した場合、Logtail は特定のシナリオに基づいて積極的に再試行します。 再試行が失敗した場合、Logtail はローカルキャッシュにデータを書き込み、その後、自動的にデータを再送信します。
  • 柔軟な収集ポリシー設定: Logtail 設定を使用して、サーバからログを収集する方法を柔軟に指定することができます。 具体的には、実際のシナリオに基づいて、ワイルドカードと完全一致またはファジー一致をサポートするログディレクトリとファイルを選択できます。 ログ収集の抽出方法と抽出されたフィールドの名前をカスタマイズすることができます。 Log Service、正規表現を使用してログを抽出できます。 Log Service のログデータモデルでは、各ログに正確なタイムスタンプが必要です。 したがって、Logtail はカスタムログの時刻形式を提供し、さまざまな形式のログデータから必要なタイムスタンプ情報を抽出することができます。
  • 収集構成の自動同期:一般的に、 Log Service コンソールで構成を作成または更新すると、Logtail は自動的にその構成を受け入れ、3 分以内に構成を有効にします。 構成の更新時に収集されたデータは失われません。
  • クライアントの自動アップグレード: Logtail をサーバーに手動でインストールすると、 Log Service は自動的に Operation&Maintenance(O&M) およびLogtail のアップグレードを実行します。 Logtail をアップグレードしてもログデータは失われません。
  • ステータス監視: Logtail クライアントがリソースを消費し過ぎてサービスに影響を与えないようにするため、Logtail クライアントは CPU とメモリの消費量をリアルタイムで監視します。Logtail クライアントは、リソースの使用量が制限を超えた場合に自動的に再起動され、マシン上の他の操作に影響を与えないようにします。 Logtail クライアントは、ネットワークトラフィックを積極的に制限して、過剰な帯域幅消費を防ぎます。
  • シグネチャによるデータ送信:送信プロセス中にデータが改ざんされるのを防ぐため、Logtail クライアントは Alibaba Cloud AccessKey を取得し、送信されるすべてのログデータパケットに署名を提供します。
    Alibaba Cloud AccessKey のセキュリティを維持するため、Logtail は HTTPS トンネルを使用してAccessKeyを取得します。