コンテナ標準出力

機能の特徴

実装の原則

次の図に示すように、Logtail は Docker の Domain Socket と通信し、 Docker 上で実行されているすべてのコンテナを照会し、ラベル情報に従って収集するコンテナを特定します。 Logtail は、Docker log コマンドを使用して、指定されたコンテナログを取得します。

Logtail は、コンテナの標準出力を収集するときに定期的に収集したポイント情報をチェックポイントファイルに保存します。 Logtail が停止後に再起動されると、ログは最後に保存されたポイントから収集されます。

制限

構成プロセス

1. Logtail コンテナをデプロイして構成します。
2. ログサービスで収集の構成を行います。

1.Logtail コンテナをデプロイして構成する

• Kubernetes
• その他コンテナ管理方法

2.ログサービスで収集の構成を行う

構成項目の説明

入力ソースタイプは service_docker_stdout です。

デフォルトフィールド

次のフィールドは、デフォルトで各ログによってアップロードされます。

クラスタが Kubernetes クラスタの場合、デフォルトで各ログによって次のフィールドがアップロードされます。

設定例

一般的な設定

複数行ログの収集設定

マルチラインログ収集は、Java 例外スタック出力の収集にとって特に重要です。 ここでは、Java 標準出力ログの標準収集設定を紹介します。

• ログサンプル：

  2018-02-03 14:18:41.968 INFO [spring-cloud-monitor] [nio-8080-exec-4] c.g.s.web.controller.DemoController : service start
  2018-02-03 14:18:41.969 ERROR [spring-cloud-monitor] [nio-8080-exec-4] c.g.s.web.controller.DemoController : java.lang.NullPointerException
  at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:193)
  at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:166)
  at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:199)
  at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:96)
  ...
  2018-02-03 14:18:41.968 INFO [spring-cloud-monitor] [nio-8080-exec-4] c.g.s.web.controller.DemoController : service start done

• コレクションの構成：

  ラベルが app = monitor で、行の先頭が日付型のコンテナの入力ログを収集する（マッチング効率を上げるために、行の最初の 10 バイトだけが正規表現との一致をチェックするために使用される） 。

  {
  "inputs": [
    {
      "detail": {
        "BeginLineCheckLength": 10,
        "BeginLineRegex": "\\d+-\\d+-\\d+. *",
        "IncludeLabel": {
          "app": "monitor"
        }
      },
      "type": "service_docker_stdout"
    }
  ]
  }

収集したデータを処理する

Logtail は収集された Docker の標準出力に対して common data processing methods をサポートしています。 前のセクションの複数行のログ形式に基づいて、正規表現を使用して時刻、モジュール、スレッド、クラス、および情報のログを解析することをお勧めします。

• 収集の構成：
  ラベルが app = monitor で、行の先頭が日付型のコンテナの入力ログを収集する（マッチング効率を上げるために、行の最初の 10 バイトだけが正規表現との一致をチェックするために使用される）

  {
  "inputs": [
    {
      "detail": {
        "BeginLineCheckLength": 10,
        "BeginLineRegex": "\\d+-\\d+-\\d+. *",
        "IncludeLabel": {
          "app": "monitor"
        }
      },
      "type": "service_docker_stdout"
    }
  ],
  "Processors ":[
      {
          "type": "processor_regex",
          "detail": {
              "SourceKey": "content",
              "Regex": "(\\d+-\\d+-\\d+ \\d+:\\d+:\\d+\\.\\d+)\\s+(\\w+)\\s+\\[([^]]+)]\\s+\\[([^]]+)]\\s+:\\s+(. *)",
              "Keys": [
                  "time",
                  "module",
                  "thread",
                  "class",
                  "info"
              ],
              "NoKeyError": true,
              "NoMatchError": true,
              "KeepSource": false
          }
      }
  ]
  }

• サンプル出力：

  ログ 2018-02-03 14:18:41.968 INFO [spring-cloud-monitor] [nio-8080-exec-4] c.g.s.web.controller.DemoController : service start done を処理した後の出力は、次のようになります。

  __tag__:__hostname__:logtail-dfgef
  _container_name_:monitor
  _image_name_:registry.cn-hangzhou.aliyuncs.xxxxxxxxxxxxxxx
  _namespace_:default
  _pod_name_:monitor-6f54bd5d74-rtzc7
  _pod_uid_:7f012b72-04c7-11e8-84aa-00163f00c369
  _source_:stdout
  _time_:2018-02-02T14:18:41.979147844Z
  Time: 2018-02-02 02:18:41. 968
  level:INFO
  module:spring-cloud-monitor
  Thread: fig
  Class: c.g.s. web. Controller. demcontroller
  message:service start done