Simple Log Service:概要

制限事項

• パフォーマンスの制限

  Logtailプラグインを使用してログを処理すると、Logtailはより多くのリソースを消費します。 これらのリソースのほとんどはCPUリソースです。 ビジネス要件に基づいてLogtailパラメーター設定を変更できます。 詳細については、「起動パラメータの設定」をご参照ください。 生ログが5メガバイト/秒を超える速度で生成される場合は、複雑なプラグインの組み合わせを使用してログを処理しないことを推奨します。 Logtailプラグインを使用してログを事前に処理し、データ変換機能を使用してログをさらに処理できます。

• テキストログの制限
  Log Serviceでは、基本モードでテキストログを処理できます。 Log Serviceでは、Logtailプラグインを使用してテキストログを処理することもできます。

  • プラグイン処理機能を有効にすると、テキストモードの一部の高度な機能が使用できなくなります。 たとえば、フィルターの設定、生ログのアップロード、システムのタイムゾーンの指定、解析に失敗したログの削除、区切り文字モードでの一部のフィールドのアップロードはできません。 ただし、これらの機能の一部は、関連するプラグインを使用して実装できます。
  • プロセッサのプラグインは、行モードを使用してテキストログを処理します。 このモードでは、__tag __:__ path__や__topic___などのファイルのメタデータが各ログに記録されます。 プロセッサプラグインのみを使用してログを処理する場合、タグ関連の機能には次の制限が適用されます。
    • デフォルトでは、コンテキストクエリとLiveTail機能は使用できません。

      これらの機能を使用する場合は、アグリゲーター構成を追加する必要があります。 詳細は、「アグリゲーターの設定」をご参照ください。

    • デフォルトでは、__topic__ フィールドの名前は __log_topic__ に変更されます。

      アグリゲーター設定を追加すると、__topic__ フィールドと __log_topic__ フィールドの両方がログに存在します。 __log_topic__ フィールドが不要な場合は、processor_dropプラグインを使用してフィールドを削除できます。

    • __tag __:__ path__ などのフィールドには、元のフィールドインデックスはありません。 これらのフィールドのインデックスを設定する必要があります。

設定の説明

{
  ...
  "processors" : [
    {
      "type": "plugin_name" 、
      "detail": {...}
        },
    ...
  ],
  "アグリゲーター": [
    {
      "type": "plugin_name" 、
      "detail": {...}
        },
    ...
  ]
}

プロセッサの構成

Logtailプラグインの設定では、processorsフィールドが必要です。 次のプラグインを使用してデータを処理できます。

アグリゲーターの設定

Logtailプラグインを使用してログを処理し、プロセッサ設定のみを追加する場合、ログの __topic__ フィールドの名前は __log_topic__ に変更されます。 ログをクエリおよび分析するとき、コンテキストクエリとLiveTail機能は使用できません。 機能を使用する場合は、プロセッサとアグリゲータの両方の構成を追加する必要があります。 この例では、aggregator_contextプラグインを追加する必要があります。 設定例：

{
    ...
  "processors" : [...] 、
    "アグリゲーター": [
      {
          "type": "aggregator_context" 、
            "detail": {}
      }
    ]
}

アグリゲーター設定を追加すると、__topic__ フィールドと __log_topic__ フィールドの両方がログに存在し、フィールドの値は同じになります。

エントリーポイント