Simple Log Service:Logtailの起動パラメーターの設定

シナリオ

推奨パラメーター値

JSONファイルからログを収集する場合は、実際のプラクティスから取得した次のパラメーター値を使用できます。 フル正規表現モードおよび区切り文字モードでのLogtailの収集パフォーマンスは、JSONモードでのLogtailの収集パフォーマンスと同様です。 シンプルモードでのLogtailの収集パフォーマンスは、JSONモードでのLogtailの収集パフォーマンスの5倍です。 データとルールの複雑さと、ログを収集するディレクトリとファイルの数の両方が、CPU使用率とメモリ使用量に影響します。 テーブルの値とビジネス要件に基づいて、次のパラメーターを設定することをお勧めします。

• ホスト環境

  パラメーター	デフォルトの収集速度	10メガバイト/秒より高いコレクションの速度	20メガバイト/秒より高いコレクションの速度	40メガバイト/秒より高いコレクションの速度
  cpu_usage_limit	0.4	1	2	4
  mem_usage_limit	384	1024	2048	4096
  max_bytes_per_sec	20971520	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_並行性	4	20	40	80

• コンテナまたはKubernetes環境

  環境変数	デフォルトの収集速度	10メガバイト/秒より高いコレクションの速度	20メガバイト/秒より高いコレクションの速度	40メガバイト/秒より高いコレクションの速度
  cpu_usage_limit	2	3	5	9
  mem_usage_limit	2048	2048	2048	4096
  max_bytes_per_sec	209715200	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_並行性	20	20	40	80
  resources.limits.cpu	500M	1000M	2000M	4000M
  resources.limits.memory	2 Gi	2 Gi	3 Gi	5 Gi

  コンテナーまたはKubernetesクラスターからログを収集する場合は、DaemonSet関連の環境変数を変更することで、Logtailのスタートアップパラメーターを変更できます。 ConfigMapsは一部の環境変数によって参照され、ConfigMapsへのパスはconfigmap > kube-system > alibaba-log-configurationです。 daemonset > kube-system > logtail-dsのresources.limits.cpuおよびresources.limits.memoryを変更して、コンテナーリソースの過度の使用を防ぐこともできます。

上記の表の [収集速度が40 MB/sを超える] 列の値に基づいてLogtail起動パラメーターを設定した場合、Logtailの収集パフォーマンスは上限に近づきます。 この場合、より多くのスレッドが作成されてもパフォーマンスは大幅に向上しません。 次の表に、Logtailがさまざまな収集モードで提供できる収集パフォーマンスの上限を示します。

Logtailの起動パラメーターの設定

1. Logtailがインストールされているサーバーで /usr/local/ilogtail/ilogtail_config.jsonファイルを開きます。

   ホストからログを収集する場合は、この手順を実行してLogtailの起動パラメーターを設定できます。

   コンテナーまたはKubernetesクラスターからログを収集する場合は、DaemonSet関連の環境変数を変更することで、Logtailのスタートアップパラメーターを変更できます。 ConfigMapsは一部の環境変数によって参照され、ConfigMapsへのパスはconfigmap > kube-system > alibaba-log-configurationです。

2. ビジネス要件に基づいてLogtailのスタートアップパラメーターを設定します。

   Logtailの起動パラメーターの例を次に示します。

   {
       ...
       "cpu_usage_limit" : 0.4,
       "mem_usage_limit" : 384、
       "max_bytes_per_sec" : 20971520、
       "process_thread_count" : 1,
       "send_request_concurrency" : 4,
       "buffer_file_num" : 25,
       "buffer_file_size" : 20971520,
       "buffer_file_path" : "",
       ...
   }

   説明

   • 次の表に、Logtailの一般的に使用される起動パラメーターを示します。 他の起動パラメータのデフォルト値を保持できます。
   • ビジネス要件に基づいてスタートアップパラメーターを追加または変更できます。

   表 1. Logtailのスタートアップパラメータ

   パラメーター	データ型	説明	例:
   cpu_usage_limit	double	LogtailのCPU使用率のしきい値。 計算は単一のコアに基づいています。 有効値: 現在のサーバーのCPUコア数に0.1 デフォルト値: 0.4 に警告 cpu_usage_limitはソフトリミットを指定します。 Logtailの実際のCPU使用率が制限を超える可能性があります。 LogtailのCPU使用率が5分間この制限を超えたままである場合、システムは回路ブレーカーをトリガーします。 その後、Logtailが自動的に再起動します。 たとえば、パラメーターを0.4に設定します。 単一コアに基づいてLogtailのCPU使用率が5分間40% を超えたままである場合、Logtailは自動的に再起動します。 ほとんどの場合、単一のコアは、シンプルモードで約100メガバイト/秒、フル正規表現モードで約20メガバイト/秒の収集速度をサポートします。	"cpu_usage_limit" : 0.4
   mem_usage_limit	int	Logtailのメモリ使用量のしきい値。 単位：MB。 有効な値: 128〜8192 デフォルト値: ホスト環境の384とContainer Service for Kubernetes (ACK) コンポーネントの2048 に警告 mem_usage_limitはソフト制限を指定します。 Logtailの実際のメモリ使用量が制限を超える可能性があります。 Logtailのメモリ使用量が5分間この制限を超えたままである場合、システムは回路ブレーカーをトリガーします。 その後、Logtailが自動的に再起動します。 収集速度、監視されるディレクトリ、ログファイルの数、および同期送信されたリクエストの数は、mem_usage_limitパラメーターに関連しています。 詳細については、「制限」をご参照ください。	"mem_usage_limit" : 384
   max_bytes_per_sec	int	Logtailが生データを送信する最高速度。 単位: 1秒あたりのバイト数。 有効な値: 1024〜52428800 Default値: 20971520 For例、あなた場合にパラメータを設定2097152、最高速度でLogtail送信データは2メガバイト/秒。 重要 Ifあなたにパラメータを設定値以上である20971520、速度でLogtail送信データは限定されない。 値20971520は、速度が20メガバイト/秒であることを示す。	"max_bytes_per_sec" : 2097152
   process_thread_カウント	int	Logtailがデータを処理するために使用するスレッドの数。 有効値: 1 ~ 64 デフォルト値：1 ほとんどの場合、スレッドはシンプルモードで24メガバイト/秒、フル正規表現モードで12メガバイト/秒の書き込み速度を提供します。 このパラメーターのデフォルト値を保持することを推奨します。	"process_thread_count" : 1
   send_request_並行性	int	Logtailが非同期でデータを送信するために送信できる同時リクエストの最大数。 有効な値: 1 ~ 1000 デフォルト値: 20 Log Serviceが1秒あたりのトランザクション数 (TPS) が高い場合は、このパラメーターをより大きな値に設定できます。 各同時リクエストは、0.5メガバイト/秒対1メガバイト/秒のネットワークスループットをサポートします。 同時リクエストの実際のネットワークスループットは、ネットワークの待ち時間によって異なります。 説明 このパラメーターの値が大きい場合、同時要求で使用されるネットワークポートの数が多すぎる可能性があります。 この場合、TCP関連のパラメーターの値を変更する必要があります。	"send_request_concurrency" : 4
   buffer_file_num	int	キャッシュできるファイルの最大数。 設定可能な値は 1~100 です。 デフォルト値: 25 ネットワークエラーが発生した場合、またはデータ書き込みの制限に達した場合、Logtailは解析されたログをインストールディレクトリのローカルファイルにキャッシュします。 Logtailは生のログをリアルタイムで解析します。 問題が修正されると、Logtailはキャッシュされたログの送信を再試行します。	"buffer_file_num" : 25
   buffer_file_サイズ	int	キャッシュされたファイルの最大サイズ。 単位：バイト 有効な値: 1048576〜104857600 Default値: 20971520 キャッシュされたファイルが占有できる最大ディスク容量は、buffer_file_sizeパラメーターの値にbuffer_file_numパラメーターの値を掛けることによって計算されます。	"buffer_file_size" : 20971520
   buffer_file_パス	String	キャッシュされたファイルが格納されるディレクトリ。 このパラメーターはデフォルトで空です。これは、キャッシュされたファイルがLogtailのインストールディレクトリに格納されていることを示します。 デフォルトのディレクトリは /usr/local/ilogtailです。 このパラメーターに値を指定する場合、名前がlogtail\_buffer\_file_* と一致するキャッシュされたファイルをLogtailのインストールディレクトリから指定したディレクトリに移動する必要があります。 これにより、Logtailはキャッシュされたファイルを読み取り、送信し、削除できます。	"buffer_file_path" : ""
   bind_interface	String	Logtailがインストールされているサーバーに関連付けられているネットワークインターフェイスコントローラー (NIC) の名前。 このパラメーターはデフォルトでは空です。これは、サーバーが使用可能なNICに自動的に関連付けられることを示します。 eth1などのこのパラメーターの値を指定した場合、LogtailはNICを使用してログをアップロードします。 このパラメーターは、LogtailがLinuxサーバーで実行されている場合にのみ使用できます。	"bind_interface" : ""
   check_point_filename	String	Logtailのチェックポイントファイルへのパス。 デフォルト値：/tmp/logtail_check_point	"check_point_filename" : /tmp/logtail_check_point
   check_point_dump_interval	int	Logtailがチェックポイントファイルを更新する間隔。 デフォルト値: 900 単位は秒です。 デフォルト値を維持する場合、Logtailは15分間隔でチェックポイントファイルを更新します。 このパラメーターはLogtail V1.0.19以降でのみ使用できます。	"check_point_dump_interval" : 900
   user_config_file_パス	String	Logtail設定を格納するファイルへのパス。 ファイル名はuser_log_config.jsonで、Logtailプロセス用に作成されたBINファイルのディレクトリに保存されます。	"user_config_file_path" : user_log_config.json
   docker_file_cache_パス	String	コンテナーファイルとホストファイル間のパスマッピングを記録するファイルへのパス。 デフォルトでは、パスは /usr/local/ilogtail/docker_path_config.jsonです。 このパラメーターはLogtail V0.16.54以降でのみ使用できます。	"docker_file_cache_path": /usr/local/ilogtail/docker_path_config.json
   discard_old_data	Boolean	履歴ログを破棄するかどうかを指定します。 デフォルト値：true この値は、現在時刻の12時間以上前に生成されたログが破棄されることを示します。	"discard_old_data" : true
   ilogtail_discard_interval	int	ログを破棄するための時間しきい値。 ログが生成された時刻と現在の時刻の差がしきい値を超えた場合、ログは破棄されます。 デフォルト値: 43200 単位は秒です。 値43200は、しきい値が12時間であることを示します。	"ilogtail_discard_interval": 43200
   working_ip	String	LogtailによってLog Serviceに報告されるサーバーのIPアドレス。 このパラメーターはデフォルトで空です。これは、Log ServiceがLogtailがインストールされているサーバーのIPアドレスを自動的に取得することを示します。	"working_ip" : ""
   working_hostname	String	LogtailによってLog Serviceに報告されるサーバーホスト名。 このパラメーターはデフォルトでは空です。これは、Log ServiceがLogtailがインストールされているサーバーのホスト名を自動的に取得することを示します。	"working_hostname" : ""
   max_read_buffer_サイズ	long	Logtailが読み取ることができるログの最大サイズ。 単位：バイト デフォルト値: 524288 デフォルト値524288は、最大サイズが512 KBであることを示します。 最大値: 4194304。 値4194304は、最大サイズが4 MBであることを示します。 ログのサイズが524,288バイトを超える場合、このパラメーターの値を変更できます。	"max_read_buffer_size" : 524288
   oas_connect_timeout	long	Logtail設定またはAccessKeyペアを取得するためのリクエストを送信するためにLogtailによって確立された接続のタイムアウト期間。 既定値：5 単位は秒です。 Ifを接続できませんネットワーク条件不良によるタイムアウト前に確立され、変更することができこのパラメータの値。	"oas_connect_timeout" : 5
   oas_request_timeout	long	Logtail設定またはAccessKeyペアを取得するためにLogtailによって送信されるリクエストのタイムアウト期間。 デフォルト値は 10 です。 単位は秒です。 ネットワークの状態が悪いためにタイムアウト前に接続を確立できない場合は、このパラメーターの値を変更できます。	"" : 10
   data_server_port	long	data_server_portパラメーターを443に設定すると、LogtailはHTTPS経由でデータをLog Serviceに転送します。 このパラメーターはLogtail V1.0.10以降でのみ使用できます。	"data_server_port": 443
   enable_log_time_auto_調整	Boolean	enable_log_time_auto_adjustパラメーターをtrueに設定した場合、ログ時間はサーバーのローカル時間に適合します。 データのセキュリティを確保するために、Log ServiceはLogtailによって送信されたリクエストを含むリクエストの時間情報をチェックします。 この情報は、要求が送信される時刻を示す。 Log Serviceは、Log Serviceの時刻より15分早くまたは遅く送信されたリクエストを拒否します。 要求内の時間情報は、サーバのローカル時間と見なされる。 一部のテストシナリオでは、現地時間を将来の時点に変更する必要があります。 サーバーのローカル時刻を変更すると、Log ServiceはLogtailからのリクエストを拒否し、データをLog Serviceに書き込むことはできません。 このパラメーターを使用して、ログ時間をサーバーのローカル時間に適合させることができます。 このパラメーターはLogtail V1.0.19以降でのみ使用できます。 重要 enable_log_time_auto_adjustパラメーターをtrueに設定すると、Log Serviceの時刻とサーバーのローカル時刻の間のオフセットがログ時刻に追加されます。 リクエストがLog Serviceによって拒否された場合にのみ、オフセットが更新されます。 したがって、log Serviceによって照会されるログの時刻は、ログが書き込まれた時刻と異なる場合があります。 Logtailのロジックの一部は、システム時間の増分に基づいて変更されます。 サーバーのローカル時刻を変更した後、Logtailを再起動することを推奨します。	"enable_log_time_auto_adjust": true
   accept_multi_config	Boolean	複数のLogtail設定を使用して、Logtailが同じファイルからデータを収集できるようにするかどうかを指定します。 デフォルト値：false この値は、Logtailが複数のLogtail設定を使用して同じファイルからデータを収集できないことを示します。 デフォルトでは、Logtailは1つのLogtail設定のみを使用してファイルからデータを収集できます。 複数のLogtail設定を使用してLogtailがファイルからデータを収集できるようにする場合は、このパラメーターをtrueに設定できます。 各Logtail構成には独立した収集プロセスがあります。 複数のLogtail設定を使用して同じファイルからデータを収集すると、CPU使用率とメモリ使用量が増加します。 このパラメーターはLogtail V0.16.26以降でのみ使用できます。	"accept_multi_config": true
   enable_checkpoint_sync_write	Boolean	同期書き込み機能を有効にするかどうかを指定します。 デフォルト値：false この値は、同期書き込み機能が無効になっていることを示します。 同期書き込み機能は、ExactlyOnce書き込み機能とともに使用されます。 ExactlyOnce書き込み機能を有効にすると、Logtailは、Logtailがインストールされているサーバーのディスクに、きめ細かいチェックポイントをファイルごとに記録します。 デフォルトでは、Logtailはチェックポイントをディスクに書き込む同期関数を呼び出しません。 ただし、サーバーの再起動時にバッファリングされたデータがディスクに書き込まれない場合、チェックポイントが失われる可能性があります。 この場合、enable_checkpoint_sync_writeパラメーターをtrueに設定して、同期書き込み機能を有効にできます。 詳細については、「Logtail の設定」をご参照ください。 このパラメーターはLogtail V1.0.20以降でのみ使用できます。	"enable_checkpoint_sync_write": false
   enable_env_ref_in_config	Boolean	Logtail設定で環境変数置換機能を有効にするかどうかを指定します。 デフォルト値：false この機能を有効にすると、Log ServiceコンソールでLogtail設定を作成するときに、環境変数xxxのプレースホルダーとして ${xxx} を使用できます。 たとえば、ログパスを /${xxx}/logsに設定し、環境変数をxxx=userに設定した場合、Logtailがログを収集するファイルへのパスは /user/logsになります。 Logtail設定で ${ および} が使用されている場合、$${ および $} を使用して文字をエスケープできます。 このパラメーターはLogtail V1.0.31以降でのみ使用できます。	"enable_env_ref_in_config": false
   docker_config_update_interval	int	コンテナーパスが更新される最小間隔。 Logtail V1.0.32: 10より前のバージョンのデフォルト値。 Logtail V1.0.32以降のデフォルト値: 3。 単位は秒です。 このパラメーターは、max_docker_config_update_timesパラメーターと共に使用されます。 If 1値の2つのパラメータは、到達コンテナパスはもはや更新されます。	"docker_config_update_interval": 3
   max_docker_config_update_times	int	Theの最大数回容器をパス3分以内に更新することができる。 Default値バージョン以前よりもLogtail V1.0.32: 3。 Logtail V1.0.32以降のデフォルト値: 10。 デフォルトでは、コンテナパスが3分以内に3回以上更新された場合、コンテナパスは3分後まで再度更新できません。	"max_docker_config_update_times": 10
   DOCKER_ホスト	String	Dockerとの通信に使用されるソケットアドレス。 環境変数を使用してソケットアドレスを設定する必要があります。 このパラメーターはデフォルトで空です。これは、デフォルトのソケットアドレスunix:/// var/run/docker.sockが使用されていることを示します。	DOCKER_HOST=unix:/// var/run/docker.sock
   CONTAINERD_SOCK_パス	String	containerdとの通信に使用されるソケットアドレス。 環境変数を使用してソケットアドレスを設定する必要があります。 このパラメーターはデフォルトで空です。これは、デフォルトのソケットアドレスunix:/// run/containerd/containerd.sockが使用されていることを示します。 K3sクラスターが使用されている場合は、デフォルトのソケットアドレスをこの例で指定した値に変更できます。	CONTAINERD_SOCK_PATH=/run/k3s/containerd/containerd.sock
   logreader_max_rotate_queue_サイズ	Int	ファイルがローテーションされるキューの最大長。 デフォルト値は 20 です。 ログの収集がブロックまたは遅延した場合、ログを収集するファイルにはファイルハンドルが割り当てられ、キューで待機します。 ログ収集が遅延し、最大ディスク使用量を管理する必要がある場合は、このパラメーターを小さい値に設定できます。 に警告 遅延ファイルの数がこのパラメーターの値を超える場合、Logtailは新しいファイルからログを収集しません。	"logreader_max_rotate_queue_size" : 10
   force_release_deleted_file_fd_タイムアウト	Int	ファイルハンドルのリリースのタイムアウト期間。 コンテナが終了した後、またはファイルが削除された後にファイルハンドルを解放する場合は、このパラメーターを設定できます。 単位は秒です。 デフォルト値: -1。機能が無効になっていることを示します。 値0は、ファイルハンドルが直ちに解放されることを示す。 containerdコンテナーの最大破棄レイテンシを管理する場合は、このパラメーターを設定できます。 に警告 ログ収集が遅延し、レイテンシが指定されたしきい値を超えると、収集されなかったデータが失われます。	"force_release_deleted_file_fd_timeout" : 0
   default_max_inotify_watch_num	Int	inotifyを使用して監視されるディレクトリの最大数。 ディレクトリはサブディレクトリを含む。 既定値：3000。	"default_max_inotify_watch_num" : 5000

3. 新しい設定を有効にするには、Logtailを再起動します。

   /etc/init.d/ilogtaild stop && /etc/init.d/ilogtaild start                        

   Logtailを再起動した後、/etc/init.d/ilogtaild statusコマンドを実行して、Logtailのステータスを確認できます。

付録: 環境変数

次の表に、環境変数とLogtailの起動パラメーターの間のマッピングを示します。 Logtailの起動パラメーターについては、「Logtailのスタートアップパラメータ」をご参照ください。