Simple Log Service:ローカル収集ステータスのクエリ

概要

Logtail を使用して正常性ステータスとログ収集の進行状況を照会し、ログ収集の問題をチェックし、ログ収集のステータス監視をカスタマイズすることができます。

ユーザーガイド

ステータスクエリ機能をサポートする Logtail クライアントがインストールされている場合は、クライアントにコマンドを入力してローカルログ収集のステータスを問い合わせることができます。 Logtail をインストールするには、Logtail のインストール方法 (Linux)を参照してください。

/etc/init.d/ilogtaild -hコマンドをクライアントに入力して、クライアントがローカルログ収集ステータスの照会をサポートしているかどうかを確認します。 logtail insight, versionキーワードが返された場合、この関数は Logtail クライアントでサポートされていることを示します。

/etc/init.d/ilogtaild -h
Usage: ./ilogtaild { start | stop (graceful, flush data and save checkpoints) | force-stop | status | -h for help}$
logtail insight, version : 0.1.0
commond list :
       status all [index] 
             get logtail running status 
       status active [--logstore | --logfile] index [project] [logstore] 
             list all active logstore | logfile. if use --logfile, please add project and logstore. default --logstore
       status logstore [--format=line | json] index project logstore 
             get logstore status with line or json style. default --format=line 
       status logfile [--format=line | json] index project logstore fileFullPath 
             get log file status with line or json style. default --format=line 
       status history beginIndex endIndex project logstore [fileFullPath] 
             query logstore | logfile history status.  
index : from 1 to 60. in all, it means last $(index) minutes; in active/logstore/logfile/history, it means last $(index)*10 minutes

allコマンド

/etc/init.d/ilogtaild status all [ index ] 

/etc/init.d/ilogtaild status all 1
ok
/etc/init.d/ilogtaild status all 10
busy

アクティブコマンド

/etc/init.d/ilogtaild status active [--logstore] index
 /etc/init.d/ilogtaild status active --logfile index project-name logstore-name
			

/etc/init.d/ilogtaild status active 1
sls-zc-test : release-test
sls-zc-test : release-test-ant-rpc-3
sls-zc-test : release-test-same-regex-3

/etc/init.d/ilogtaild status active --logfile 1 sls-zc-test release-test
/disk2/test/normal/access.log

• active --logstore indexコマンドを実行するために、現在アクティブな全てのログストアがproject-name :logstore-nameの形式でアウトプットされます。 コマンド active --logfile index project-name logstore-nameを実行すると、アクティブログファイルの完全なパスがアウトプットされます。
• 現在のクエリウィンドウにログ収集アクティビティのないログストアまたはログファイルはアウトプットされません。

Logstore コマンド

/etc/init.d/ilogtaild status logstore [--format={line|json}] index project-name logstore-name
				

/etc/init.d/ilogtaild status logstore 1 sls-zc-test release-test-same
time_begin_readable : 17-08-29 10:56:11
time_end_readable : 17-08-29 11:06:11
time_begin : 1503975371
time_end : 1503975971
project : sls-zc-test
logstore : release-test-same
status : ok
config : ##1.0##sls-zc-test$same
read_bytes : 65033430
parse_success_lines : 230615
parse_fail_lines : 0
last_read_time : 1503975970
read_count : 687
avg_delay_bytes : 0
max_unsend_time : 0
min_unsend_time : 0
max_send_success_time : 1503975968
send_queue_size : 0
send_network_error_count : 0
send_network_quota_count : 0
send_network_discard_count : 0
send_success_count : 302
send_block_flag : false
sender_valid_flag : true
/etc/init.d/ilogtaild status logstore --format=json 1 sls-zc-test release-test-same
{
   "avg_delay_bytes" : 0,
   "config" : "##1.0##sls-zc-test$same",
   "last_read_time" : 1503975970,
   "logstore" : "release-test-same",
   "max_send_success_time" : 1503975968,
   "max_unsend_time" : 0,
   "min_unsend_time" : 0,
   "parse_fail_lines" : 0,
   "parse_success_lines" : 230615,
   "project" : "sls-zc-test",
   "read_bytes" : 65033430,
   "read_count" : 687,
   "send_block_flag" : false,
   "send_network_discard_count" : 0,
   "send_network_error_count" : 0,
   "send_network_quota_count" : 0,
   "send_queue_size" : 0,
   "send_success_count" : 302,
   "sender_valid_flag" : true,
   "status" : "ok",
   "time_begin" : 1503975371,
   "time_begin_readable" : "17-08-29 10:56:11",
   "time_end" : 1503975971,
   "Maid": "17-08-29 11:06:11"
}

Logfile コマンド

/etc/init.d/ilogtaild status logfile [--format={line|json}] index project-name logstore-name fileFullPath
			

/etc/init.d/ilogtaild status logfile 1 sls-zc-test release-test-same /disk2/test/normal/access.log
time_begin_readable : 17-08-29 11:16:11
time_end_readable : 17-08-29 11:26:11
time_begin : 1503976571
time_end : 1503977171
project : sls-zc-test
logstore : release-test-same
status : ok
config : ##1.0##sls-zc-test$same
file_path : /disk2/test/normal/access.log
file_dev : 64800
file_inode : 22544456
file_size_bytes : 17154060
file_offset_bytes : 17154060
read_bytes : 65033430
parse_success_lines : 230615
parse_fail_lines : 0
last_read_time : 1503977170
read_count : 667
avg_delay_bytes : 0
/etc/init.d/ilogtaild status logfile --format=json 1 sls-zc-test release-test-same /disk2/test/normal/access.log
{
   "avg_delay_bytes" : 0,
   "config" : "##1.0##sls-zc-test$same",
   "file_dev" : 64800,
   "file_inode" : 22544456,
   "file_path" : "/disk2/test/normal/access.log",
   "file_size_bytes" : 17154060,
   "last_read_time" : 1503977170,
   "logstore" : "release-test-same",
   "parse_fail_lines" : 0,
   "parse_success_lines" : 230615,
   "project" : "sls-zc-test",
   "read_bytes" : 65033430,
   "read_count" : 667,
   "read_offset_bytes" : 17154060,
   "status" : "ok",
   "time_begin" : 1503976571,
   "time_begin_readable" : "17-08-29 11:16:11",
   "time_end" : 1503977171,
   "time_end_readable" : "17-08-29 11:26:11"
}

履歴コマンド

/etc/init.d/ilogtaild status history beginIndex endIndex project-name logstore-name [fileFullPath]
			

/etc/init.d/ilogtaild status history 1 3 sls-zc-test release-test-same /disk2/test/normal/access.log
        begin_time status read parse_success parse_fail      last_read_time read_count avg_delay device inode file_size read_offset
 17-08-29 11:26:11 ok 62.12MB 231000 0 17-08-29 11:36:11 671 0B 64800 22544459 18.22MB 18.22MB
 17-08-29 11:16:11 ok 62.02MB 230615 0 17-08-29 11:26:10 667 0B 64800 22544456 16.36MB 16.36MB
 17-08-29 11:06:11 ok 62.12MB 231000 0 17-08-29 11:16:11 687 0B 64800 22544452 14.46MB 14.46MB
$/etc/init.d/ilogtaild status history 2 5 sls-zc-test release-test-same
        begin_time status read parse_success parse_fail      last_read_time read_count avg_delay send_queue network_error quota_error discard_error send_success send_block send_valid max_unsend min_unsend    max_send_success
 17-08-29 11:16:11 ok 62.02MB 230615 0 17-08-29 11:26:10 667 0B 0 0 0 0 300 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 11:26:08
 17-08-29 11:06:11 ok 62.12MB 231000 0 17-08-29 11:16:11 687 0B 0 0 0 0 303 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 11:16:10
 17-08-29 10:56:11 ok 62.02MB 230615 0 17-08-29 11:06:10 687 0B 0 0 0 0 302 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 11:06:08
 17-08-29 10:46:11 ok 62.12MB 231000 0 17-08-29 10:56:11 692 0B 0 0 0 0 302 false true 70-01-01 08:00:00 70-01-01 08:00:00 17-08-29 10:56:10

• このコマンドは、ログストアまたはログファイルの履歴収集情報をウィンドウごとに1行ずつアウトプットします。
• 各出力フィールドの説明については、logstoreとlogfileコマンドを参照してください。

戻り値

通常の戻り値

/etc/init.d/ilogtaild status logfile --format=json 1 error-project error-logstore /no/this/file
null
echo $?
0
/etc/init.d/ilogtaild status all
ok
echo $?
0

例外戻り値

/etc/init.d/ilogtaild status nothiscmd
invalid param, use -h for help.
echo $?
10
/etc/init.d/ilogtaild status/all 99
invalid query interval
echo $?
1

ユースケース

Logtail ヘルスチェックを使用して、Logtail の全体的なステータスを把握し、収集の進行状況のクエリを使用して、収集中に関連する測定基準を取得することができます。 このようにして得られた情報により、カスタマイズされた方法でログ収集を監視することができます。

Logtail 実行状態の監視

allコマンドを使ってLogtail の実行状況を監視します。

動作原理：毎分 Logtail の現在のステータスが問い合わせされます。 Logtail がprocess_block、send_block、または send_errorステータスの下に5分間あると、アラームがトリガされます。

特定のシナリオでのログ収集の重要性に応じて、監視するアラームの持続時間と状態の範囲を調整できます。

ログ収集進行状況の監視

logstoreコマンドを使って Logstore の収集の進捗状況を監視します。

動作原理：このLogstoreのステータス情報を取得するために、 logstore コマンドが10分ごとに呼び出されます。 avg_delay_bytesが1 MB（1024 * 1024）を超えているかstatusがokでなければ、アラームがトリガーされます。

avg_delay_bytesアラームしきい値は、ログ収集トラフィックに応じて調整できます。

ログファイルの収集が完了したかどうかの判断

logfileコマンドを使ってログファイルの収集が完了したかどうかを確認します。

動作原理：ログファイルへの書き込みが終了すると、このファイルのステータス情報を取得するために10分ごとに logfileコマンドが呼び出されます。 このファイルが read_offset_bytesとfile_size_bytesに同じ値を示していれば、このログファイルの収集が完了したことを意味します。

ログ収集問題のトラブルシューティング

サーバ上でログ収集が遅れている場合は、historyコマンドを使用して、このサーバー上の関連する収集情報を問い合わせます。

1. send_block_flagがtrueであれば、データ収集の遅延ブロックがネットワーク内にあることを示します。
   • send_network_quota_countの値が0より大きい場合、Logstore のシャードの分割を実行する必要があります。
   • send_network_error_countの値が0より大きい場合、ネットワーク接続をチェックする必要があります。
   • 関連するネットワークエラーが発生していない場合は、同時送信の制限と Logtail のトラフィック制限を調整する必要があります。
2. 送信関連のパラメーターは正常ですが、avg_delay_bytes値は通常よりも高くなります。
   • 平均ログ解析速度は、read_bytesを使って計算して、ログ生成トラフィックが正常であるかどうかを判断することができます。
   • Logtailのリソース使用制限を適切に調整することができます。
3. parse_fail_linesの値は0より大きいです。

   ログ収集の解析設定をすべてのログにマップできるかどうかを確認します。