サービスログ機能は複数のログタイプを記録します。 本ドキュメントでは、各タイプのログで使用されるフィールドについて詳しく説明します。
ログのタイプ
サービスログ機能を有効にすると、次のログタイプのいずれかを選択できます。
- 操作ログ:作成、変更、削除、更新、書き込み、および読み取り操作を含む、プロジェクト内のリソースに対するすべての操作を記録します。 これらのログは、対象プロジェクト の internal-operation_log ログストアに格納されています。
- その他のログ:ログ記録の粒度でメータリングログを含めます。これは、消費グループ遅延ログ、Logtailエラー情報、ハートビート情報、および統計ログです。 これらのログは、対象プロジェクト の internal-diagnostic_log ログストアに格納されています。
ログのタイプ | ログストア | ログソース | 説明 |
---|---|---|---|
操作ログ | internal-operation_log | ユーザーの操作ログ | コンソール、コンシューマーグループ、SDK、およびクライアントから送信されたリクエストを含む、すべての API リクエストと操作ログ。 |
その他のログ | internal-diagnostic_log | コンシューマーグループのスナップショットログ | 2 分ごとに報告されるコンシューマーグループの消費遅延ログ。 特定のコンシューマーグループのスナップショットログをクエリするには、クエリステートメントで __topic__: consumergroup_log を指定する必要があります。
|
Logtail アラームログ | Logtail エラーログは 30 秒ごとに記録されます。 30 秒以内に発生する同一タイプのエラーは、エラーの総数を累積するだけで、送信されるエラーメッセージはそのうちからランダムに選択された
1 件だけです。 特定のアラームログをクエリするには、クエリステートメントで __topic__: logtail_alarm を指定する必要があります。
|
||
Logtail 収集ログ | 10 分ごとに記録される Logtail 収集ログ。 特定の Logtail 収集ログをクエリするには、クエリステートメントで __topic__: logtail_profile を指定する必要があります。
|
||
メータリングログ | 1 時間ごとに収集されるユーザーメータリングログ。 ログには、ログストアの粒度でのストレージスペースに関する情報、読み取りと書き込みのトラフィック、インデックスのトラフィック、およびリクエスト数が含まれます。
特定のメータリングログをクエリするには、クエリステートメントで __topic__: metering を指定する必要があります。
|
||
Logtail ステータスログ | Logtail によって定期的に報告されるステータスログ。 ログは毎分記録されます。 特定の Logtail ステータスログをクエリするには、クエリステートメントで
__topic__: logtail_status を指定する必要があります。
|
ユーザー操作ログ
操作ログには、
メソッド
フィールドに従って、データの読み書き操作およびさまざまなリソースに対するその他の操作が含まれます。
データ型 | メソッド |
---|---|
データ読み取り操作 | 以下の API を呼び出します。
|
データ書き込み操作 | 以下の API を呼び出します。
|
リソースに対するその他の操作 | CreateProject および DeleteProject API を呼び出します。 |
共通フィールド
次の表は、さまざまな操作で使用できる一般的なフィールドの一覧です。
フィールド | フィールドの説明 | 例: |
---|---|---|
APIVersion | API のバージョン | 0.6.0 |
InvokerUid | 操作を実行したユーザーのアカウント ID | 1759218115323050 |
NetworkOut | インバウンドインターネット読み取りトラフィック(バイト) | 10 |
Latency | マイクロ秒単位のリクエスト遅延 | 123279 |
LogStore | ログストアの名前 | logstore-1 |
Method | 使用されている方法 | GetLogStoreLogs |
Project | プロジェクトの名前 | project-1 |
NetOutFlow | バイト単位の読み取りトラフィック | 120 |
RequestId | リクエストの ID | 8AEADC8B0AF2FA2592C9509E |
SourceIP | リクエストを送信するクライアントの IP アドレス | 1.2.3.4 |
Status | 応答ステータスコード | 200 |
UserAgent | クライアント上のユーザーエージェント | sls-java-sdk-v-0.6.1 |
データ読込項目
下表は、読み取りリクエスト固有のフィールドの一覧です。
フィールド | フィールドの説明 | 例: |
---|---|---|
BeginTime | Unix タイムスタンプでのリクエスト開始時刻 | 1523868463 |
DataStatus | Complete 、OK 、Unknown などの応答ステータス。
|
OK |
EndTime | Unix タイムスタンプでのリクエスト終了時刻 | 1523869363 |
Offset | GetLog リクエストのオフセット | 20 |
Query | オリジナルクエリステートメント | UserAgent: [consumer-group-java]* |
RequestLines | 返される行数 | 100 |
ResponseLines | クエリ結果の行数 | 100 |
Reverse | ログをタイムスタンプの逆順で返すかどうかを示します。そのうち:
|
0 |
TermUnit | 検索ステートメントに含まれる単語数 | 0 |
Topic | 読み取ったトピックの名前 | topic-1 |
データ書き込みフィールド
以下の表は、書き込みリクエスト固有のフィールドを示します。
フィールド | フィールドの説明 | 例: |
---|---|---|
InFlow | 書き込みの元のバイト数 | 200 |
InputLines | リクエストされた書き込み行数 | 10 |
NetInflow | 圧縮後の書き込みバイト数 | 100 |
Shard | データが書き込まれるシャードの ID | 1 |
Topic | データが書き込まれるトピックの名前 | topic-1 |
コンシューマーグループのスナップショットログ
フィールド | 説明 | 例: |
---|---|---|
consumer_group | コンシューマーグループの名前 | consumer-group-1 |
fallbehind | 現在の消費ポイントから最新の書き込みログまでの期間(秒) | 12345 |
logstore | ログストアの名前 | logstore-1 |
project | プロジェクトの名前 | project-1 |
shard | シャードの ID | 1 |
Logtail アラームログ
フィールド | 説明 | 例: |
---|---|---|
alarm_count | サンプリングウィンドウ内のアラーム数 | 10 |
alarm_message | アラームをトリガーしたオリジナルログのサンプル | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i- 23xebl5ni.1569395.715455,901,00789b |
alarm_type | アラームのタイプ | REGISTER_INOTIFY_FAIL_ALARM |
logstore | ログストアの名前 | logstore-1 |
source_ip | Logtail が実行されているサーバーの IP アドレス | 1.2.3.4 |
os | Linux や Windows などのオペレーティングシステム | Linux |
project | プロジェクトの名前 | project-1 |
version | Logtail のバージョン | 0.14.2 |
Logtail 収集ログ
file_name
フィールドに基づいて、Logtail 収集ログは、単一ファイル統計とログストアレベルログの 2 種類に分類できます。 2 番目のタイプの場合、file_name
内の logstore_statistics
は、ログがログストア全体の統計を収集することを示します。 このログタイプでは、file_dev
や file_inode
などのファイル関連フィールドは無視できます。 以下の表は、Logtail 収集ログで使用されるフィールドをリストしています。
フィールド | 説明 | 例: |
---|---|---|
logstore | ログストアの名前 | logstore-1 |
config_name | 一意な Logtail Config の名前。## Config version##Project name$Config name で構成されています。
|
##1.0##project-1$logstore-1 |
error_line | エラーの原因となった生ログ | M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i- 23xebl5ni.1569395.715455,901,00789b |
file_dev | ログファイルのデバイス ID | 123 |
file_inode | ログファイルの inode | 124 |
file_name | ログファイルのストレージパスまたは logstore_statistics |
/abc/file_1 |
file_size | ログファイルのサイズ(バイト) | 12345 |
history_data_failures | 履歴プロセスの失敗数 | 0 |
last_read_time | ウィンドウ内の最新の読み取り時間(Unixタイムスタンプ) | 1525346677 |
project | プロジェクトの名前 | project-1 |
logtail_version | Logtail のバージョン | 0.14.2 |
os | OS | Windows |
parse_failures | 現行ウィンドウのログで解析に失敗した行数 | 12 |
read_avg_delay | 読み取りごとのオフセットと現行ウィンドウのファイルサイズの差の平均値 | 65 |
read_count | 現行ウィンドウでのログ読み取り数 | 10 |
read_offset | 現在読み込まれているファイルのオフセット(バイト) | 12345 |
regex_match_failures | 正規表現マッチングの失敗数 | 1 |
send_failures | 現行ウィンドウでのリクエスト送信失敗の数 | 12 |
source_ip | Logtail が実行されているサーバーの IP アドレス | 1.2.3.4 |
succeed_lines | 正常に処理されたログの行数 | 123 |
time_format_failures | ログ時間マッチングの失敗数 | 122 |
total_bytes | 読み取りの合計数(バイト数) | 12345 |
次の表に、
file_name
が logstore_statistics
の場合にのみ有効なフィールドをリストします。
フィールド | 説明 | 例: |
---|---|---|
send_block_flag | 送信キューがウィンドウの最後でブロックされているかどうかを示します。 | false |
send_discard_error | 現行ウィンドウでデータ例外または許可を得られなかったために破棄されたデータパケットの数 | 0 |
send_network_error | 現行ウィンドウのネットワークエラーのために送信されなかったデータパケットの数 | 12 |
send_queue_size | ウィンドウが終了したときの現在の送信キュー内の未送信データパケットの数。 | 3 |
send_quota_error | 現行ウィンドウのクォータ不足のために送信されなかったデータパケットの数 | 0 |
send_success_count | 現行ウィンドウで正常に送信されたデータパケットの数 | 12345 |
sender_valid_flag | 現行ログストアの送信フラグがウィンドウ終了時に有効かどうかを示します。そのうち:
|
true |
max_send_success_time | ウィンドウ内でデータを正常に送信できる最大期間(Unix タイムスタンプ) | 1525342763 |
max_unsend_time | ウィンドウ終了時に送信キューに残る未送信データの最大期間(Unix タイムスタンプ)。 キューが空の場合、フィールドは 0 です。 | 1525342764 |
min_unsend_time | ウィンドウ終了時に送信キューに残る未送信データの最小期間(Unix タイムスタンプ)。 キューが空の場合、フィールドは 0 です。 | 1525342764 |
メータリングログ
フィールド | 説明 | 例: |
---|---|---|
begin_time | 統計ウィンドウの開始時刻(Unix タイムスタンプ) | 1525341600 |
index_flow | 統計ウィンドウのインデックストラフィック(バイト) | 12312 |
inflow | 統計ウィンドウ内の書き込みトラフィック(バイト) | 12345 |
logstore | ログストアの名前 | logstore-1 |
network_out | 統計ウィンドウからインターネットへのアウトバウンドトラフィック(バイト) | 12345 |
outflow | 統計ウィンドウ内の読み取りトラフィック(バイト) | 23456 |
project | プロジェクトの名前 | project-1 |
read_count | 統計ウィンドウで読み取られたデータの数 | 100 |
shard | 統計ウィンドウで使用されているシャードの平均数 | 10.0 |
storage_index | 統計時点での Logstore 内のインデックスストレージの合計量(バイト) | 10000000 |
storage_raw | 統計時点でのログストア内のログの合計数(バイト) | 20000000 |
write_count | 統計ウィンドウ内のデータ書き込み数 | 199 |
Logtail ステータスログ
フィールド | 説明 | 例: |
---|---|---|
CPU | CPU の負荷 | 0.001333156 |
hostname | ホスト名 | abc2.et12 |
instance_id | ランダムに割り当てられたインスタンス ID | 05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_1517456122 |
ip | IP アドレス | 1.0.1.0 |
load | 平均システム負荷 | 0.01 0.04 0.05 2/376 5277 |
memory | Logtail プロセスによって占有されているメモリの量(MB) | 12 |
detail_metric | 計測項目の値(JSON 形式)。 詳細は、detail_metric をご参照ください。 | detail_metric |
os | OS | Linux |
os_cpu | 全体 CPU 使用率 | 0.004120005 |
os_detail | OS に関する詳細 | 2.6.32-220.23.8.tcp1.34.el6.x86_64 |
status | クライアントの状態。次のいずれかになります。
|
busy |
user | ユーザー名 | root |
user_defined_id | ユーザ定義 ID | aliyun-log-id |
uuid | サーバーの UUID | 64F28D10-D100-492C-8FDC-0C62907F1234 |
version | Logtail のバージョン | 0.14.2 |
project | Logtail Config の所属プロジェクト | my-project |
detail_metric
に含まれているフィールドのリストです。
フィールド | 説明 | 例: |
---|---|---|
config_count | Logtail Config の数 | 1 |
config_get_last_time | 構成情報が最後に取得された時刻 | 1525686673 |
config_update_count | Logtail が起動した後の Config の更新数 | 1 |
config_update_item_count | Logtail が起動した後の構成アイテムの更新の総数 | 1 |
config_update_last_time | Logtail の起動後に Config が最後に更新された時刻 | 1 |
event_tps | TPS | 1 |
last_read_event_time | イベントが最後に取得された時刻 | 1525686663 |
last_send_time | データが最後に送信された時刻 | 1525686663 |
open_fd | 現在開いているファイルの数 | 1 |
poll_modify_size | リスナー変更イベントを含むファイルの数 | 1 |
polling_dir_cache | スキャンしたフォルダの数 | 1 |
polling_file_cache | スキャンしたファイルの数 | 1 |
process_byte_ps | 1 秒間に処理されたログの数(バイト) | 1000 |
process_lines_ps | 1 秒間に処理されたログの数 | 1000 |
process_queue_full | 最大キューの長さに達した送信キューの数 | 1 |
process_queue_total | 処理キュー数 | 10 |
process_tps | 処理 TPS | 0 |
reader_count | 処理中のファイル数 | 1 |
region | Logtail の所属リージョン | cn-hangzhou,cn-shanghai |
register_handler | リスナーに登録されているフォルダーの数 | 1 |
send_byte_ps | 1 秒あたりに送信された生ログの数(バイト) | 11111 |
send_line_ps | 1 秒あたりに送信されたログの数 | 1000 |
send_net_bytes_ps | 1 秒あたりに送信されたネットワークデータの量(バイト) | 1000 |
send_queue_full | 最大キューの長さに達した送信キューの数 | 1 |
send_queue_total | 送信キューの数 | 12 |
send_tps | 送信 TPS | 0.075 |
sender_invalid | 異常送信キューの数 | 0 |