本ドキュメントでは、Log Service ログを CSV 形式で OSS (Object Storage Service) に格納する方法について説明します。OSS にログを送信する方法については、「OSS へのログ送信」をご参照ください。

CSV 形式のストレージフィールドを設定

設定ページ

Log Service データプレビューページまたはインデックスクエリページには、ログの複数のキーと値のペアを表示されます。OSS に送信するフィールド名 (キー) を順番に入力します。

ログに指定したキーがない場合、そのカラムは NULL になります。
図 1. 設定項目


設定項目
設定項目 備考
区切り文字 文字 各フィールドを区切るための 1 文字 (String 型)。
引用符 文字 1 文字 (String 型)。フィールド値に区切り文字または改行が含まれる場合、フィールド値を引用符で囲み、データ読み取り時にフィールド値が不適切に分割されないようにします。
エスケープ 文字 1 文字 (String 型)。初期値は引用符に指定した値です。現時点では、設定不可。フィールド値に引用符 (エスケープ文字としてではなく、通常の文字として使用) を含む場合、その引用符の前にエスケープ文字を追加する必要があります。
無効なキー値 文字列 指定されたキーに値がない場合、フィールドには本項目で指定した文字列が入り、フィールド値は NULL とみなされます。
キーヘッダーの表示 Boolean CSV ファイルの最初の行にフィールド名を追加するかどうかを指定します。

詳細については、CSV 標準 (英文) およびPostgreSQL CSV の説明 (英文) をご参照ください。

設定可能な予約フィールド

ログのキーと値のペアのほか、Log Service は OSS にログを転送する際に下表の予約フィールドをオプションで設定できます。
予約フィールド 説明
__time__ ログの UNIX タイムスタンプ (1970-01-01 からの秒数)。 ログの時間フィールドを基に算出されます。
__topic__ ログトピック
__source__ ソースログクライアントの IP アドレス

上記フィールドは、JSON ストレージにはデフォルトで含まれます。

必要に応じて、CSV ストレージに含めるフィールドを選択します。たとえば、ログトピックが必要な場合は、フィールド名を__topic__と指定します。

OSS ストレージアドレス

圧縮タイプ ファイル拡張子 OSS ファイルのアドレス例
非圧縮 .csv oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.csv
snappy .snappy.csv oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.csv

データを活用

HybridDB

次の設定にすることをお勧めします。

  • デリミタ: コンマ (,)
  • 引用: 二重引用符 (")
  • 無効なキー値: 空
  • 表示キー: 選択されていません(HybridDB の場合、CSV ファイルの先頭行にフィールド名はありません)

詳細は、HybridDB のドキュメントをご参照ください。

CSV は読むことの可能な形式です。CSV 形式のファイルは、OSS から直接ダウンロードしてテキスト形式で表示させることができます。

snappy 方式で圧縮されている場合は、「JSON ストレージ」に記載されている snappy の解凍方法をご参照ください。