Change H2O log format to LTSV

h2oのログをtd-agentを使ってGoogle BigQueryに送っています。

Send h2o log to BigQuery

今まで私はtd-agentのtailプラグインの設定で、フォーマットを愚直に正規表現で設定していました。

format /(?<remote_address>[^ ]*) (?<remote_logname>[^ ]*) (?<remote_user>[^ ]*) (?<request_time>[^\]]*) (?<request_line>[^ ]* +\S* +\S*) (?<status_code>[^ ]*) (?<size_of_the_response_body>[^ ]*) "(?<user_agent>[^\"]*)" "(?<referer>[^\"]*)"/

課題として、以下の不満がありました。

見辛い
h2oのログフォーマットを変えたとき追従して正規表現を書き直さないといけない

そこでh2oのアクセスログのフォーマットをLTSVに変更してtd-agentでltsvフォーマットを使えるようにしました。

tail Input Plugin | Fluentd

h2oの設定変更

下記のようにスペース区切りだったものを、

format: "%h %l %u %{%Y/%m/%d:%H:%M:%S}t \"%r\" %s %b \"%{User-agent}i\" \"%{Referer}i\""

LTSVに変更しました。

format: "remote_address:%h\tremote_logname:%l\tremote_user:%u\trequest_time:%{%Y/%m/%d:%H:%M:%S}t\trequest_line:\"%r\"\tstatus_code:%s\tsize_of_the_response_body:%b\tuser_agent:\"%{User-agent}i\"\treferer:\"%{Referer}i\""

td-agentの設定変更

formatをltsvに変更しました。シンプル！

format ltsv

ついでに日付のフォーマットも変える

Google BigQueryのTIMESTAMP型が使える形にしたかったので、h2oの日付のフォーマットをいじります。

Google BigQuery - タイムスタンプ型

こんなフォーマットだったのを、

2017/02/14:00:00:00

request_time:%{%Y/%m/%d:%H:%M:%S}t

こうしました。

2017-02-14 00:00:00.000000

request_time:%{%Y-%m-%d %H:%M:%S}t.%{usec_frac}

これでTIMESTAMP型を使えるようになったので、td-agentのスキーマファイルを修正します。

     "name": "request_time",
 -    "type": "STRING"
 +    "type": "TIMESTAMP"
    },

トラブル発生

変更したところGoogle BigQueryにログが送られなくなってしまいました。これは既存のテーブルのスキーマと異なるスキーマでデータを送ろうとしたためだと思われます。

めんどうなので一旦テーブルを削除しました。削除後td-agentによって新しくテーブルが作成され、ログも送られるようになりました。

感想

既存のテーブルのスキーマを変えるのは割と面倒なので初期の段階でスキーマ設計はちゃんとしておきたい。

これでh2oのログフォーマットをいじった際に一緒に変更しなければならないファイルがスキーマファイルだけになったのでハッピー！✨

ついでにTIMESTAMP型にできたからGoogle BigQueryでの操作が捗りそう！

今後やること

これでh2oのログフォーマットを気軽にいじれるようになったので、今のテキトーなログフォーマットをいじって色々情報取れるように変更する。(๑•̀ㅂ•́)و✧

h2oの設定変更

td-agentの設定変更

ついでに日付のフォーマットも変える

トラブル発生

感想

今後やること

参考