h2oのログをtd-agentを使ってGoogle BigQueryに送っています。
* Send h2o log to BigQuery
今まで私はtd-agentのtailプラグインの設定で、フォーマットを愚直に正規表現で設定していました。
format /(?[^ ]*) (?[^ ]*) (?[^ ]*) (?[^\]]*) (?[^ ]* +\S* +\S*) (?[^ ]*) (?[^ ]*) "(?[^\"]*)" "(?[^\"]*)"/
課題として、以下の不満がありました。
* 見辛い
* h2oのログフォーマットを変えたとき追従して正規表現を書き直さないといけない
そこでh2oのアクセスログのフォーマットをLTSVに変更してtd-agentでltsvフォーマットを使えるよ