Mackerel Meetup #11 Tokyo #mackerelio
今年最初の Makerel ミートアップに参加してきました。
会場は DMM.comラボ でした。相変わらず広い…。あとジャングル。
内容は以下でした。
- The 2018 Mackerel Product Roadmap
- AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側
- seesaa meets Mackerel
- Mackerel で ECS をどこまでモニタリングできるのか
スライドは随時出てくると思うので感想などを記録します。
The 2018 Mackerel Product Roadmap
Mackerel の紹介などから始まり、最近のアップデートの紹介がありました。その中で個人的にはメトリックの1分単位の粒度の保持が460日＆グラフの表示期間も460日になったのと、 Mackerel アカウントを持っていない人にもグラフの共有が出来るようになったのが嬉しかった内容でした。
グラフの共有はこんな感じです。何か面白そうな指標があれば随時増やしていこうと思います。
気になる2018年のロードマップですが、いくつか大きな機能の紹介がされていました。
その中でもコンテナのサポートは待ち焦がれられていたものだと思います。
個人的にはダッシュボード V2 が地味に気になりました。ダッシュボード作るの面白いですよね…。より直感的でわかりやすい、モダンなものに進化するらしいです。
機械学習をモニタリング分野に応用した機能も出されるとのこと。具体的には異常検知。
機械学習といっても万能ではないので、使う側もちゃんと理解しないとだめなんだろうなと思いました。
例えばロールにまとめてあるサーバの性能やインストールされているミドルウェアがバラバラだったりすると、当然ながらちゃんとした学習ができないとか、そういうのがあるとのこと。
異常検知には混合ガウス分布が応用されているとのこと。
混合ガウス分布 #mackerelio pic.twitter.com/EmN2tNLWh2
— †天譴の断獄者† (@lorentzca) 2018年2月5日
ほかには Prometheus との親和性が提供される予定とのこと。具体的には Prometheus のエクスポーターを mackerel-agent がスクレイピングして時系列データを Mackerel に集約させることができるようになるようです。
Prometheus は世界的に活発に開発が進んでいて、その巨大なエクスポーターの資産を Mackerel でも活用できるようになるということみたいです。
引き続き新機能の発表が楽しみ。 🐟
AWSで実現した Mackerel 時系列データ1分粒度長期保存の裏側
1分粒度で460日保持すごいけどどうなってるのかという発表で面白かったです。
今までは時系列データベースに Graphite を使っていて、運用コストなどの課題を解決するために考えだした Diamond アーキテクチャを新たに採用し最終的に1分粒度で長期間のメトリックの保持を可能にしたとのこと。
Diamond アーキテクチャの詳しい説明は以下のブログに紹介されています。
複数のマネージドサービスを適切に使い分け、設計を組み上げていけることは本当にすごい…。
核となる部分に DynamoDB の TTL 機能やオートスケール機能があって、これらは全て2017年の AWS のアップデートで実装された。これによりいろんな懸念が解決されたとのこと。これがデウス・エクス・マーキナーか…ｗ
seesaa meets Mackerel
自家製監視ツール + Cacti から Mackerel へ移行した話。
たいてい Mackerel を入れたことで今まで一部の人しか見ていなかった監視を皆で見るようになったみたいな話が多い中で、 Mackerel を入れたことで VM の性能設計など今までふわっとさせてきていた部分のツケが一気に可視化されたという話が興味深かったです。
人が少ないとどうしても監視は後回しになってしまいがちだけど、簡単にある程度の監視を網羅できるツールが有るとそれだけでサービスの品質の担保がある程度されるようになる(きっかけができる)ということなんですね…！
Mackerel で ECS をどこまでモニタリングできるのか
ECS の監視だと現状 Data Dog がめっちゃ強いみたいな雰囲気の中 Mackerel でどうやっているのか…。
コンテナインスタンスに mackerel-agent をインストールし、シェルスクリプトで docker ps コマンドを叩いて各コンテナのポートを取得し、その口からメトリックを取得しているとのこと。ワザマエ！
Mackerel のロールのグラフだとポート部分をワイルドカードで指定してまとめて取得できないので、式のグラフで頑張って束ねている。ワザマエ。
と色々工夫していてすごかったですが、 Mackerel のロードマップでコンテナへの正式対応があったのでまじかーみたいな感じでした。でも知見共有ありがたい…。
感想
今年も色々大きい新機能が色々出るそうなので楽しみです。
要望(わがまま)も色々お願いしました！ありがとうございます！