System job is suitable for running mackerel-agent with Nomad

Lorentzca -

現在 Nomad クラスターを展開しこのブログを運用しています。

Nomad クラスターは現在 3 台のサーバーから構成されており、それぞれのサーバーは Mackerel でモニタリングしています。Mackerel へサーバーのメトリクスを送るためには mackerel-agent が必要ですが、mackerel-agent は Docker イメージが用意されているので、これを Nomad のジョブとして動かし Nomad クラスターの各サーバーを監視しています。

ジョブのタイプは Service タイプを使っており、各サーバに対し 1 つの mackerel-agent が動いている状態であって欲しいので以下の工夫をしていました。

  • Nomad クラスターのサーバーは 3 台なので group 節で count を 3 に設定する。
  • 1 つのサーバー上に複数の mackerel-agent が実行されてしまっては意味がないので、constraint 節で同じサーバー上に同じグループを配置しないように設定する。

この辺の工夫は以下の記事にまとめています。

しかし、System タイプのジョブを使用すれば全てが解決されることにドキュメントを眺めていて気づきました…。

System ジョブの特徴

System ジョブは Service ジョブと同じく、常駐して起動していて欲しいタスク向けのジョブです。しかし、Service ジョブと比較して主に以下の特徴があります。

  • System ジョブは全てのクライアントノード上で実行される。
  • System ジョブを実行するリソースの余裕がない場合、優先度の低いジョブを中断しリソースを確保する。

つまり、System ジョブは Service ジョブのようにどのノードでもいいので合計で期待する数動いていれば良い、という考え方でなく、各ノードで必ず動いていて欲しいジョブを定義するのに向いています。

この特性ってまさに監視サービスに向いていますね。何で今まで気づかなかったんだろうw

System ジョブとして mackerel-agent を起動する

以下のジョブ定義になります。

job "mackerel" {
  datacenters = ["sgp1"]
  type = "system"

  group "mackerel" {
    task "mackerel" {
      driver = "docker"

      config {
        image = "mackerel/mackerel-agent:0.60.0"
        volumes = [
          "/var/run/docker.sock:/var/run/docker.sock",
          "/var/lib/mackerel-agent/:/var/lib/mackerel-agent/"
        ]
      }

      env {
        "apikey" = "<Mackerel の API Key>"
        "enable_docker_plugin" = "0"
        "opts" = "-v -role=lorentzca:nomad-cluster"
        "auto_retirement" = "1"
      }
    }
  }
}

Nomad はジョブタイプの変更はできないので、いったんジョブをパージして再度起動してあげる必要があります。

$ nomad job stop -purge mackerel
$ nomad job run mackerel.nomad

System ジョブとして起動できました。 ✨

$ nomad job status
ID        Type     Priority  Status   Submit Date
ghost     service  70        running  2019-10-15T18:02:19Z
mackerel  system   50        running  2019-10-16T14:52:13Z
nginx     service  80        running  2019-06-20T14:23:16Z

ジョブの詳細をみてみます。constraint 節や count パラメータを使わなくても、System ジョブを使っているのでちゃんと各ノードに 1 つずつ起動しているのがわかりますね。めっちゃ便利やん！

$ nomad job status mackerel
ID            = mackerel
Name          = mackerel
Submit Date   = 2019-10-16T14:52:13Z
Type          = system
Priority      = 50
Datacenters   = sgp1
Status        = running
Periodic      = false
Parameterized = false

Summary
Task Group  Queued  Starting  Running  Failed  Complete  Lost
mackerel    0       0         3        0       0         0

Allocations
ID        Node ID   Task Group  Version  Desired  Status   Created   Modified
3e023d52  40f26a1d  mackerel    0        run      running  2m2s ago  2m1s ago
6a717e7a  90ef5f33  mackerel    0        run      running  2m2s ago  2m1s ago
ea795072  fa85b1a6  mackerel    0        run      running  2m2s ago  2m1s ago

感想

ちゃんとドキュメント嫁案件ではあったかと思いますが、ノードが増減した場合に count を変えるにはどうすればとか悩んでいたのでとても嬉しい。

mackerel-agent 以外ではロードバランサーからのトラフィックを受け付ける Nginx も各サーバーに必ず 1 つずつ動いていて欲しいジョブなので、こちらも System ジョブ化するとメリットがありますね。やろう。

何でもかんでも System ジョブにすると今度は却って柔軟性が失われデメリットになってしまうのでここぞというところで使っていきたい！！