読者です 読者をやめる 読者になる 読者になる

weblog of key_amb

主にIT関連の技術メモ

#PrometheusCasual #1 に行ってきた

監視システム 勉強会

発表資料

@wyukawa Hadoop, Fluentd cluster monitoring with Prometheus and Grafana

@mtanda Prometheus on AWS

@tokuhirom promgen - prometheus management tool

kawamuray HBase, Kafka cluster monitoring with Prometheus and Grafana

@moznion 5分で作るprometheus exporter

Togetter まとめ

メモ

  • Prometheus の特徴
    • アーキテクチャ - https://prometheus.io/docs/introduction/overview/#architecture
    • Pull 型
      • Prometheus は監視ノードの HTTP インタフェース(Exporter)を叩いてデータを取得
      • pushgateway を使うと push 型もできる
    • 監視対象に Exporter を仕込む方法:
      • 1) 監視対象自体に HTTP エンドポイントを持たせる
      • 2) 独立した Exporter プロセスを動かす
    • データを演算できる。クエリが書ける
      • PromQL
    • Local の TimeZone 使えない
      • @kawamuray「彼らは local time に猛烈な嫌悪感を持っている」
  • Exporter を作る
    • Go, Java, Python, Ruby のクライアントライブラリがある https://github.com/prometheus?query=client
      • client_java
        • simpleclient を監視対象の Java アプリに組み込むが楽っぽい @tokuhirom
        • simpleclient_jetty, simpleclient_spring_boot 作った @tokuhirom
    • 作るのは簡単なので、どんどん作るといい @kawamuray
      • H2O の exporter (Golang) は5分で書ける @moznion
  • Prometheus の運用について
    • 楽でほぼ手間はないらしい @mtanda
      • バージョンアップ時に非互換の変更があると、設定を書き換えないといけなかったり
    • ディスクをかなり使う @mtanda
      • 1ノード 150 メトリクスで1ヶ月あたり 200MB とか
    • YAML 管理がつらい
      • Exporter の管理など
      • Solution:
        • Service Discovery
          • EC2, Consul, k8s などと連携して監視対象リストを自動更新
          • ★ @mtanda 氏の資料
        • promgen by @tokuhirom
          • WebUI ぽちぽちで監視ノード(というか Exporter ?)管理できるっぽい
            • Export/Import 機能もある?(想像)
          • バックエンドはデフォルト RDB だけど、プラガブル
            • ポータブル
            • 内部ではデプロイツールがホスト情報を管理していて、それと連携してる
          • promgen-alerting
            • Prometheus の Alertmanager から webhook でアラートを受け取り、通知する
          • 「天気がよかったので Ruby で作った」(笑)
    • 設定
      • データの保持期間がデフォルト15日
      • storage.local.memory-chunks デフォルト 1MB
        • 変える場合、max-chunks-to-persist も合わせて変更しないといけない。罠い。
  • データを長期保存する工夫 @mtanda
    • Prometheus を2台用意
    • 片方で 1時間ごとにデータをサマライズしている

所感

  • 勉強会
    • 出席率よかった。次世代監視ツールとして、注目度が高い雰囲気
    • Prometheus 手元でちょっと動かしたぐらいでほとんど情報がなかったので、ユーザ事例をたくさん聞けてよかった
  • Prometheus
    • 他の監視ツールとはアーキテクチャが異なるので、学習コストはありそう。実運用に落としこむまで試行錯誤が必要そう
    • 大規模向けと思った
    • SaaS 使いたくない、柔軟にメトリクス取りたい、技術力のあるエンジニアが揃ってる、そんなチームに向いてそう
    • promgen は公開予定はあるのだろうか?

ありがとうございました。