weblog of key_amb

主にIT関連の技術メモ

第1回 Apache Mesos 勉強会に行ってきた。 #mesos

第1回 Apache Mesos 勉強会に行ってきました。

第1回 Apache Mesos勉強会 - connpass

Mesos が何かを一口に言うのは難しいですが、サーバを束ねてクラスタとして扱い、そのクラスタ上で色んなアプリケーションをジョブとして実行させるもの、というような認識をしています。

最初に勉強会の印象ですが、いつも行く勉強会と違って Web 系エンジニアの比率が低く、けっこう色んな業界、分野で注目されている技術なのだなと感じました。

以下、勉強会内容のメモになります。

コンテナ向け軽量OS比較

TIS 森元さん。
コンテナ向けの軽量OSとして CoreOS、Project Atomic、Snappy Ubuntu Core の比較。

各OSの特徴、リソース消費、今後の動向予想など。

下記、森元さんが書かれた記事に本発表と関連する内容がまとまっている。

Dockerをより良く使うための3つの周辺技術 | Think IT(シンクイット)

Apache Mesos紹介 & 実践! Docker on Mesos

クリエーションライン木内さん。
CL LAB - クラウド・サーバー・インフラエンジニアのためのトピック集 に Mesos 関連の記事があるので、合わせて読むとよさそう。

  • Mesos 概要
    • クラスタ環境の管理ツール
    • アプリケーション開発用の REST API がある
    • 自分で拡張もできる
    • Mesosphere という企業が開発している
    • 商用版もある
    • Docker サポート
  • クラスタ構成
  • 他のジョブスケジューラとの比較
    • YARN, Torque, PBS Pro
  • Mesos を使うメリット
    • 開発者、データセンターチーム、インフラチームが分業できる
  • Mesos の動作要件
  • 商用版の Feature
  • 導入事例

デモ

  • GUI
    • Master の GUI を叩くと勝手にリーダーノードにリダイレクトされる
  • Master のリーダーノードを落とすと...
    • ZooKeeper で他のノードにフェールオーバする
  • Docker
    • 入れるために色々設定が必要
    • 詳しくはCL-Labの記事読んで
    • コンテナをスケールアウトするのもボタン1つでかんたん
    • LB 操作は別途やらないといけない
    • MesosDNS に問い合わせると、同じ名前でランダムでノードのIPが返ってくる

Mesosによるスパコン上でのゲノムデータ解析プラットフォームの構築

DBCLS 大田さん。

DBCLS ... 国の研究機関とのこと。

Docker Meetup の LT がきっかけで Mesos を使い始めた。

  • 概要
    • スパコンでコンテナ動かしたいと言ったら Mesos いいよって言われたので試してみたら、できることとできないことがあった。
  • 背景
    • DNA塩基配列の解析。
    • データ量が多すぎて、コンピュータを使わないと解析できない。
    • なぜ Mesos を選んだか?
      • アメリカの研究者の知り合いに勧められた。
  • まとめ
    • データ解析でも使えるし、動く、データ転送やパフォーマンス、セキュリティが課題。

サルでもわかるMesosのスケジューラの作り方

@wallyqs

  • Background
    • CloudFoundry で3年運用
    • FullStack PaaS のデメリット
      • ロックインされる
  • Mesos のメリット
    • API を提供する
    • 開発者に拡張してもらう
  • Mesos クラスタ構成要素
    • Master, Slave, Scheduler, Executor
  • 通信は HTTP
    • Slave Discovery ... HTTP POST
  • Go言語で

まとめ

Mesos は Scheduler や Executor を自作することもできて、とても拡張性が高いと思いました。

Docker 周辺のクラスタ管理ツールの注目度が上がるにつれて、Mesos への注目も高まっているように感じます。
まだ群雄割拠という感じで、正直どれをどう使うのがいいか決めかねますが、引き続き Mesos の動向もウォッチしていこうと思いました。

参考