第1回 Apache Mesos 勉強会に行ってきた。 #mesos
第1回 Apache Mesos 勉強会に行ってきました。
第1回 Apache Mesos勉強会 - connpass
Mesos が何かを一口に言うのは難しいですが、サーバを束ねてクラスタとして扱い、そのクラスタ上で色んなアプリケーションをジョブとして実行させるもの、というような認識をしています。
最初に勉強会の印象ですが、いつも行く勉強会と違って Web 系エンジニアの比率が低く、けっこう色んな業界、分野で注目されている技術なのだなと感じました。
以下、勉強会内容のメモになります。
コンテナ向け軽量OS比較
TIS 森元さん。
コンテナ向けの軽量OSとして CoreOS、Project Atomic、Snappy Ubuntu Core の比較。
各OSの特徴、リソース消費、今後の動向予想など。
下記、森元さんが書かれた記事に本発表と関連する内容がまとまっている。
Dockerをより良く使うための3つの周辺技術 | Think IT(シンクイット)
Apache Mesos紹介 & 実践! Docker on Mesos
クリエーションライン木内さん。
CL LAB - クラウド・サーバー・インフラエンジニアのためのトピック集 に Mesos 関連の記事があるので、合わせて読むとよさそう。
- Mesos 概要
- クラスタ構成
- 数台の Master
- Zookeeper で冗長化
- 多数の Slave
- アプリケーションが実行される
- ジョブスケジューラ
- Marathon
- Chronos
- サービスディスカバリー - Mesos DNS
- Kubernetes でコンテナ管理もできる?
- 数台の Master
- 他のジョブスケジューラとの比較
- YARN, Torque, PBS Pro
- Mesos を使うメリット
- 開発者、データセンターチーム、インフラチームが分業できる
- Mesos の動作要件
- 商用版の Feature
- 導入事例
デモ
- GUI
- Master の GUI を叩くと勝手にリーダーノードにリダイレクトされる
- Master のリーダーノードを落とすと...
- ZooKeeper で他のノードにフェールオーバする
- Docker
- 入れるために色々設定が必要
- 詳しくはCL-Labの記事読んで
- コンテナをスケールアウトするのもボタン1つでかんたん
- LB 操作は別途やらないといけない
- MesosDNS に問い合わせると、同じ名前でランダムでノードのIPが返ってくる
Mesosによるスパコン上でのゲノムデータ解析プラットフォームの構築
DBCLS 大田さん。
DBCLS ... 国の研究機関とのこと。
Docker Meetup の LT がきっかけで Mesos を使い始めた。
- 概要
- スパコンでコンテナ動かしたいと言ったら Mesos いいよって言われたので試してみたら、できることとできないことがあった。
- 背景
- まとめ
- データ解析でも使えるし、動く、データ転送やパフォーマンス、セキュリティが課題。
サルでもわかるMesosのスケジューラの作り方
@wallyqs
- Background
- CloudFoundry で3年運用
- FullStack PaaS のデメリット
- ロックインされる
- Mesos のメリット
- API を提供する
- 開発者に拡張してもらう
- Mesos クラスタ構成要素
- Master, Slave, Scheduler, Executor
- 通信は HTTP
- Slave Discovery ... HTTP POST
- Go言語で
まとめ
Mesos は Scheduler や Executor を自作することもできて、とても拡張性が高いと思いました。
Docker 周辺のクラスタ管理ツールの注目度が上がるにつれて、Mesos への注目も高まっているように感じます。
まだ群雄割拠という感じで、正直どれをどう使うのがいいか決めかねますが、引き続き Mesos の動向もウォッチしていこうと思いました。
参考
- Mesos アーキテクチャ #1 ... Mesos のクラスタ構成についてわかりやすい記事だと思います。
- EC2でMesosによるクラスタの自動デプロイを実現するElastic Mesos ... Mesos の紹介記事です。Mesos が登場した背景などがわかります。
- Incubating Apache Mesos ... Twitter で Mesos を使っているという記事。分析関連のジョブが動いていることが伺えます。