第8回 Elasticsearch 勉強会に行ってきた #elasticsearch #elasticsearchjp

2/13(金)に開催された第8回 Elasticsearch 勉強会に行ってきました。

以下、内容のメモです。

Elasticsearch株式会社の Jun Ohtani さんによる Install & 初期セットアップガイド。
ハマリポイントの紹介込み。

JVM / Elasticsearch のセットアップ内容の一部については、Elasticsearch 公式ドキュメントの http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuration.html のページに同様の情報があるので、一次情報としてはこちらも参照した方がよさそうです。
また、ブログ記事 ElasticSearchの運用とか (2) - なんかかきたいにもだいたい同じようなことが書いてありました。

特に気をつけたほうがよさそうなことを挙げておきます。

Java のバージョン
- 1.7.0_25〜1.7.0_55 は Lucene が壊れるバグがあるので、使ってはいけない
OS 設定
- max_open_files を 32k - 64k に上げておく
- swap を無効化するか vm.swappiness=0 にしておく。mlockall を使うやり方もあるようだ
JVM
- ヒープメモリ
  - なるべく大きくする
  - ただし、物理メモリの半分以下
  - 32GB 以上だと GC の効率が悪くなるとか
Elasticsearch
- デフォルトの cluster.name が "elasticsearch" で、同じ名前だと勝手にクラスタが組まれるので注意
- デフォルト multicast なので明示的に OFF るべし
- discovery.zen.minimum_master_nodes
  - (ノード数/2) + 1 にしておくらしい
  - スプリットブレイン防止のためとか。下記リンク先が参考になりそう。
    - Avoiding elasticsearch split-brain - Vallified
    - Zen Discovery | Elasticsearch Reference [6.4] | Elastic

株式会社ドワンゴ藤堂淳也さん。

前回勉強会の niconicoの検索を支えるElasticsearch / niconico Elasticsearch - Speaker Deck はがっつり運用目線の内容だったようですが、今回はもう少しユーザ寄りの視点も入った内容と言えそうです。

Elasticsearch は検索基盤として運用しやすい
- 要件に柔軟
  - スキーマ変更が無停止で可能
  - ローリングリスタートでサービス停止せずに変更を反映できる
- 公式ドキュメントが充実している
要件に対応 - 簡単なケース
- フィールド追加
- データ受け入れ
- クエリ受け入れ
要件に対応 - 複雑なケース
- フィールド追加以降のフローは同じ
- 事前に調査・検証が必要

株式会社サイバーエージェント山田直行さん。

Elasticsearch勉強会第8回 ElasticsearchとKibanaで実現する 30億req/dayのリアルタイム分析 from Naoyuki Yamada

Elasticsearch によってはてなブックマークのメディアとしての側面がどのように強化されいているか。

はてなブックマークと同じDBを使って、Elasticsearch を利用して見せ方を変えることでB!KUMAが出来る。
- 恋愛と結婚カテゴリをいい感じに
- 男性目線の記事は出さないように調整する
管理画面でコンテンツ抽出設定できる
- 含む条件
- 含めない条件
- その他
非エンジニアでもクエリチューニングできる
はてなの4サイトで使われている
トピック機能
- はてなブックマークのトピックページの裏側 - Hatena Developer Blog で紹介されている
- 同じ話題のページをまとめたページを作る機能