動かざることバグの如し

近づきたいよ 君の理想に

elasticsearch

Elasticsearchでなかなか緑にならない件について

結論 お前のせい 環境 Elasticsearch 5.x 概要 複数ノードでクラスターを組んでいるElasticsearchで、1台が壊れたり、メンテナンスで再起動したときにシャードリカバリが発生するが、いかんせん遅い。 が、遅いのはスペックのせいとかESのせいではなく設定の…

何故Elasticsearchに32GB以上メモリ割り振るのはNGなのか

その理由を探るべく、我々はアマゾンの奥地へと向かった。 環境 少なくともElasticsearch 2以上はこの記事該当 概要 古事記にも書かれていたんじゃないかってレベルで、「Elasticsearchには32GB以上のメモリを割り当てるべきではない」とよく言われる。ESの…

systemdで起動すると/etc/security/limits.confの設定は効かない

検証環境 Ubuntu 18.04 背景 Ubuntuサーバー上にElasticsearchを構築しようと思った。 が、起動時に以下のようなエラー [2019-04-10T15:59:19,986][ERROR][o.e.b.Bootstrap ] [es01] node validation exception [1] bootstrap checks failed [1]: memory loc…

td-agentで動的なIndexでElasticsearchにデータを流す

やりたいこと Railsのログをtd-agentを使ってElasticsearchへ流しているのだが、indexの名前を日付に紐付かせて動的にしたい。 例えばindex_nameがrailslogだとrailslog_2018みたいにしたい やり方 普通 index_name railslog だが、 index_name railslog_%Y …

ElasticsearchのReindex機能を使ってスキーマを変更する

スキーマって言うとめっちゃコラコラされそうだが。(正確にはmapping 環境 Ubuntu 16.04 Elasticsearch5 ElasticsearchのReindex APIはElasticsearch 2.3.0以降で実装された機能で、その名の通り既存のindexのドキュメントをコピーすることができる。 ここ…

Elasticsearchの検索でqueryとrangeを同時に付けるとUnknown key for a START_OBJECT

rubyからElasticsearch使おうとしたらエラーになったのでメモ 環境 Ubuntu 16.04 Elasticsearch 5 elasticsearch-ruby 5.0.4 失敗したコード require 'elasticsearch' client = Elasticsearch::Client.new({ log: false, hosts: { host: 'localhost', port: …