Sidekiq Proを1年ほど使ってみて良かったところ、困ったところ | 新宿.rb 29th #shinjukurb
•
4 likes•5,693 views
新宿.rb 29thでのLT内容です
![[Confidential] © 2013 Actcat, Inc. 1
Sidekiq Proを1年ほど使ってみて
良かったところ、困ったところ](https://image.slidesharecdn.com/aboutsidekiqpro-150930221908-lva1-app6891/85/sidekiq-pro1-rb-29th-shinjukurb-1-320.jpg)
![[Confidential] © 2013 Actcat, Inc.
Sidekiqとは
n 1プロセスで大量のスレッドを作成、ジョブ
を処理できるジョブキューシステム
n Sidekiq
-‐
A
full-‐featured
background
processing
framework
for
Ruby.
It
aims
to
be
simple
to
integrate
with
any
modern
Rails
application
and
much
higher
performance
than
other
existing
solutions.
https://github.com/markets/awesome-‐ruby
n http://sidekiq.org/
2](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Sidekiq Proを1年ほど使ってみて良かったところ、困ったところ | 新宿.rb 29th #shinjukurb
Similar to Sidekiq Proを1年ほど使ってみて良かったところ、困ったところ | 新宿.rb 29th #shinjukurb (20)
More from Koichiro Sumi
More from Koichiro Sumi (20)
Recently uploaded
Recently uploaded (10)
Sidekiq Proを1年ほど使ってみて良かったところ、困ったところ | 新宿.rb 29th #shinjukurb
- 1. [Confidential] © 2013 Actcat, Inc. 1 Sidekiq Proを1年ほど使ってみて 良かったところ、困ったところ
- 2. [Confidential] © 2013 Actcat, Inc. Sidekiqとは n 1プロセスで大量のスレッドを作成、ジョブ を処理できるジョブキューシステム n Sidekiq -‐ A full-‐featured background processing framework for Ruby. It aims to be simple to integrate with any modern Rails application and much higher performance than other existing solutions. https://github.com/markets/awesome-‐ruby n http://sidekiq.org/ 2
- 3. [Confidential] © 2013 Actcat, Inc. Sidekiq vs Delayed_job vs Resuqe 3
- 4. [Confidential] © 2013 Actcat, Inc. うちの SideCI では Sidekiq を選択 n GitHub Comments APIを叩きまくるジョブ を何個も同時に爆速で回したかった n 1プロセス当たり処理できるジョブ数・速 度が早いらしいSidekiq使った n 処理数は少ないジョブしかないレポジト リもSidekiqに統一した 4
- 5. [Confidential] © 2013 Actcat, Inc. 良かったところ n 早い！ l タスクを小さく分割してあるタスク(ジョ ブ)などではスレッド数の多さによる速さ が際立つ n 割りとデファクトで情報も多い l ActiveJobのrailsguideなどでもbackendの 設定サンプルに一番に書いてあったり n プラグインも充実 5
- 6. [Confidential] © 2013 Actcat, Inc. 充実のプラグイン n Sinatraで書かれたWebUI n WebUIのDevise連携 n Nagios連携 n Queue Latency用のエンドポイント n Etc… 6
- 7. [Confidential] © 2013 Actcat, Inc. 7 困ったところ
- 8. [Confidential] © 2013 Actcat, Inc. Sidekiqの困ったところ n 1プロセスで最大100スレッドぐらいまで処 理できるすごい子です。 l メモリやデータベース側などが100スレッ ドに耐えられるだけ強力であれば、まじ 爆速で処理できます n でも、100ジョブ処理しているプロセスが Deadしたら… l 100ジョブが永遠に失われます 8
- 9. [Confidential] © 2013 Actcat, Inc. 永遠に失われる 100ジョブ 9
- 10. [Confidential] © 2013 Actcat, Inc. sidekiq workerはupstartとかが 立ち上げてくれるけれど、 ジョブは返ってこない 10
- 11. [Confidential] © 2013 Actcat, Inc. ((ヾ( 皿 ；)ノ＿))きぃぃぃぃっ！ ジョブ返せよう！ 11
- 12. [Confidential] © 2013 Actcat, Inc. +怖い話: あなたのジョブも実は 亡くなっているかも… n 失われたジョブが失われたという情報は誰も 持っていない(あなたが独自に管理していな いかぎり) n Bugsnag, Airbrake, Sentryとかの例外通知系 サービスも例外を通知してこない(Processが deadした場合、多くの場合、例外を通知する まえにworkerがdeadした場合) n Sidekiqはupstartに自動再起動させてたので サービス停止とかにはならず、気づきづらい 12
- 13. [Confidential] © 2013 Actcat, Inc. 13 SIDEKIQ PRO : RELIABILITY
- 14. [Confidential] © 2013 Actcat, Inc. RELIABILITY n RedisのRPOPLPUSHを使っていて、キュー 取り出し時にRedisにバックアップを作っ てくれるので、キューを取り出し、処理 している間に、プロセスが死亡したり、 Redisが死亡しても、そこからキューを復 元して処理してくれる 14
- 15. [Confidential] © 2013 Actcat, Inc. 15
- 16. [Confidential] © 2013 Actcat, Inc. 困ったところ… n Sidekiq Proを買うと困ったところが低減 n ＼(^o^)／ Sidekiq Pro＼(^o^)／ 16
- 17. [Confidential] © 2013 Actcat, Inc. 17 おまけ / 他のPRO機能の紹介
- 18. [Confidential] © 2013 Actcat, Inc. BATCHES ジョブをバッチにまとめ、バッチの管理 18
- 19. [Confidential] © 2013 Actcat, Inc. SUPPORT 作者によるメールサポートが着く 19 n 知っていれば教えてくれる n 知らなければ知らないって教えてくれる
- 20. [Confidential] © 2013 Actcat, Inc. Sidekiqに関するまとめ n 処理早い。デファクトで機能充実。 ActiveJob対応 n Redisとの接続が死んだり、Sidekiq Worker が死んだりするとジョブが失われる n ジョブが失われるのが怖い人は年額$950 払うと失われなくて済む(約11万4000円) 20