rails + serverengineで
お手軽daemon

1. rails + serverengineで
お手軽daemon
Akira Miki
Repro Inc.
shinjuku.rb #29@metaps
Sep 30, 2015

2. Akira Miki
Repro
@treetreeslight

4. 解析から解決までサクッと

5. About job

6. Reproで使っているjob群
serverengine sidekiq AWS lambda
監視して発火制御したい
並列数を制限したい
並列数を制限しない
ガンガン処理したい
S3などのAWSツール群
とシームレスな連携して
ガシガシ処理したい

7. どんなことに使ってるの？
serverengine sidekiq AWS lambda
• 動画の変換
• 解析データキャッシュ
• 定期決済
• push予約の監視
• InApp対象者の更新
etc…
• メールを送る
• 解析データを送る
• 配信データの作成
etc…
• Push送る
etc…

8. どんなことに使ってるの？
serverengine sidekiq AWS lambda
• 動画の変換
• 解析データキャッシュ
• 定期決済
• push予約の監視
• InApp対象者の更新
etc…
• メールを送る
• 解析データを送る
• 配信データの作成
etc…
• Push送る
etc…

9. 選定経緯をプロトタイプ時代の
「恥ずかし∼∼∼い」
失敗談も踏まえて

10. プロトタイプだしとりあえず
cron
Rake script
SQSSDK
１分単位だよぉ

11. あれ？メモリ れてね？

12. そりゃrails分requireしてrake叩と
メモリめっちゃ食うよね!!
プロトタイプとはいえ雑すぎた!!!

13. プロトタイプとはいえ
ちょっとは気を使っておくか
cron
SQSSDK
Server
隠しURL

14. CPUやるきだしてる・・・？

15. ffmpegって限界まで
CPU使うからね！
プロトタイプとはいえ雑すぎた!!!

16. ちゃんとする期
• railsのmodel資産を使いまわし
• ffmpegがCPUを食い尽くすので並列数は制限しつつ
• Rails requireのメモリのオーバーヘッドは最小限に
• 自前でdaemonラッパー書いても良いけど、シグナ
ル制御系とか書くのめんどい <- 一番コレ

17. serverengine

18. serverengine 使いやす!!!
SQSSDK
serverengine
long poling
•やることに合わせてworker数調整しつつ
•superviser -> 親 -> 子という素敵構成
•ログまわりやシグナルによるプロセス制御までバッチリ

19. 気をつけたこと

20. Exception
def cycle
invoke
end
def invoke( *arguments )
execute( *arguments )
rescue => error
report_exception(error)
end
def execute( *arguments )
raise NotImplementedError
end
def report_exception(error)
# logging, rollbar, newrelic ...
end
• handleしながら止まらず前進

21. Avoid memory leak
• （rubyの設定で解決できると思うけど）fragmentationが
溜まるので定期的に強制GC
class worker
…
def run
begin
GC.stop
cycle
ensure
GC.start
end
rescue Exception => error
report_exception error
end
…
end

22. Zombi process
• long poling中にdeployを連続すると、zombiができる
serverengine
serverengine.pid
Kill
Kill
１回目
2回目
start
start
polling中
serverengine.pid
Override

23. Memory Usage
• serverengineはprocess modelなので、rails全部乗っけて
るとプロセス分メモリをいっぱい食べる。
worker
worker
serversupervisor

24. これ監視系じゃないし
sidekiqでもよかったんじゃ？

25. でした
serverengine sidekiq AWS lambda
• 動画の変換
• 解析データキャッシュ
• 定期決済
• push予約の監視
• InAppのターゲット更
新
• 動画の変換
• メールを送る
• 解析データを送る
• 配信データの作成
etc…
• Push送る
etc…

26. まとめ
• serverengine使うとdaemonがサ
クッとできる