ニコニコを支える Erlang / Elixir
•
0 likes•2,265 views
〜 大規模運用して初めて見えたアレやコレ (Elixir conf 2017発表資料) ニコナレが終わるのでこっちに退避。 オリジナル: https://niconare.nicovideo.jp/watch/kn2397
Recommended
More Related Content
What's hot
What's hot (20)
Similar to ニコニコを支える Erlang / Elixir
Similar to ニコニコを支える Erlang / Elixir (20)
ニコニコを支える Erlang / Elixir
- 1. ニコニコを支える Erlang / Elixir 質問 → #elixirjp
- 2. はら @kojingharang ドワンゴ 基盤開発本部 コンテンツ配信基盤開発部 先端サービス基盤セクション セクションマネージャ 略歴 S社 JPEG2000, ProRes 等のコーデック実装 on Cell/B.E. G社 Blink Web IDL compiler D社 ニコキャス iOS アプリ, DMC TopCoder maximum rating 1754 自己紹介
- 3. 第一部 ニコニコとDMC
- 10. サーバ製品を頑張って10年運用してきたが 規模がデカくなりいろいろしんどくなってきた 〜 これまでのあらすじ 〜 スケール リソース融通
- 11. 〜 これまでのあらすじ 〜 世の中いろいろ変わったし そろそろ新サービス出したいし → 理想的なコンテンツ配信システムを作ろう ! スマホ 脱Flash 映像合成
- 12. Erlang 2,400 ファイル, 55 万行 C++ 400 ファイル, 6万行 Rust 120 ファイル, 2万行 開発者 20 人 インフラ 4 人 サーバ たくさん DMC の規模
- 15. 第二部 DMC開発の舞台裏
- 18. ニコ動, ニコ生の基本機能が一通り実現できる 投稿, 配信, 高中低画質トランスコード, タイムシフト記録, 視聴, ... 様々なコンテンツを統一的に扱える 柔軟な映像合成ができる 要求
- 20. 2015/1〜 設計 / 実装
- 25. API
- 26. レシピ(JSON or XML)の 登録, 変更, 削除を受け付ける API
- 28. レシピ定義からいろいろ全自動生成 ● C++/Erlang モデル ● XML/JSON と C++/Erlangモデルの変換器 ● C++/Erlang モデルの部分更新処理コード ● C++ モデルの Lua binder ● Validator, getElementById みたいなユーティリティ ● Doc 生成物は 6 万行くらい API
- 31. レシピの仕様を変更したければ 定義を変更して make するだけ 完全勝利 完全勝利 完全勝利 API
- 32. レシピの仕様を変更したければ 定義を変更して make するだけ 完全勝利 完全勝利 完全勝利 API
- 33. リソースの有効活用
- 35. 録画 旧システムへの送出 放送 受付 トランス コード 配信 投稿 受付 トランス コード 配信 処理を抽象化した「タスクグラフ」を定義 生放送 動画
- 36. Assign 関数がタスクグラフをクラスタに割り当てる Assign : G, C -> G’
- 37. Assign 関数がタスクグラフをクラスタに割り当てる Assign : G, C -> G’ G タスクグラフ C クラスタ状態 G’ 割り当て済みのタスクグラフ
- 38. 詳細設計, 実装 OTP を素直に使う ハマりポイント supervisor にメッセージを送りすぎてボトルネックになったり 互いに gen_server:call してデッドロックしたり テストは eunit, ct
- 40. ElixirConf だった
- 43. ● Elixir, Erlang 初めてのエンジニア1人で3ヶ月程度 ● Elixirのここが良い ○ 変数への再束縛ができるので、var1, var2, var3 と書かなくていい ○ 特別にハマることがなくerlangライブラリも利用できた ○ ExUnitによる単体テスト → DocTestができるのは結構便利 ○ (漠然とした印象になるが) Erlangよりは書きやすい印象 ○ RPM生成もErlangより楽かもしれない (exrm-rpmと言うドンピシャのも のがある) DMC gateway
- 44. DMC gateway ● 大変だったところ ○ ErlangとElixir両方を触ってるとatomや変数の書き方などで混乱する ○ パイプ演算子に手こずった
- 45. 本当にあった怖い話
- 47. binaryがGCされない リリース前の性能試験中に ErlangVM が OOM Killer で殺された erlang:garbage_collect/0 を比較的こまめに呼ぶことで解決
- 48. Shared heap Process private heap ProcBin Refc bin Refc bin Refc bin Refc bin Refc bin Refc bin Refc bin Refc bin Refc bin Refc bin Refc bin Refc bin ProcBin ProcBin ProcBin ProcBin ProcBin ProcBin ProcBin ProcBin ProcBin こっちは余裕なので GCされない 容量オーバー! 1つ1つがデカい
- 49. ある機能の deploy 後、1 時間に 2GB 程度メモリリーク もともと緩やかにリークしてたことが判明 再現コードを書いていろいろ試行錯誤した結果、 %% close/1 時に未送信データのフラッシュを行わない inet:setopts(Socket, [{linger, {false, 0}}]) で直った TCPセッションがリークする
- 50. 動画視聴プロセスが終了 → monitor 元に DOWN が飛ぶ → 動画や生放送の視聴カウンタが減る という処理がある 稀にリモートノードの視聴プロセスが終了しても DOWN が来ず 視聴カウンタが減らないことがあった 書いたコードを良く見てみたが使い方は正しそう monitor したプロセスが死んでも DOWN がこない
- 52. まとめ
- 53. 開発手法
- 54. 開発プロセス(当初) ニコ生, ニコ動, PC, スマホ, ゲーム機, TVなど多くの関係者
- 55. 開発プロセス(当初) ニコ生, ニコ動, PC, スマホ, ゲーム機, TVなど多くの関係者 各チームからいろんな要求が !
- 56. 開発プロセス(当初) ニコ生, ニコ動, PC, スマホ, ゲーム機, TVなど多くの関係者 各チームからいろんな要求が ! 「なるはや」案件がいっぱい
- 57. 開発プロセス(当初) ニコ生, ニコ動, PC, スマホ, ゲーム機, TVなど多くの関係者 各チームからいろんな要求が ! 「なるはや」案件がいっぱい 優先度がころころ変わる
- 58. 開発プロセス(当初) ニコ生, ニコ動, PC, スマホ, ゲーム機, TVなど多くの関係者 各チームからいろんな要求が ! 「なるはや」案件がいっぱい 優先度がころころ変わる 口頭のやり取りでいろいろ決まる
- 59. 開発プロセス(当初) ニコ生, ニコ動, PC, スマホ, ゲーム機, TVなど多くの関係者 各チームからいろんな要求が ! 「なるはや」案件がいっぱい 優先度がころころ変わる 口頭のやり取りでいろいろ決まる 隠れ要求の発覚 → 手戻り
- 60. ニコ生, ニコ動, PC, スマホ, ゲーム機, TVなど多くの関係者 各チームからいろんな要求が ! 「なるはや」案件がいっぱい 優先度がころころ変わる 口頭のやり取りでいろいろ決まる 隠れ要求の発覚 → 手戻り 開発プロセス(当初)
- 61. 今は余裕 開発プロセス(今)
- 64. プロジェクトごとに状態をdocで管理 要求fix → 設計完了 → 実装完了 → 開発環境で提供 → 本番環境で提供 → 運用開始 docを見ると次にやることが分かる docに書いてないことはやらない プロジェクト主担当は要求分析からデプロイまで全行程をやる →カオス度減 & スキルアップ & 楽しい ! なぜ余裕ができたか?
- 65. 開発プロセス(今) 40プロジェクトのスケジュールをスクリプトで自動生成 Assign : プロジェクト情報, メンバー情報 → スケジュール 「この件はいつ着手できる予定だよ」と即答できる ガントチャート?
- 66. 自動生成された開発スケジュール