Recommended
More Related Content
What's hot
What's hot (20)
More from Takuya Akiba
More from Takuya Akiba (11)
Recently uploaded
Recently uploaded (8)
Cache-Oblivious データ構造入門 @DSIRNLP#5
- 1. 2014/01/11 @ DSIRNLP 5 Cache-Oblivious データ構造入門 秋葉 拓哉 (@iwiwi)
- 2. アウトライン 1. B-Tree が何故使われるのか？ (復習) 2. Cache-Oblivious の考え方と意義 3. Cache-Oblivious 探索木 (vEB Layout) 4. 世の中の Cache-Oblivious 事例 Cache-Oblivious データ構造入門 (@iwiwi) 3
- 3. MySQL の索引のデータ構造は？ http://dev.mysql.com/doc/refman/5.1/ja/mysql-indexes.html Cache-Oblivious データ構造入門 (@iwiwi) !!! 4
- 4. MySQL の索引のデータ構造は？ B-Tree！ MySQL に限らず多くのデータベースシステムは B-Tree を使います Cache-Oblivious データ構造入門 (@iwiwi) 5
- 5. MySQL の索引のデータ構造は？ なんで B-Tree？ 普通の二分探索木じゃだめ？ Cache-Oblivious データ構造入門 (@iwiwi) 6
- 7. なぜ B-Tree メモリは高速 でも小さい ディスクは遅い でも大きい 大規模なデータベースは ディスクに保存されていて メモリに読み込みながら処理をする． Cache-Oblivious データ構造入門 (@iwiwi) 8
- 8. B-Tree のデータ構造 普通の二分探索木 B-Tree 多分木になってる （最大の分岐数 m） Cache-Oblivious データ構造入門 (@iwiwi) 9
- 9. なぜ B-Tree の方が良いか？ 大事な前提（若干雑） 1. ディスクの読み込み時間 >> 計算時間 2. ディスクである箇所を読み込むと周辺も含 めてそこそこ大きく読まれる 前提より • ディスクを読み込む回数だけを考える – 普段の議論：「O(ほげ) 時間」 – 今回の議論：「ディスクI/O 𝑂(ほげ) 回」 • 一度に読み込まれるサイズを 𝐵 とおく Cache-Oblivious データ構造入門 (@iwiwi) 10
- 10. データの探索にかかる I/O 回数 二分探索木 • 𝑂 log 𝑛 回 一回の I/O で 2 分岐 B-Tree • 𝑂 log 𝐵 𝑛 回 一回の I/O で Θ(𝐵) 分岐！ ↑ノードのサイズをブロックサイズ 𝐵に合わせる B-Tree のほうが log 𝐵 倍ぐらい早い これは平気で 10 倍とかになるので大違い！ Cache-Oblivious データ構造入門 (@iwiwi) 11
- 13. Cache-Oblivious とは Cache-Oblivious データ構造入門 (@iwiwi) 14
- 14. Cache-Oblivious Cache-oblivious ＝ キャッシュを忘れて Cache-Oblivious データ構造入門 (@iwiwi) 15
- 17. Cache-Aware vs. Cache-Oblivious Cache-Aware ＝ 普通 ブロックのサイズ 𝐵 を事前に 知っていて，それを使ってデータ構造を設計する （例：B-Tree） Cache-Oblivious ＝ 縛りプレイ ブロックのサイズ 𝐵 を知らないことにする！ 知らないなりに頑張る 𝐵 がどんな値であったとしてもいい感じになるよう頑 張る ※本当はメモリサイズ 𝑀 というパラメータもあって，同様にそれも知らない ことにする．今回は出てこないので省略 Cache-Oblivious データ構造入門 (@iwiwi) 18
- 18. Cache-Aware vs. Cache-Oblivious 計算機の動きの前提は同じ • 読み込みの回数を計算量とする • 一回に 𝐵 バイト読み込まれる やりたいことも同じ （例：探索木） ただし，Cache-Oblivious データ構造は 𝑩 の値を使ってはいけない （つまり𝐵の値を事前に知らない） Cache-Oblivious データ構造入門 (@iwiwi) 19
- 19. Cache-Oblivious でない例 B-Tree は Cache-Oblivious ではない ↑ノードのサイズをブロックに合わせる ブロックサイズ 𝐵 を知らないと 何分木にしていいかわからない！ ブロックサイズ 𝐵 を使ってデータ構造を設計している Cache-Oblivious データ構造入門 (@iwiwi) 20
- 20. なんでそんなことをするのか？ Cache-Oblivious データ構造の利点 １つめ： ブロックサイズに合わせたパラメータ調整を環境 ごとに行う必要がない！ ポータブル，手軽に使える Cache-Oblivious データ構造入門 (@iwiwi) 21
- 21. なんでそんなことをするのか？ Cache-Oblivious データ構造の利点 ２つめ： 全てのメモリ階層ギャップに最適化される • ディスク ⇔ メモリ・・・ 𝐵Mem • メモリ ⇔ キャッシュ・・・𝐵Cache どんな 𝐵 の値でも性能が出る → どこのギャップに関しても良い性能！ Cache-Oblivious データ構造入門 (@iwiwi) 22
- 22. なんでそんなことをするのか？ Cache-Oblivious データ構造の利点 ２つめ： 全てのメモリ階層ギャップに最適化される データの大きさによってボトルネックは変わる • メモリに収まる？ → 𝐵Cache • 収まらない？ → 𝐵Mem 扱うデータのサイズによらず高性能なプログラム にできる Cache-Oblivious データ構造入門 (@iwiwi) 23
- 24. Cache-Oblivious 探索木 (vEB Layout) Cache-Oblivious データ構造入門 (@iwiwi) 25
- 27. でかい二分探索木をイメージして下さい 𝑛 ノード Cache-Oblivious データ構造入門 (@iwiwi) 28
- 28. このツリーをディスクによさげに保存する 𝑛 ノード 高さ ℎ = log 2 𝑛 ディスク Cache-Oblivious データ構造入門 (@iwiwi) 29
- 29. 高さがだいたい半分のところで切る 高さ ℎ/2 Cache-Oblivious データ構造入門 (@iwiwi) 30
- 30. 上半分は約 𝒏 ノードの木になる 約 𝒏 ノード Cache-Oblivious データ構造入門 (@iwiwi) 高さ ℎ/2 31
- 31. 切れ目（＝上半分の木の葉）には約 𝒏 ノード 約 𝑛 ノード 約 𝒏 Cache-Oblivious データ構造入門 (@iwiwi) 32
- 32. 下半分にぶら下がってる木も約 𝒏 ノード 約 𝑛 ノード 高さ ℎ/2 約 𝑛 ノード Cache-Oblivious データ構造入門 (@iwiwi) 33
- 33. それが約 𝒏 個ある 約 𝑛 ノード …… 約 𝑛 ノード …… 約 𝒏個 Cache-Oblivious データ構造入門 (@iwiwi) 34
- 34. 約 𝒏 ノード × 約 𝒏 個 𝑇0 …… 𝑇1 𝑇2 𝑇 Cache-Oblivious データ構造入門 (@iwiwi) 𝑛 35
- 35. それぞれの木を連続部分に保存！ 𝑇0 …… 𝑇1 𝑇2 ディスク 𝑇0 𝑇 𝑇1 Cache-Oblivious データ構造入門 (@iwiwi) 𝑛 𝑇2 … 𝑇 𝑛 36
- 36. それぞれの木はどうやって保存？ 約 𝒏 ノード ディスク Cache-Oblivious データ構造入門 (@iwiwi) 37
- 38. こうやってツリーを保存することを vEB Layout 𝑇0 (vEB = Van Emde Boas) と呼びます …… 𝑇1 𝑇2 ディスク 𝑇0 𝑇 𝑇1 Cache-Oblivious データ構造入門 (@iwiwi) 𝑛 𝑇2 … 𝑇 𝑛 39
- 39. vEB Layout の性質 Cache-Oblivious である！ 再帰してるだけ．ブロックサイズ 𝐵 は出てこなかった． 𝐵 を全く知らずに構築したのに……なんと 要素の探索が I/O 𝑂 log 𝐵 𝑛 回でできる！ ↑ 𝑩 を知ってて作った B-Tree と性能が一致！ （オーダー記号に隠れた定数倍を除いて） （𝐵 ： ブロックのサイズです ← 忘れた人むけ） Cache-Oblivious データ構造入門 (@iwiwi) 40
- 40. vEB Layout の性質 Cache-Oblivious である！ 再帰してるだけ．ブロックサイズ 𝐵 は出てこなかった． 𝐵 を全く知らずに構築したのに……なんと 要素の探索が I/O 𝑂 log 𝐵 𝑛 回でできる！ ↑ 𝑩 を知ってて作った B-Tree と性能が一致！ （オーダー記号に隠れた定数倍を除いて） 最悪の場合でも I/O 回数は （𝐵 ： ブロックのサイズですlog 𝐵 𝑛 回 2 + 4 ← 忘れた人むけ） Cache-Oblivious データ構造入門 (@iwiwi) 41
- 41. 計算量 𝑶 𝐥𝐨𝐠 𝑩 𝒏 回の読み込みでできる理由 ツリーのサイズ：𝑛, 𝑛, 4 𝑛, 8 𝑛, 16 𝑛, … … いつかサイズは 𝐵 以下になる そしてその時，少なくとも 𝐵 サイズが 𝐵 以下になったら一気に読み込まれる → 結局多分木みたいに動作する（ Ω 𝐵 分木） Cache-Oblivious データ構造入門 (@iwiwi) 42
- 42. ちなみに：Cache-Oblivious 関係ない話 木でこういう分割をするのは， vEB Tree というデータ構造でも使う vEB Tree はキーの値の範囲の条件下で • 検索が 𝑶 𝐥𝐨𝐠 𝐥𝐨𝐠 𝒏 時間 でできるおもしろデータ構造です http://en.wikipedia.org/wiki/Van_Emde_Boas_tree Cache-Oblivious データ構造入門 (@iwiwi) 43
- 43. 世の中の Cache-Oblivious 事例 Cache-Oblivious データ構造入門 (@iwiwi) 44
- 44. 他の Cache-Oblivious データ構造・アルゴリズム データ構造 • 動的な探索木 (CO B-Tree) – さっきのは静的な木だったので実際に動的にしようと思うと もっと複雑なものが必要 • 順位キュー • リスト • …… アルゴリズム • • • • ソート (Funnel Sort) FFT，行列乗算 グラフ探索 …… いっぱい あります！ Cache-Oblivious データ構造入門 (@iwiwi) 45
- 45. Cache-Oblivious は本当に実用的か？ 利点もあるけど，浸透しにくい 問題点1: 複雑すぎる物が多い 理論屋さんがオーダー記法での計算量だけを考えて作っている実装し たくないものが多い 問題点2: Cache-Aware に中々勝てない 定数倍の差はあり実測では速度で負けてしまう Cache-Oblivious データ構造入門 (@iwiwi) 46
- 46. 事例 TokuDB MySQL, MariaDB 用ストレージエンジン Fractal Tree™ Index なるものを使うらしい Cache-Oblivious データ構造入門 (@iwiwi) 47
- 47. Fractal Tree™ Index Wikipedia 公式 Cache-Oblivious データ構造入門 (@iwiwi) 48
- 48. 事例 𝑇0 …… 𝑇1 𝑇2 𝑇 𝑛 確かにフラクタルっぽい（？） (※実際には Fractal Tree Index は vEB Layout より複雑なことをしています) Cache-Oblivious データ構造入門 (@iwiwi) 49
- 49. 論文 (MIT CSAIL) Cache-Oblivious Streaming B-trees Michael A. Bender, Martin Farach-Colton, Jeremy T. Fineman, Yonatan Fogel, Bradley Kuszmaul, and Jelani Nelson SPAA’07 Cache-Oblivious String B-Trees Michael A. Bender, Martin Farach-Colton, and Bradley C. Kuszmaul PODS’06 Concurrent Cache-Oblivious B-Trees Michael A. Bender, Jeremy T. Fineman, Seth Gilbert, and Bradley C. Kuszmaul SPAA’05 Cache-Oblivious データ構造入門 (@iwiwi) 50
- 50. 論文 (MIT CSAIL) Cache-Oblivious Streaming B-trees Michael A. Bender, Martin Farach-Colton, Jeremy T. Fineman, Yonatan Fogel, Bradley Kuszmaul, and Jelani Nelson SPAA’07 Chief Scientist CTO Chief Architect Cache-Oblivious String B-Trees Michael A. Bender, Martin Farach-Colton, and Bradley C. Kuszmaul PODS’06 Concurrent Cache-Oblivious B-Trees Michael A. Bender, Jeremy T. Fineman, Seth Gilbert, and Bradley C. Kuszmaul SPAA’05 MIT の Cache-Oblivious 研究ガチ勢の起業！ Cache-Oblivious データ構造入門 (@iwiwi) 51
- 51. 使っているっぽい雰囲気？ TokuDB の公式サイトにあるスライド http://www.tokutek.com/wp-content/uploads/2011/11/how-fractal-trees-work.pdf Cache-Oblivious データ構造入門 (@iwiwi) 52
- 52. まとめ • メモリ階層を意識したデータ構造 • Cache-Oblivious の考え方 • 基礎的テク：ツリーの vEB Layout • 世の中の事例と課題 ありがとうございましたm(__)m Cache-Oblivious データ構造入門 (@iwiwi) 53
- 53. おまけ：van Emde Boas の発音 https://www.youtube.com/watch?v=AjFtTQevtq0#t=14m15 Peter van Emde Boas と友人である Erik D. Demaine (MIT) による発音が YouTube で聞けます Cache-Oblivious データ構造入門 (@iwiwi) 54
- 54. 謝辞 @kumagi さんのご意見をもとに発表時からスライド を改訂しています，ありがとうございます． @tmaehara さんに “van Emde Boas” さんの発音情報 を教えてもらいました，ありがとうございます． Cache-Oblivious データ構造入門 (@iwiwi) 55