計算スケジューリングの効果～もし，Halideがなかったら？～
•Download as PPTX, PDF•
6 likes•5,193 views
Halide勉強会資料 https://halide-ug.connpass.com/event/91556/ コードは参考までに以下に上げました． https://github.com/norishigefukushima/gaussian_Halide_study
Recommended
More Related Content
What's hot
What's hot (20)
More from Norishige Fukushima
More from Norishige Fukushima (14)
計算スケジューリングの効果～もし，Halideがなかったら？～
- 6. 6 XYのフィルタ順序の入れ替え – アルゴリズム相当なのでコードの書き替えがいる vectorize – ベクトル化とアンローリング Parallelize – 並列化 Tile – タイリング BoundaryConditions – 境界条件処理 Reorder – 順序変更 など Halideの計算スケジューリング
- 8. 8 畳み込みフィルタの画像端は，画素が存在 しないため，特別な走査が必要 –存在しない画像をどのように扱うか？ 境界条件処理とは 1. 計算しないように無視 画像端の画像が出力されない→× 2. 境界外はフィルタせずフィルタ範囲を縮小 フィルタ性能が劣化→× 3. 信号を折り返して作成 最もきれい．信号処理の基本はこれ→〇 ※１，２の処理はフィルタを繰り返すと劣化部分が 拡散．拡散方程式を解くときも境界条件は重要 問題ない畳み込み 特別な処理が必要
- 9. 9 実現するためには2通り –事前に折り返した信号を画像端に追加し，画像 を拡張することで分岐処理を削除 –境界条件になるときに条件分岐をしながら信号 を計算で生成 信号を折り返して作成 画像拡張 (a) 縦横分岐有り (b) 縦か横に分岐有り (c) 分岐無し (a) (a) (a)(a) (b) (b) (b) (b)(c) 中心部だけ処理
- 10. 10 copyMakeBorderで画像を拡張 –BORDER_CONSTANT `iiiiii|abcdefgh|iiiiiii` with some specified `i` –BORDER_REPLICATE `aaaaaa|abcdefgh|hhhhhhh` –BORDER_REFLECT `fedcba|abcdefgh|hgfedcb` –BORDER_WRAP //なぜか実装されてない？ `cdefgh|abcdefgh|abcdefg` –BORDER_REFLECT_101 `gfedcb|abcdefgh|gfedcba` 画像拡張（ OpenCVの場合）
- 11. 11 BoundaryConditions名前空間の関数を使用 –constant_exterior –repeat_edge –mirror_image –mirror_interior –repeat_image Halideの場合 Buffer<float> input(width,height); Func inputimg = BoundaryConditions::mirror_interior(input); //これをスケジューリングに入れると事前に拡張画像を生成 inputimg.compute_root();
- 12. 12 分岐が必要な位置に応じて画素アクセスをインライン 関数で記述（おそらくベクトル化されている） image(j,i) ->image(border_s(j), borders_(i))など． – BORDER_REPLICATE int border_s(int val) { return cv::max(0, val); } int border_e(int val, int maxval) { return cv::min(maxval, val); } – cv::BORDER_REFLECT int border_s(int val) { return (val>=0) ? val : -val-1; } int border_e(int val, int maxval) { return (val <= maxval) ? val : 2*maxval- val + 1;} – cv::BORDER_REFLECT101 int border_s(int val) { return cv::abs(val); } int border_e(int val, int maxval) { return maxval- cv::abs(maxval-val); } 計算する場合
- 16. 16コード（一部） if (xyorder == 0) { blur1(x, y) = sum(weight(r)*inputimg(x + r, y)); blur2(x, y) = sum(weight(r)*blur1(x, y + r)); } else if (xyorder == 1) { blur1(x, y) = sum(weight(r)*inputimg(x, y + r)); blur2(x, y) = sum(weight(r)*blur1(x + r, y)); } //schedule if (smethod == COMPUTE_INLINE) { blur2.vectorize(x, vectorl).parallel(y); schedulename = "COMPUTE_INLINE"; } else if (smethod == REORDER_YX) { blur2.reorder(y, x).vectorize(x, vectorl).parallel(y); schedulename = "REORDER_YX"; } else if (smethod == COMPUTE_ROOT_BORDER) {．．．
- 17. 17 512x512 –r=3 0.150 ms x3.1 OpenCV –R=50 1.5 ms x3.87 OpenCV 4096x2048 –R=3 25.6 ms x0.39 OpenCV –R=50 101 ms x1.53 OpenCV 結果
- 18. 18demo
- 22. 22 ラインバッファ 1. filterHVLine 2. filterHVLineBH 前拡 3. filterHVLineBVP 後拡・VP 4. filterHVLineHBVPB 前拡・後拡・VP 5. filterVHLine 6. filterVHLineBVP 前拡・VP 7. filterVHLineBH 後拡 8. filterVHLineBVPBH 前拡・VP・後拡 9. filterHVILine 10. filterHVILineB 後拡 11. filterVHILine 12. filterVHILineB 後拡 イメージバッファ 13. filterHVImage 14. filterHVImageBH 前拡 15. filterHVImageBHD 前拡・遅延 16. filterHVImageBHBV 前拡・後拡 17. filterHVImageBHDBV 前拡・遅延・後拡 18. filterHVImageBVP 後拡・VP 19. filterHVImageBHBVP 前拡・後拡・VP 20. filterHVImageBHDBVP 前拡・遅延・後拡・VP 21. filterHVImageTrB 転書・後拡 22. filterHVImageBHBTr 前拡・転書・後拡 23. filterVHImage 実装した関数一覧 24. filterVHImageBV 前拡 25. filterVHImageBH 後拡 26. filterVHImageBVBH 前拡・後拡 27. filterVHImageBVP 前拡・VP 28. filterVHImageBVPBH 前拡・VP・後拡 29. filterHVIImage 30. filterVHIImage 31. filterVHIImageBH 後拡 32. filterVHIImageBVBH 前拡・後拡 タイルバッファ 33. filterHVTileImage 34. filterHVTileImageBH 前拡 35. filterHVTileImageBHTr 前拡・転書 36. filterHVTileImageTr 転書 37. filterHVTileImageT2 転書ver2 38. filterVHTileImage 39. filterVHTileImageBH 前拡 40. filterVHTileImageBV 前拡 41. filterVHITileLineBH 前拡 42. filterVHITileImageBV 前拡 43. filterHVITileLine 拡張イメージバッファ 44. filterHVBorder 全拡 45. filterVHBorder 全拡 46. filterHVDelayedBorder 全拡・遅延 47. filterHVDelayedVPBorder 全拡・VP・遅延 48. filterVHDelayedBorder 全拡・遅延 49. filterHVIBorder 全拡 50. filterVHIBorder 全拡 51. filterHVTileBorder 全拡 52. filterVHTileBorder 全拡 53. filterVHITileBorder 全拡 54. filterHVITileBorder 全拡 サブイメージ配列バッファ 55. filterHVBorderSingle 全拡 56. filterVHBorderSingle 全拡 57. filterHVIBorderSingle 全拡 58. filterVHIBorderSingle 全拡 59. filterHVDelayedBorderSingle 全拡・遅延 60. filterHVDelayedVPBorderSingle 全拡・遅延・VP 61. filterVHDelayedBorderSingle 全拡・遅延 62. filterVHVPBorderSingle 前拡・VP 63. filterCopyBorderSingle 64. filterTileSubImage 65. filterTileSubImageInplace
- 23. 23 フィルタ順序 –XYインタリーブ ボーダーの扱い –拡張なし –事前に全拡張 –1パス目事前拡張・ 2パス目事前拡張 –2パス目事前拡張 –サブ画像事前生成 （事前タイリング） 更に考慮したもの バッファの確保 – インプレース – 事前確保 – 事後確保 バッファの種類 – ラインバッファ – イメージバッファ – 拡張画像バッファ – タイルバッファ – タイルラインバッファ その他 – 列パッキング – 転置書き込み – 遅延書き込み – ボーダー計算のベクトルアド レッシング
- 24. 24 計算スケジューリング
- 28. 28 境界条件処理
- 29. 29 普段 境界領域 (replicate) アクセス位置の計算 img(min(i+k+0,0), min(i+k+1), min(i+k+2), min(i+k+3)); float[4] pos={i+k+0, i+k+1, i+k+2, i+k+3}; __m128 pos2 _mm_min_ps((__m128)pos, _mm_setzero_ps()); _mm_store_ps(pos, pos2); _mm_load_ps(_mm_set_ps(img[pos[0]], img[pos[1]], img[pos[2]], img[pos[3]])); img(i+k+0, i+k+1, i+k+2, i+k+3); _mm_load_ps(img+i+k);
- 30. 30 テーブルで指示された非連続的なデータの ロード・ストア実行する –それぞれgather，scatter命令 値をひとつづつsetするよりは非常に高速 –ひと昔前のgather命令はすこし遅い 複雑な画素アクセスやテーブル参照がベク トル演算で記述できるように！ ベクトルアドレッシング int [4] pos={i+k+0, i+k+1, i+k+2, i+k+3}; __m128i pos2 _mm_min_si128((__m128i)pos, _mm_setzero_si128()); _mm_i64gather_epi32(img, pos, 4);
- 31. 31 画素境界でアクセスするパターンは参照位 置と拡張方法で一意に決定． –テーブル化可能 アクセスパターンのテーブル化 int table [N][4] ={i+k+0, i+k+1, i+k+2, i+k+3} n=0;//n番目のパターン _mm_i64gather_epi32(img, table[n], 4);
- 35. 35境界領域計算のまとめ (a) 縦横分岐有り (b) 縦か横に分岐有り (c) 分岐無し (a) (a) (a)(a) (b) (b) (b) (b)(c) Halideの実装（多分．要検証） • a,b,cでループを分割 • a,bの領域はすべては折り返し用のアドレス演算を計算 • cはそもまま 今回の実装 • a,b,cでループを分割 • アドレス計算演算する領域を最小化 • （計算方法自体は，一応もう少し高速化できるがつらい．．．）
- 36. 36 画像端とアクセスするベクトルがまたがっ ている場合しかベクトルアドレッシングは 必要ない リバースでloadできれば良い –実装はshuffleとpermuteだけでOK 反対向きにロードする __m256 a = _mm256_load_ps(s + i); a = _mm256_shuffle_ps(a, a, _MM_SHUFFLE(0, 1, 2, 3)); a = _mm256_permute2f128_ps(a, a, 1); _mm256_store_ps(d - i - 8, a); 画像 遠く離れた場所の参照 折り返し
- 37. 37 バッファの取り方
- 38. 38 フィルタの最小バッファサイズ –入力画像のサイズ１つ –出力画像のサイズ１つ 必要バッファ セパラブルフィルタはバッファが必ず必要 sum = 0; sum += Σk I(y-1,x-k); sum += Σk I(y+0,x-k); sum += Σk I(y+1,x-k); ココを 計算 加算 計算結果を保持する場所がないため，毎画素 水平方向の畳み込みを再計算→O(r2)と同じ 書き込み
- 39. 39 計算結果格納用バッファ追加 –入力画像のサイズ１つ –出力画像のサイズ１つ –中間画像のサイズ１つ 必要バッファ val = Σk I(y,x-k); ココを 計算 計算結果を保持する場所がないため，毎画素 水平方向の畳み込みを計算→O(r2)と同じ 書き込み 中間画像
- 40. 40 計算結果格納用バッファ追加 –入力画像のサイズ１つ –出力画像のサイズ１つ –中間画像のサイズ１つ 必要バッファ 水平の畳み込み結果は再利用可能 val = Σk I(y-k,x); ココを 計算 水平方向の畳み込みを保持することで再利用 して計算オーダーがO(r)に！ 書き込み 中間画像
- 42. 42処理手順 水平方向にフィルタ 縦方向にフィルタ結 果をラインバッファ にコピー 縦方向にフィルタ（転置済 みのため横方向フィルタ相 当）したのちに，ライン バッファにコピー 入力画像バッファ 出力画像バッファ 出力画像バッファラインバッファ 特徴 • 最小メモリ構成 • 縦方向にバッファをコピーするため，2段目の並列化が縦方向に • 書き込みが縦方向のため，store不可．scatterがないと非ベクトルアクセス • ラインバッファへのコピー処理が無駄
- 45. 45イメージバッファ（inplace） イメージバッファに結果を書きだすため，出力 バッファを入力バッファに変えるinplace関数にし ても問題ない 入力B 入力B画像B フィルタ１ フィルタ２
- 48. 48ラインバッファ 入力B フィルタ１ フィルタ２ 出力B出力B ラインB コピー • ラインバッファに入力画像をコピーして，ラインバッ ファをフィルタして，結果を出力バッファに書き込む． • インプレース処理可能 コピー 繰返し 繰返し
- 49. 49ラインバッファ１つに 入力B フィルタ１ フィルタ２ 出力B出力B ラインB コピー • 出力バッファをテンポラリとして使うとバッファのコ ピー回数が減る． • インプレース処理が不可
- 56. 56タイルバッファ 画像拡張 小画像を拡張画像 バッファとして処理 • 入力画像の処理ループを分割してタイリングして，タイル バッファに出力．その後，タイルを出力に書き込み． • 境界処理が発生する処理は冗長処理が必要 タイルB
- 57. 57サブイメージバッファ 画像拡張 画像拡張をタイリングした 冗長な小画像をarrayに 小画像を拡張画像 バッファとして処理 • ループを分割してタイリングするよりも簡単に実装可能． 各サブイメージを並列に実行すれば並列化も容易． • ただし，効率は落ちる． • ２D畳み込みくらいならタイリングを自前で書くことはで きても深いパイプラインをタイリングするのは無謀．
- 59. 59 ベクトル化方法
- 66. 66 実験および結果
- 67. 67 512x512 – r=50 Halide 1.5ms (x3.87) Myimp 0.92 (x6.25) (HV ImageB1DB2VP) – r=3 Halide 0.150 (x3.1) Myimp 0.056 (x8.30) (VHI LineB2) 4096x2048 – r=3 Halide 25.6ms (x0.39) Myimp 4.04ms (x2.51) (VHI LineB2) – r=50 Halide 101 ms (x1.53) Myimp 33.58 ms (x4.61) (VH T2x8 Sub VP) 結果
- 68. 68demo
- 72. 72 論文書きました． –Taxonomy of Vectorization Patterns of Programming for FIR Image Filters Using Kernel Subsampling and New One –いろんな2D FIRフィルタを，考えられるベクト ル化パターンですべてでSIMD実装して評価し ました． –これ，１０万行くらいあります． The experimental code reached around 100,000 lines. http://www.mdpi.com/2076-3417/8/8/1235 宣伝