NIPS・ICDM輪読会での発表資料です。 https://connpass.com/event/48804/

1.
Binarized Neural Networks
Itay Hubara, Matthieu Courbariaux, Daniel Soudry,
Ran El-Yaniv, Yoshua Bengio
NIPS & ICDM 2016 輪読会
紹介者：佐野正太郎
株式会社リクルートコミュニケーションズ

2. （C）Recruit Communications Co., Ltd.
Binarized Neural Networks
モチベーション
• ニューラルネットの省メモリ化
– 小数点精度は32bitも要らない場合が多い
– 組み込みシステムなどマシンパワーが低い場合の計算
提案手法：Binarized Neural Networks
• 重みとノード出力が全て二値化されたネットワーク
– 従来手法（BinaryConnect）では重みのみを二値化
• バイナリオペレーションによる高速化
– GPU計算で約７倍速（MNISTベンチマーク）
1

3. （C）Recruit Communications Co., Ltd.
Binarized Neural Networks
活性化関数 => 重み付き和の符号関数
計算をバイナリ化に合わせて変更
• フォワード計算
• バックプロパゲーション
• バッチ正則化の高速化
• AdaMaxの高速化
2

4. （C）Recruit Communications Co., Ltd.
フォワード計算
3
K層目
バイナリ
ベクトル
二値化された
重み行列を
かける
バッチ
正則化
K+1層目
バイナリ
ベクトル
ベクトル
各要素の
二値化
・・・
・・・
重み行列 Wk は連続値として保持
フォワード計算時には二値化

5. （C）Recruit Communications Co., Ltd.
XNORオペレーションの恩恵
4
• 『活性化関数出力 x 重み』ごとにXNORをかけて足しこむ
• XNORによるGPUカーネル => 32bit floatに比べ約5.3倍速
+1 -1 -1
-1
+1 -1 +1 -1
+1

6. （C）Recruit Communications Co., Ltd.
バックプロパゲーション
5
バッチ正則化
逆伝播
ロスに対する
K+1層目の
勾配ベクトル
活性化関数への
入力についての
勾配ベクトル
・・・
・・・
ロスに対する
K層目の
勾配ベクトル

7. （C）Recruit Communications Co., Ltd.
バックプロパゲーション
6
バッチ正則化
逆伝播
ロスに対する
K+1層目の
勾配ベクトル
活性化関数への
入力についての
勾配ベクトル
・・・
・・・
ロスに対する
K層目の
勾配ベクトル
符号関数の勾配？

8. （C）Recruit Communications Co., Ltd.
バックプロパゲーション
Straight-through estimator [Hinton, 2012]
• 確率的な離散値を持つニューロンのバックプロパゲーション
• 決定的な符号関数の場合は下記のように近似
7
要素ごとの掛け算
条件を満たす要素は１
満たさない要素は０

9. （C）Recruit Communications Co., Ltd.
バッチ正則化の高速化
8
Batch Normalization
Shift based
Batch Normalization
ミニバッチの平均
入力の中心化
ミニバッチの分散
正規化
スケール & シフト
２の冪上への
ラウンディング
ビットシフト

10. （C）Recruit Communications Co., Ltd.
AdaMaxの高速化
Shift-based AdaMax [Kingma & Ba, 2014]
• バッチ正則化と同様に乗算をシフト演算化
• ハイパーパラメタの一部を２の冪乗に設定しておく
9

11. （C）Recruit Communications Co., Ltd.
実験：ベンチマーク評価
10
MNIST/SVHN/CIFAR-10でベースライン手法と比較…

12. （C）Recruit Communications Co., Ltd.
実験：XNORカーネルによる高速化
11
MNISTで
７倍高速化
XNORカーネルで最適化した場合のフォワード計算速度…