機械学習工学研究会主催の「XX for ML 論文読み会 #1」での発表資料です。論文は https://arxiv.org/abs/1808.05353 からダウンロードできます。 Metamorphic testing を (1) SVM による MNIST 手書き数字の認識、(2) ResNet-32 による CIFAR-10 画像分類の二つのアプリケーションに適用し、バグを検出できるかを実験したという内容です。実験の枠組みには mutation testing を用い、71% のバグを発見できたと報告されています。

1. 論文紹介：
Identifying Implementation Bugs
in Machine Learning Based Image Classifiers
using Metamorphic Testing[1]
内山 雄司 (@y__uti)
2018-11-03 XX for ML 論文読み会 #1
1. Anurag Dwarakanath, Manish Ahuja, Samarth Sikand, Raghotham M. Rao, R. P. Jagadeesh Chandra Bose, Neville Dubash,
Sanjay Podder. Identifying Implementation Bugs in Machine Learning Based Image Classifiers using Metamorphic Testing.
ISSTA 2018. (available at https://arxiv.org/abs/1808.05353)

2. 自己紹介
内山 雄司 (@y__uti)
◦ http://y-uti.hatenablog.jp/ (mlxse, phpusers-ja)
仕事
◦ 受託開発の会社 (株式会社ピコラボ) でプログラマをしています
興味
◦ プログラミング言語処理系
◦ 機械学習
2018-11-03 XX for ML 論文読み会 #1 2

3. 論文の概要
Metamorphic Testing でプログラムのバグを検出できるか試した
対象としたプログラム
◦ SVM による手書き数字の認識 (MNIST)
◦ ResNet による画像分類 (CIFAR-10)
手順
1. Metamorphic Relations を設定
2. Mutation Testing の手法で MRs がバグを検出できるかを確認
2018-11-03 XX for ML 論文読み会 #1 3

4. SVM による手書き数字の認識
2018-11-03 XX for ML 論文読み会 #1 4

5. Metamorphic Testing
SVM による手書き数字の認識
◦ 学習
2018-11-03 XX for ML 論文読み会 #1 5
classifier.fit()
classifier.predict()
◦ 予測
"8"
この予測の正誤はどうでもよい
(データの例は論文の Figure 2 より抜粋)

6. Metamorphic Testing
例：特徴量の次元を入れ替える
◦ 学習
2018-11-03 XX for ML 論文読み会 #1 6
classifier.fit()
classifier.predict()
◦ 予測
"8"
プログラムが正しければ同じ予測が得られるはず
(データの例は論文の Figure 2 より抜粋)

7. Metamorphic Relations
2018-11-03 XX for ML 論文読み会 #1 7
# 内容
MR-1 特徴量の次元を入れ替える
MR-2 学習データの順序を入れ替える
MR-3 特徴量に定数を加える (RBF kernel のみ)
MR-4 テストデータの特徴量を定数倍する (linear kernel のみ)
SVM ではデータセットにこれらの加工を施しても結果は変わらないはず
☞ 論文では、各 MR が結果を変えないことをカーネル関数の式から導出

8. 評価手法
Metamorphic Testing の有効性をどう評価するか
◦ 設定した Metamorphic Relation がバグを検出できるか否か
さまざまなバグに対して「xx% 検出できた」と言いたい
2018-11-03 XX for ML 論文読み会 #1 8

9. Mutation Testing
テストがバグの検出力を有しているかを調べる手法
2018-11-03 XX for ML 論文読み会 #1 9
Test×
正しい
実装
誤った
実装
テストがバグを検出

10. Mutation Testing
テストがバグの検出力を有しているかを調べる手法
2018-11-03 XX for ML 論文読み会 #1 10
Test
正しい
実装
プログラム変換により
誤りを混入
• 演算子を変更
• 数値を変更
• etc.
誤った実装たち
= Mutants
"Killed" or "survived"

11. 評価実験の全体構成
2018-11-03 XX for ML 論文読み会 #1 11
...
...
Result Result Result
元プログラム 元データ
...
...
...
...
...
...
...
...
...
...
...
...
...
...
...
Train
Test
Train
Test
Train
Test
Train
Test
Train
Test
ResultResult
MR-1 MR-2 MR-3 MR-4
Mutators
プログラム変換
データ変換
結果を比較
それぞれのデータセットに対して
学習と判別を実行
（意味のない mutator はあらかじめ人手で除外）

12. 実験結果
MutPy が生成した 6 個のバグをすべて検出できた
◦ ただし 6 個とも同種のバグ
2018-11-03 XX for ML 論文読み会 #1 12
正しくは csv 末尾の列がラベルなのに特徴量の特定の次元をラベルとしている
☞ MR-1, MR-3 は学習データの特徴量を変えるので結果にも影響を及ぼす = 検出可能

13. ResNet による画像分類
2018-11-03 XX for ML 論文読み会 #1 13

14. ResNet による画像分類
全体的な構成は SVM と同じ (教師有り分類問題)
◦ 学習
2018-11-03 XX for ML 論文読み会 #1 14
classifier.fit()
classifier.predict()
◦ 分類
(データの例は論文の Figure 4 より抜粋)
labels

15. Metamorphic Relations
2018-11-03 XX for ML 論文読み会 #1 15
# 内容
MR-1 画像の RGB を入れ替える (6 種類)
MR-2 画像を回転する (回転 4 種類 × 反転 2 種類 = 8 種類)
MR-3 テストデータを正規化する
MR-4 テストデータの特徴量を定数倍する
MR-1 MR-2 MR-4
MR-3
(論文 Figure 5, 8, 10, 11 より)

16. 実験結果
MutPy が生成した 16 個のバグのうち 8 個を検出
2018-11-03 XX for ML 論文読み会 #1 16

17. 実験結果
バグの内容による分類
2018-11-03 XX for ML 論文読み会 #1 17
バグの内容 検出数 Mutant 数
学習データの一部を読み込まない 1 (0?) 3 (2?)
損失関数の計算式を変更 3 4
学習率の減衰量を変更 2 3
学習時と分類時の処理の交換 2 (3?) 2 (3?)
ネットワークの構造変更 0 2
RGB channel に余分な padding を追加 0 2
論文では c49 (reverses the training and test data) を "Reduce the training data files" に分類
括弧内の数字は c49 を “Interchange training and testing” に分類した場合

18. 雑感 (個人の意見。論文の内容ではありません)
Metamorphic Testing について
◦ MR を発見する作業が難しそう
◦ 設定した MR がバグ検出に有効かどうかの予測可能性
◦ 個別のバグに対して、それを検出できる MR をどう発見するか
◦ これについては論文にも以下の記述がある
評価手法 (Mutation Testing) について
◦ 開発時に発生するバグの傾向を捕えているか
◦ 既存のテスト手法で発見が難しいバグに着目する必要性
◦ 例：ラベルの取り違え (SVM の実験での mutator) は単体テストを書けば見つかる
2018-11-03 XX for ML 論文読み会 #1 18
It would be extremely interesting to explore whether any MRs can indeed catch such
mutants.
(4.2.2. ネットワークの構造を変えるが結果が変わらない mutants に対して)