機械学習モデルの判断根拠の説明（Ver.2）

1. 産総研人工知能研究センター【第40回AIセミナー】原聡機械学習モデルの判断根拠の説明原聡大阪大学産業科学研究所 https://sites.google.com/site/sato9hara/ 1 産総研人工知能研究センター【第40回AIセミナー】「説明できるAI 〜AIはブラックボックスなのか？〜」

2. 産総研人工知能研究センター【第40回AIセミナー】原聡自己紹介 n 原聡、博士（工学） • - 2013.3, PhD@産研, 阪大 • 2013.4 - 2016.3, 研究員@IBM東京基礎研 • 2016.4 - 2017.8, 研究員@河原林ERATO, NII • 2017.9 – 現在, 助教@産研, 阪大 n 研究 • 異常検知 - グラフィカルモデルの構造学習（ECML’11） - 異常変数の同定（AISTATS’15,17） • 機械学習モデルの説明 - アンサンブル木の簡略化（AISTATS’18） - モデル列挙（AAAI’17,18） - 嘘の説明（ICML’19; AAAI’20） - データクレンジング（NeurIPS’19） 2

3. 産総研人工知能研究センター【第40回AIセミナー】原聡【参考資料】 n 本資料にないものはこれら参考資料を参照 • 社会背景 • 研究界の動向 • 一部の説明法の紹介 3 https://www.slideshare.net/SatoshiHara3/ss-126157179 日本語まとめ資料 • 機械学習における解釈性（私のブックマーク）, 人工知能, Vol.33, No.3, pages 366--369, 2018. • 説明可能AI（私のブックマーク）, 人工知能, Vol.34, No.4, pages 577--582, 2019.

4. 産総研人工知能研究センター【第40回AIセミナー】原聡おことわり – 1 n 本資料では「AI」 = 「機械学習モデル」を前提として話を進める。 • 機械学習モデル - コンピュータのプログラムで、特に所与の学習用データをもとにある特定の指標（e.g. 画像分類精度）について最適化されたもの。 • 機械学習モデルの例 - 犬と猫の画像それぞれ100枚から、分類精度が最大になるように最適化された犬猫画像分類器。 n 「汎用AI」などは対象外。 4

5. 産総研人工知能研究センター【第40回AIセミナー】原聡おことわり – 2 n 本資料では「機械学習モデルが“ブラックボックス”だと困る状況」を想定して話を進める。 n 「機械学習」も「説明できるAI」も、あくまでも課題解決のためのツール・手段。適材適所が大前提。 • モデルが“ブラックボックス”でも困らない事例にまで、説明を求める必要はない。 • 「説明できない“ブラックボックス”なモデルは全てダメ」と断じる意図はない。過度に不安を助長するのは望ましくない。 5 機械学習の活躍が期待される領域モデルが“ブラックボックス”だと困る領域

6. 産総研人工知能研究センター【第40回AIセミナー】原聡【補足】「モデルが“ブラックボックス”」とは【ブラックボックス】 ② 使い方だけわかっていて、動作原理のわからない装置。『三省堂大辞林第三版』より引用 n 機械学習モデルはブラックボックスではない。 • 機械学習モデルの動作原理は明確に理解できる。 - モデル内部の計算の手順はプログラムとして記述される。 - 実行時の内部の各計算の結果にもアクセス可能である。 n 機械学習モデルにおける“ブラックボックス”とは • モデルが出力する予測の根拠を人間が直感的、または論理的に理解できないこと。 6 辞書によれば多くの場合、このような状況を指して “ブラックボックス”と言われる。

7. 産総研人工知能研究センター【第40回AIセミナー】原聡全てはまずモデルを作るところから n “説明”は「実用価値のあるモデル」がある前提での話。 • 「価値価値のあるモデル」を実際に運用するに際して“ブラックボックス”が問題になったときに、 “説明”について考える。 • モデルを作る前に“説明”を必要以上に気にしても意味がない。 n 実用・技術・“説明”のバランスがとれた開発を。 7 機械学習モデルの開発 “説明”の検討実用現場具体的な実用ケース、具体的なモデルなしに “説明”だけを考えてもあまり意味はない。

8. 産総研人工知能研究センター【第40回AIセミナー】原聡全てはまずモデルを作るところから n “説明”は「実用価値のあるモデル」がある前提での話。 • 「価値価値のあるモデル」を実際に運用するに際して“ブラックボックス”が問題になったときに、 “説明”について考える。 • モデルを作る前に“説明”を必要以上に気にしても意味がない。 n 実用・技術・“説明”のバランスがとれた開発を。 8 どんな“説明”が可能か？機械学習モデルの開発 “説明”の検討実用現場どのような “説明”が必要か？本当に“説明”が必要か？

9. 産総研人工知能研究センター【第40回AIセミナー】原聡【注意】 “説明”は万能ではない。むしろ高コスト。 n 論文として発表されている結果は、「うまくいった事例」だけが抽出されている可能性がある。 n 説明法導入には、手元のモデル/データで検証が必要。 • 現状の説明法は手放しに使えるものではない。 n 説明には計算リソースも必要。 • それなりに計算コストがかかる方法が多い。 • 場合によっては、通常のモデルに加えて、別の説明用モデルを作る必要もある。 n “誤説明”もあり得る。 • 説明を意図的にミスリードするようにデータを改変できることが報告されている。 9 人手お金・時間リスク

10. 産総研人工知能研究センター【第40回AIセミナー】原聡アウトライン第一部： “説明できるAI”とは？第二部：代表的研究 • 重要特徴の提示 • 重要データの提示第三部：近年の展開 – 説明の信頼性 • 説明への攻撃 • 説明法の見直し • 説明の悪用 10

11. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI”とは？ n 機械学習モデルに予測だけでなく、 “説明”もして欲しい。 11 病気の診断モデルを導入したが、モデルの診断結果を信頼して良いかわからない。診断の根拠を説明して欲しい。工場に異常検知モデルを導入したが、異常の見落としがないか心配だ。モデルに見落としがないと保証して欲しい。工場に導入した異常検知モデルが異常の見落としをした。モデルが見落とした理由が知りたい。第一部： “説明できるAI”とは？

12. 産総研人工知能研究センター【第40回AIセミナー】原聡すごい “説明できるAI” “説明できるAI”とは？ n 機械学習モデルに予測だけでなく、 “説明”もして欲しい。 12 病気の診断モデルを導入したが、モデルの診断結果を信頼して良いかわからない。診断の根拠を説明して欲しい。工場に異常検知モデルを導入したが、異常の見落としがないか心配だ。モデルに見落としがないと保証して欲しい。工場に導入した異常検知モデルが異常の見落としをした。モデルが見落とした理由が知りたい。病気の診断根拠は… 私は見落としのない完璧なAIです。なぜなら… 異常の見落としが起きた原因は… 第一部： “説明できるAI”とは？

13. 産総研人工知能研究センター【第40回AIセミナー】原聡すごい “説明できるAI” “説明できるAI”とは？ n 機械学習モデルに予測だけでなく、 “説明”もして欲しい。 13 病気の診断モデルを導入したが、モデルの診断結果を信頼して良いかわからない。診断の根拠を説明して欲しい。工場に異常検知モデルを導入したが、異常の見落としがないか心配だ。モデルに見落としがないと保証して欲しい。工場に導入した異常検知モデルが異常の見落としをした。モデルが見落とした理由が知りたい。病気の診断根拠は… 私は見落としのない完璧なAIです。なぜなら… 異常の見落としが起きた原因は… ! 第一部： “説明できるAI”とは？

14. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI” ≠ 何でも説明できるすごいAI n “説明できるAI”（Explainable AI; XAI）は「何でも説明できるすごいAI」ではない。 n “説明できるAI”は技術・研究分野の総称。 • 単一のすごい“説明できるAI”が存在するわけではない。 • 実際は色々な要素技術の集合体。 14 XAIに過度な期待は抱かないように。第一部： “説明できるAI”とは？

15. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI” ≒ モデルから情報抽出する技術 Q. “説明できるAI”は何をする技術なのか？ A. 予測以外の追加情報をモデルから抽出する技術。 n 追加情報とは？ • ユーザが知りたい情報。 • 抽出したい追加情報を明確にするのはユーザの仕事。 15 第一部： “説明できるAI”とは？

16. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI” ≒ モデルから情報抽出する技術 Q. “説明できるAI”は何をする技術なのか？ A. 予測以外の追加情報をモデルから抽出する技術。 n 追加情報とは？ • ユーザが知りたい情報。 • 抽出したい追加情報を明確にするのはユーザの仕事。 • 「診断の根拠」とは具体的にはどんな追加情報か？ - 「血圧が低い」、「血糖値が高い」などの重要項目？ - 「過去の事例Xと類似している」などの類似事例？ 16 病気の診断モデルを導入したが、モデルの診断結果を信頼して良いかわからない。診断の根拠を説明して欲しい。第一部： “説明できるAI”とは？

17. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI” ≒ モデルから情報抽出する技術 Q. “説明できるAI”は何をする技術なのか？ A. 予測以外の追加情報をモデルから抽出する技術。 n 追加情報とは？ • ユーザが知りたい情報。 • 抽出したい追加情報を明確にするのはユーザの仕事。 • 「見落としがない保証」とは具体的にはどんな追加情報か？ - 要請が不明確。追加情報として何が欲しいか、の明確化が必要。 - ユーザはどんな情報があったら腹落ちするか？ 17 工場に異常検知モデルを導入したが、異常の見落としがないか心配だ。モデルに見落としがないと保証して欲しい。第一部： “説明できるAI”とは？

18. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI” ≒ モデルから情報抽出する技術 Q. “説明できるAI”は何をする技術なのか？ A. 予測以外の追加情報をモデルから抽出する技術。 n 追加情報とは？ • ユーザが知りたい情報。 • 抽出したい追加情報を明確にするのはユーザの仕事。 • 「見落としの原因」とは具体的にはどんな追加情報か？ - 「過去の正常事例Xと類似している」などの類似事例？ - 「センサーデータの分布変化」などの環境要因？ 18 工場に導入した異常検知モデルが異常の見落としをした。モデルが見落とした理由が知りたい。第一部： “説明できるAI”とは？

19. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI” ≒ モデルから情報抽出する技術 Q. “説明できるAI”は何をする技術なのか？ A. 予測以外の追加情報をモデルから抽出する技術。 n 追加情報とは？ • ユーザが知りたい情報。 • 抽出したい追加情報を明確にするのはユーザの仕事。 n モデルから抽出する技術 • 抽出したい追加情報ごとに使える“抽出技術”は異なる。 - e.g. 重要項目、類似事例など • 各種の“抽出技術”（説明法）を紹介するのが本講演の目的。 19 第一部： “説明できるAI”とは？

20. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI”の使い方 1. ユーザが知りたい追加情報を明確にする。 - ユーザ自身が「何を知ることができたら役に立つか」を考える。 - 役に立たない情報を取り出しても意味はない。 2. 適切な“抽出技術”を使ってモデルから追加情報を取り出す。 - 抽出技術が確立されている追加情報については既存技術を使う。 - 抽出技術が未確立な場合は、抽出技術の研究開発が必要。 3. 追加情報をもとに、ユーザが自身の行動を決定する。 - e.g. モデルが着目した重要特徴がおかしい。 → モデルの判断は誤りの可能性が高いので無視する / 人間が判断する。 20 第一部： “説明できるAI”とは？

21. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI”の使い方 21 欲しい追加情報は明確か？既存技術で抽出できるか？既存の抽出技術追加情報は役に立ったか？抽出技術の新規開発 “説明”が欲しい！追加情報 Yes Yes Yes No No No ! 第一部： “説明できるAI”とは？

22. 産総研人工知能研究センター【第40回AIセミナー】原聡【まとめ】 “説明できるAI”とは？ n “説明できるAI”とは • 「何でも説明できるすごいAI」ではない。 • ユーザが欲しい追加情報をモデルから抽出する技術。 - 欲しい追加情報は十分に明確である必要がある。 n “説明できるAI”の研究 • 様々な「追加情報」について、抽出技術（説明法）の研究が盛んに行われている。 - 抽出の精度向上や高速化、抽出された情報の“品質”の評価など 22 第一部： “説明できるAI”とは？ “説明できるAI”に関する論文数の推移 Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI) https://ieeexplore.ieee.org/document/8466590/

23. 産総研人工知能研究センター【第40回AIセミナー】原聡【補足】 “説明”以外の方法も考える。 n “説明”以外の方法で解決できないか？ 23 病気の診断AIを導入したが、AIの診断結果を信頼して良いかわからない。診断の根拠を説明して欲しい。工場に異常検知AIを導入したが、異常の見落としがないか心配だ。 AIに見落としがないことを保証して欲しい。工場に導入した異常検知AIが異常の見落としをした。 AIが異常を見落とした原因が知りたい。第一部： “説明できるAI”とは？予測の確信度を提示したらどうか？（e.g. ベイズの予測分散）説明が不要な可読なモデルを使ったらどうか？（e.g. 決定木） AIを含む全体として頑健な異常検知システムを作れないか？（e.g. フェールセーフ機能） !

25. 産総研人工知能研究センター【第40回AIセミナー】原聡まず初めに n 説明法とは、ユーザが欲しい追加情報を機械学習モデルから抽出する技術。 • 『どんな追加情報が欲しいか』はデータ/応用によって異なる。 - 現状は、研究者が「こんな追加情報があったら便利じゃない？」という仮説に基づいて説明法の研究開発を進めていることが多い。 n 代表的な説明法 • 1. 重要な特徴の提示 • 2. 重要な学習データの提示 • 3. 自然言語による説明 • 4. モデルの可読化 • … 25 どんな追加情報を抽出したら / どの方法を使えば現場の具体的な課題が解決できるか、は個別に検討が必要。第二部：代表的研究

26. 産総研人工知能研究センター【第40回AIセミナー】原聡代表的な研究・手法 1. 重要特徴の提示【欲しい追加情報】 • 予測においてモデルが注目した特徴【手法】 • LIME, SHAP, Anchor, Saliency Map など 2. 重要データの提示【欲しい追加情報】 • 予測への関連が深いデータ【手法】 • Influence, Concept Vector, Representer Point Value など 26 第二部：代表的研究

27. 産総研人工知能研究センター【第40回AIセミナー】原聡重要特徴の提示【欲しい追加情報】 • 予測においてモデルが注目した特徴代表的研究 n Why Should I Trust You?: Explaining the Predictions of Any Classifier, KDD'16 [Python実装 LIME; R実装 LIME] n A Unified Approach to Interpreting Model Predictions, NIPS'17 [Python実装 SHAP] n Anchors: High-Precision Model-Agnostic Explanations, AAAI'18 [Python実装 Anchor] 27 第二部：代表的研究

28. 産総研人工知能研究センター【第40回AIセミナー】原聡 LIMEによる説明 n Why Should I Trust You?: Explaining the Predictions of Any Classifier, KDD'16 [Python実装 LIME; R実装 LIME] • どの特徴が予測に重要だったかを提示する。 • モデルを説明対象データの周辺で線形モデルで近似する。 - 線形モデルの係数の大小で、各特徴の重要度合いを測る。 28 第二部：代表的研究 Why Should I Trust You?: Explaining the Predictions of Any Classifierより引用

29. 産総研人工知能研究センター【第40回AIセミナー】原聡 LIMEによる説明 29 第二部：代表的研究

30. 産総研人工知能研究センター【第40回AIセミナー】原聡 LIMEの問題設定 n 2種類のデータ表現を使い分ける。 • モデル用のデータ表現（機械表現）： One-Hot、埋め込み表現など - モデル用のデータ表現は、人間には理解が難しい。 • 人間用のデータ表現（可読表現）：単語、画像のパッチなど - 人間用のデータ表現は、人間が直感的に理解しやすい。 n LIMEでは機械表現で学習したモデルを、可読表現を介して説明として提示する。 • Adultの例： One-Hot表現（機械表現）で学習したモデルを、元の特徴量（可読表現）を使って説明。 30 第二部：代表的研究

31. 産総研人工知能研究センター【第40回AIセミナー】原聡 LIMEの基本アイディア n データの機械表現!に対応する可読表現を!′とする。 • LIMEでは可読表現!′はバイナリ特徴!# ∈ {0, 1}*とする。 +番目の可読特徴!, # は、ある+番目のパターン（単語や画像のパッチ）の有無を表現。 n モデル-(!)の複雑な識別境界を、説明対象データ!0の周辺で線形関数で近似する。 • - ! ≈ 2 !# ≔ 40 + 46!# for !# ∈ NeighborOf(!0 # ) • 4の要素4,の大小でもって、各可読特徴の予測への関連の大きさを測る。 31 第二部：代表的研究 Why Should I Trust You?: Explaining the Predictions of Any Classifierより引用産総研人工知能研究センター【第40回AIセミナー】原聡

32. 産総研人工知能研究センター【第40回AIセミナー】原聡 LIMEの計算方法 n モデル!(#)の複雑な識別境界を、説明対象データ#%の周辺で線形関数で近似する。 • ! # ≈ ' #( ≔ *% + *,#( for #( ∈ NeighborOf(#% ( ) n 係数*の推定 • min : ∑ <,<> ∈? @AB C ! C − ' C( E s.t. * % ≤ G - * %：係数の非零要素の個数 - @AB C ：点#%から見た重み - H：データ点#%に微小ノイズをのせたデータの集合 32 第二部：代表的研究

33. 産総研人工知能研究センター【第40回AIセミナー】原聡 LIMEの応用例 n 画像認識の説明 n モデルのデバッグ • 狼 vs ハスキーの分類 • 狼画像として、雪背景のもののみを使用。 → LIMEにより、モデルが雪を根拠に狼を認識していることがわかる。 33 第二部：代表的研究 Why Should I Trust You?: Explaining the Predictions of Any Classifier より引用

34. 産総研人工知能研究センター【第40回AIセミナー】原聡画像における重要特徴の提示【欲しい追加情報】 • 予測においてモデルが注目した特徴（画像領域） n 代表的研究 [Python+Tensorflow実装 saliency; DeepExplain] • Striving for Simplicity: The All Convolutional Net (GuidedBackprop) • On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation (Epsilon- LRP) • Axiomatic Attribution for Deep Networks (IntegratedGrad) • SmoothGrad: Removing Noise by Adding Noise (SmoothGrad) • Learning Important Features Through Propagating Activation Differences (DeepLIFT) 34 第二部：代表的研究

35. 産総研人工知能研究センター【第40回AIセミナー】原聡勾配ベースのハイライト法 n 「モデルが画像のどこに注目したか」を推定してハイライトする方法 35 第二部：代表的研究

36. 産総研人工知能研究センター【第40回AIセミナー】原聡勾配ベースのハイライト法の原理 n 入力のある要素を微小変化させたら、出力はどれだけ変化するか？ • 認識に寄与している要素を微小変化させた場合 → 出力は大きく変化する • 認識に寄与していない要素を微小変化させた場合 → 出力はほぼ変化しない 36 ここを変化させたら「シマウマ」と認識されなくなるかもここを変化させても「シマウマ」という認識は変わらないだろう第二部：代表的研究

37. 産総研人工知能研究センター【第40回AIセミナー】原聡勾配ベースのハイライト法の原理 n モデルを ! = # $ とする。 n あるデータ点 $ についてハイライトを計算したいとする。 n 勾配に基づくハイライト法 [Simonyan et al., arXiv’14] 入力の要素$%の注目度をモデルの入力勾配 &' ( &() で測る。 • 認識に寄与している要素を微小変化させた場合 → 出力は大きく変化する → *+ , *,- が大きい → 注目度大 • 認識に寄与していない要素を微小変化させた場合 → 出力はほぼ変化しない → &' ( &() が小さい → 注目度小 37 第二部：代表的研究

38. 産総研人工知能研究センター【第40回AIセミナー】原聡勾配ベースのハイライト法の原理 n 勾配に基づくハイライト法 [Simonyan et al., arXiv’14] 入力の要素!"の注目度をモデルの入力勾配 #$ % #%& で測る。 n 発展的手法：勾配はノイズが多いので、ノイズを減らす。 • GuidedBP [Springenberg et al., arXiv’14] back propagation時に正の勾配だけ伝搬させる。 • LRP [Bach et al., PloS ONE’15] 各層毎の注目度の総和を保存するように伝搬させる。 • IntegratedGrad [Sundararajan et al., arXiv’17] 勾配を積分する。 • SmoothGrad [Smilkov et al., arXiv’17] 勾配に摂動を加えて平均する。 • DeepLIFT [Shrikumar et al., ICML’17] 勾配の代わりに基準点からの差分を使う。 38 第二部：代表的研究

39. 産総研人工知能研究センター【第40回AIセミナー】原聡【まとめ】重要特徴の提示【欲しい追加情報】 • 予測においてモデルが注目した特徴 n LIME • どの可読特徴が予測に重要だったかをモデルから抽出する。 • 方法：可読特徴を使ってモデルを線形近似する。 n 勾配ベースのハイライト法（Saliency Map） • どの特徴（画像領域）が予測に重要だったかを抽出する。 • 方法：入力の微小変化がモデル出力に与える影響を勾配を使って評価する。 39 第二部：代表的研究

40. 産総研人工知能研究センター【第40回AIセミナー】原聡代表的な研究・手法 1. 重要特徴の提示【欲しい追加情報】 • 予測においてモデルが注目した特徴【手法】 • LIME, SHAP, Anchor, Saliency Map など 2. 重要データの提示【欲しい追加情報】 • 予測への関連が深いデータ【手法】 • Influence, Concept Vector, Representer Point Value など 40 第二部：代表的研究

41. 産総研人工知能研究センター【第40回AIセミナー】原聡重要データの提示【欲しい追加情報】 • 予測への関連が深いデータ代表的研究 n Understanding Black-box Predictions via Influence Functions, ICML’17 [Python実装 influence-release] n Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV), ICML’18 [Tensorflow実装 tcav] n Representer Point Selection for Explaining Deep Neural Networks, NeurIPS'18 [PyTorch実装 Representer_Point_Selection] 41 第二部：代表的研究

42. 産総研人工知能研究センター【第40回AIセミナー】原聡 Influenceによる説明 n Understanding Black-box Predictions via Influence Functions, ICML’17 [Python実装 influence-release] n ある訓練データ("′, %′) が“無かった”としたら、テストデータ"の予測はどれくらい変わるか？ 42 ラベルを予測したいテスト画像予測への影響が強い訓練画像（犬）予測への影響が強い訓練画像（熱帯魚）第二部：代表的研究 Understanding Black-box Predictions via Influence Functions Explanations より引用

43. 産総研人工知能研究センター【第40回AIセミナー】原聡 Influenceの基本アイディア n ある訓練データが“無かった”としたら、テストデータの予測はどれくらい変わるか？ 43 これは「ネコ」これは「イヌ」全てのデータで学習したモデルある訓練データがなかった場合のモデルなくなった訓練データがモデルの判断には重要だったらしい。 → モデルの判断の“説明” 第二部：代表的研究

44. 産総研人工知能研究センター【第40回AIセミナー】原聡 Influenceの方法 n 愚直な方法 • 訓練データを一個ずつ抜いて実際にモデルを作ってみる。 • 問題点：時間がかかりすぎる。 n この論文の方法 • 実際にモデルを訓練データの数だけ作らなくても大丈夫。 • どの訓練データが効いたかは、影響関数を使って計算できる。 44 統計学で提唱された概念第二部：代表的研究

45. 産総研人工知能研究センター【第40回AIセミナー】原聡 Influenceの方法 n ある訓練データ("′, %′) が“無かった”としたら、テストデータ"の予測はどれくらい変わるか？ n モデルを % = (("; *+), *+を学習されたパラメータとする。 *+ = argmin 2∈4 5 67(8,9)∈: ;(<; +) *+=6> = argmin 2∈4 5 6∈: ?@A 6B6> ;(<; +) n influence • C+=6> − C+を影響関数を使って近似的に評価する。 C+=6> − C+ ≈ − 1 G HI2 =J K;(<>; C+) 45 全データで学習した場合 <> = ("′, %′)が無かった場合第二部：代表的研究学習の目的関数のへシアン

46. 産総研人工知能研究センター【第40回AIセミナー】原聡 Influenceの応用 n Data Poisoning • 指定したテストデータへの影響の強い学習データに敵対的ノイズをのせた、“敵対的”学習データを作る。 • “敵対的”学習データで学習したモデルは、指定したテストデータで間違えるようになる。 46 第二部：代表的研究 Understanding Black-box Predictions via Influence Functions Explanations より引用

47. 産総研人工知能研究センター【第40回AIセミナー】原聡 Concept Vectorによる説明 n 特定の“コンセプト”を判断基準にしているか？ • Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV), ICML’18 [Tensorflow実装 tcav] • シマウマ画像の認識に“シマシマ”コンセプトは重要か？ 47 第二部：代表的研究 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf より引用

48. 産総研人工知能研究センター【第40回AIセミナー】原聡 Concept Vectorによる説明 n 深層学習モデルの判断と、特定の“コンセプト”データが関係あるか、を調べる。 n 用意するもの • “コンセプト”を表現するデータ • ランダムなデータ • 深層学習モデルの中間層 n 中間層での判断と“コンセプト”データとの関係を調べる。 48 入力! 出力" = $ % = $('(!)) 中間層での表現 % = '(!)入力→中間 ' 中間→ 出力 $ 第二部：代表的研究 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf より引用

49. 産総研人工知能研究センター【第40回AIセミナー】原聡 Concept Vectorによる説明 n 中間層での判断と“コンセプト”データの関係を調べる。 • コンセプトデータ、ランダムデータの中間層での分布を考える。 49 中間層でのデータの分布 ! こちらに行くほど、 “シマシマ”度合いが強い “シマシマ”コンセプトを表現するConcept Vector ! 第二部：代表的研究 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf より引用

50. 産総研人工知能研究センター【第40回AIセミナー】原聡 Concept Vectorによる説明 n 中間層での判断と“コンセプト”データの関係を調べる。 • データをConcept Vectorの方向に動かすと、判断はどうなるか？ 50 中間層でのデータの分布 ! 調べたい入力データ" データをちょっとだけConcept Vector の方向に動かして、判断結果# " の変化を調べる。 # $ + &! − # $ ≈ & )*# $ +! )*# $ +!が大 → 結果と“コンセプト”データの関係あり )*# $ +!が小 → 結果と“コンセプト”データの関係なし $ = -(") 第二部：代表的研究 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf より引用

51. 産総研人工知能研究センター【第40回AIセミナー】原聡 Concept Vectorによる説明：結果例 n “スーツ”コンセプトと各種画像の関係の大小 51 関係：大関係：小画像クラス CEO 看護師長女性モデル第二部：代表的研究 https://beenkim.github.io/slides/TCAV_ICML_pdf.pdf より引用産総研人工知能研究センター【第40回AIセミナー】原聡

52. 産総研人工知能研究センター【第40回AIセミナー】原聡【まとめ】重要データの提示【欲しい追加情報】 • 予測への関連が深いデータ n Influence • 予測への影響が大きかった学習データを抽出する。 • 方法：学習データの有無による影響を評価する。 n Concept Vector • ユーザが用意した“コンセプト”データと、モデルの予測との関連の有無を抽出する。 • 方法：予測対象データを“コンセプト”の方向に微小変化させたときのモデル出力変化を評価する。 52 第二部：代表的研究

54. 産総研人工知能研究センター【第40回AIセミナー】原聡近年の展開 – 説明の信頼性 n 説明への攻撃 • Interpretation of Neural Networks is Fragile, AAAI’19 • Explanations can be manipulated and geometry is to blame, NeurIPS’19 n 説明法の見直し • Sanity Checks for Saliency Maps, NeurIPS’18 n 説明の悪用 • Fairwashing: the risk of rationalization, ICML’19 [Python実装 LaundryML] [発表資料] 54 第三部：近年の展開説明そのものの信頼性への疑問説明の悪用の可能性 [実装 InterpretationFragility]

55. 産総研人工知能研究センター【第40回AIセミナー】原聡説明への敵対的攻撃 n Saliency Map（画像の勾配ハイライト）による説明は、敵対的攻撃に脆弱であることを指摘。 • Interpretation of Neural Networks is Fragile, AAAI’19 55 Interpretation of Neural Networks Is Fragile Explanations より引用画像に微小ノイズをのせることで、分類結果を変えることなく、 “説明”のハイライト箇所を変えることができる。第三部：近年の展開 [実装 InterpretationFragility]

56. 産総研人工知能研究センター【第40回AIセミナー】原聡説明への敵対的攻撃 n Saliency Mapの脆弱性はReLU由来であることを指摘。 softplusへと活性化関数を置き換えることで頑健化できる。 • Explanations can be manipulated and geometry is to blame, NeurIPS’19 56Explanations can be manipulated and geometry is to blame より引用 ReLUを使うと識別境界面がガタガタになる。勾配もガタガタで、入力が少し変わるだけで勾配が大きく変わる。 ReLUをsoftplusに置き換えると識別境界面が滑らかになる。入力の微小変化に対して勾配が頑健になる。第三部：近年の展開

58. 産総研人工知能研究センター【第40回AIセミナー】原聡説明法の見直し n 画像認識モデルの注目領域を抽出する「ハイライト法」の良し悪しの評価方法を提案。 • Sanity Checks for Saliency Maps, NeurIPS’18 n 疑問：どのハイライト法を使うのが良いのか？ 58 「注目領域」がハイライト法の数だけある。どれが正しい？みんな正しい？第三部：近年の展開

59. 産総研人工知能研究センター【第40回AIセミナー】原聡評価法： Model Parameter Randomization Test n アイディア • モデルのパラメータの一部をランダム値に置き換えた “ダメなモデル”を作る。 • “ダメなモデル”からは“ダメなハイライト”しか出ないはず。 n 方法 • 元のモデルと“ダメなモデル”とで、ハイライト結果を比較する。 - 「変化大のハイライト法」は、良い/ダメなモデルの差に敏感 → モデルの情報をきちんと読み取れる“良い手法” - 「変化小のハイライト法」は、良い/ダメなモデルの差がわからない → モデルの情報を読み取れない“悪い手法” 59 第三部：近年の展開

60. 産総研人工知能研究センター【第40回AIセミナー】原聡 Model Parameter Randomization Testの例 n 出力側から一個ずつ順番に重みをランダム化していく。 • Guided Backprop、Guided GradCAMはランダム化された “ダメなモデル”でもハイライトに変化がない。 → これらはモデルを見ていない悪い手法。 60 Sanity Checks for Saliency Maps より引用第三部：近年の展開

61. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明”の良し悪しを適切に評価する必要がある。 n 「見た目がそれらしいハイライト」が必ずしもモデルの注目領域を正しく反映しているとは言えない。 • きちんとモデルやデータの情報を反映できるハイライト法を選んで使う必要がある。 • 見た目に惑わされずに、きちんとした定量評価が必要。 - モデルやデータの情報を一切使わない画像のエッジ検出でも、いくつかのハイライト法と非常に似たハイライトが作れてしまう。 n この論文はあくまでも「最低限の妥当性のチェック」 • 「この論文のチェックをパスできない方法は悪い」とは言える。 • しかし「この論文のチェックをパスしたものが全て良い」とは言えない。 - 論文中のチェック以外にも「パスして当然」なチェックはあるかも。 - Q. どのようなチェックをパスするべきか？ 61 第三部：近年の展開

63. 産総研人工知能研究センター【第40回AIセミナー】原聡 Fairwashing: the risk of rationalization Ulrich Aïvodji, Hiromi Arai, Olivier Fortineau, Sébastien Gambs, Satoshi Hara, Alain Tapp 63 第三部：近年の展開 ICML’19 [Python実装 LaundryML] [資料 Slide & Video]

64. 産総研人工知能研究センター【第40回AIセミナー】原聡【参考】 AI利活用ガイドライン（総務省, 2019） 64http://www.soumu.go.jp/menu_news/s-news/01iicp01_02000079.html より引用第三部：近年の展開産総研人工知能研究センター【第40回AIセミナー】原聡

65. 産総研人工知能研究センター【第40回AIセミナー】原聡【参考】 AI利活用ガイドライン（総務省, 2019） 65 http://www.soumu.go.jp/menu_news/s-news/01iicp01_02000079.html より引用第三部：近年の展開モデルによる決定が公平であるように配慮する。性別や人種などに基づく決定をしない。モデルによる決定の過程や根拠が適切に説明されるように配慮する。「ローン審査はxxxという理由で棄却されました。」

66. 産総研人工知能研究センター【第40回AIセミナー】原聡 “Fairwashing”：偽りの説明による正当化 n モデルの公平性の説明 66 正直な説明ローン審査は、あなたの性別がxだという理由で棄却されました。不公平なモデルローンの可否を性別で判断第三部：近年の展開モデル審査サービス

67. 産総研人工知能研究センター【第40回AIセミナー】原聡 “Fairwashing”：偽りの説明による正当化 n モデルの公平性の説明 67 偽りの説明ローン審査は、あなたの年収が低いという理由で棄却されました。不公平なモデルローンの可否を性別で判断第三部：近年の展開モデル審査サービス

68. 産総研人工知能研究センター【第40回AIセミナー】原聡 “Fairwashing”：偽りの説明による正当化 n モデルの公平性の説明 68 偽りの説明ローン審査は、あなたの年収が低いという理由で棄却されました。不公平なモデルローンの可否を性別で判断第三部：近年の展開モデル審査サービス “Fairwashing” 悪意のある人・組織は偽りの説明により自身のモデルの正当性を詐称しうる。 “Fairwashing” 産総研人工知能研究センター【第40回AIセミナー】原聡

69. 産総研人工知能研究センター【第40回AIセミナー】原聡 “Fairwashing”：偽りの説明による正当化 n モデルの公平性の説明 69 偽りの説明ローン審査は、あなたの年収が低いという理由で棄却されました。不公平なモデルローンの可否を性別で判断第三部：近年の展開モデル審査サービス LaundryML 偽りの説明を生成する方法 → 偽りの説明は技術的に実現可能 “Fairwashing”は現実的に起こりえる “Fairwashing” 悪意のある人・組織は偽りの説明により自身のモデルの正当性を詐称しうる。 “Fairwashing” 産総研人工知能研究センター【第40回AIセミナー】原聡

70. 産総研人工知能研究センター【第40回AIセミナー】原聡 LaundryML：偽りの説明を生成する方法 n The idea “説明の候補”を複数生成する。候補の中から自己の正当化に“有用な説明” を選ぶ。 n “説明の候補”の複数生成s • 説明モデルを列挙する。[Hara & Maehara’17; Hara & Ishihata’18] n “有用な説明” • 公平性の正当化の場合、demographic parity (DP)などで各説明候補の公平性度合いを測る。 • DPが十分小さい説明を選ぶ。 70 アイディア第三部：近年の展開

71. 産総研人工知能研究センター【第40回AIセミナー】原聡結果例 n Adultデータでの結果 • 説明における各特徴の重要度をFairMLツールにより計測 71 正直な説明偽りの説明 gender gender 第三部：近年の展開産総研人工知能研究センター【第40回AIセミナー】原聡

72. 産総研人工知能研究センター【第40回AIセミナー】原聡結果例 n Adultデータでの結果 • 説明における各特徴の重要度をFairMLツールにより計測 72 正直な説明偽りの説明 gender gender 第三部：近年の展開 If else if else if else if else if else low-income then high-income then low-income then low-income then low-income then high-income capital gain > 7056 marital = single education = HS-grad occupation = other occupation = white-colloar 偽りの説明【補足】この実験での「欲しい追加情報」は「モデルの（近似的な）判断ルール」。産総研人工知能研究センター【第40回AIセミナー】原聡

73. 産総研人工知能研究センター【第40回AIセミナー】原聡まとめ n LaundryMLにより、偽りの説明は技術的に実現可能。 → “Fairwashing”は現実的に起こりえる問題。 n 問: どうしたら“Fairwashing”を防げるか？ • 技術的に偽りの説明は検知可能か？ • 制度的に防げるか？ 73 第三部：近年の展開 “Fairwashing” 悪意のある人・組織は偽りの説明により自身のモデルの正当性を詐称しうる。 “Fairwashing”

74. 産総研人工知能研究センター【第40回AIセミナー】原聡関連する話題：説明への批判 n 近似的な説明への批判 • 提案されている説明法の多くは、モデルを“近似的に”読めるようにすることで説明を生成する。 • 近似的な説明では、モデルと説明の間にギャップが生じる。 - このギャップを悪用すると「嘘の説明」ができる。 • つまり、近似的な説明は正しくない可能性がある。 - 実際、先述の通り“正しくない”説明法が提案されている。 n 参考 • Please Stop Explaining Black Box Models for High-Stakes Decisions, Nature Machine Intelligence, 2019. 74 第三部：近年の展開

75. 産総研人工知能研究センター【第40回AIセミナー】原聡今日のまとめ第一部： “説明できるAI”とは？第二部：代表的研究 • 重要特徴の提示 • 重要データの提示第三部：近年の展開 – 説明の信頼性 • 説明への攻撃 • 説明法の見直し • 説明の悪用 75

76. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI” ≒ モデルから情報抽出する技術 Q. “説明できるAI”は何をする技術なのか？ A. 予測以外の追加情報をモデルから抽出する技術。 n 追加情報とは？ • ユーザが知りたい情報。 • 抽出したい追加情報を明確にするのはユーザの仕事。 n モデルから抽出する技術 • 抽出したい追加情報ごとに使える“抽出技術”は異なる。 - e.g. 重要項目、類似事例など • 各種の“抽出技術”（説明法）を紹介するのが本講演の目的。 - 「重要特徴の提示」 LIME, SHAP, Anchor, Saliency Mapなど - 「重要データの提示」 Influence, Concept Vectorなど 76

77. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI”の使い方 1. ユーザが知りたい追加情報を明確にする。 - ユーザ自身が「何を知ることができたら役に立つか」を考える。 - 役に立たない情報を取り出しても意味はない。 2. 適切な“抽出技術”を使ってモデルから追加情報を取り出す。 - 抽出技術が確立されている追加情報については既存技術を使う。 - 抽出技術が未確立な場合は、抽出技術の研究開発が必要。 3. 追加情報をもとに、ユーザが自身の行動を決定する。 - e.g. モデルが着目した重要特徴がおかしい。 → モデルの判断は誤りの可能性が高いので無視する / 人間が判断する。 77

78. 産総研人工知能研究センター【第40回AIセミナー】原聡 “説明できるAI”の使い方 78 欲しい追加情報は明確か？既存技術で抽出できるか？既存の抽出技術追加情報は役に立ったか？抽出技術の新規開発 “説明”が欲しい！追加情報 Yes Yes Yes No No No !

79. 産総研人工知能研究センター【第40回AIセミナー】原聡関連資料（英語） n チュートリアル資料 • ICML’17, AAAI’19, KDD’19, FAT*’20 n 動画 • NIPS’17 Interpretable ML Symposium Debate • KDD’19 Keynote （by Cynthia Rudin） • How to Fail Interpretability Research（by Been Kim） n 書籍/オンライン資料 • Interpretable Machine Learning • Limitations of Interpretable Machine Learning Methods • Explanatory Model Analysis • Explainable AI: Interpreting, Explaining and Visualizing Deep Learning 79

80. 産総研人工知能研究センター【第40回AIセミナー】原聡関連資料（英語） 80 https://github.com/csinva/csinva.github.io/blob/master/_notes/cheat_sheets/interp.pdf

81. 産総研人工知能研究センター【第40回AIセミナー】原聡関連資料（日本語） n スライド • モデルを跨いでデータを見たい • tidymodels+DALEXによる解釈可能な機械学習 • SHapley Additive exPlanationsで機械学習モデルを解釈する • BlackBox モデルの説明性・解釈性技術の実装 • 一般化線形モデル (GLM) & 一般化加法モデル(GAM) • 機械学習の説明可能性への取り組み－ DARPA XAI プロジェクトを中心に－ n 原の資料 • アンサンブル木モデル解釈のためのモデル簡略化法 • 機械学習モデルの列挙 81