AIの脆弱性について

1. 2017.02.27
AISECjp #9
Hosted by Isao Takaesu
Discussion
AIの脆弱性について

2. AIに対する漠然とした懸念
AISECjp
・世界経済フォーラム（WEF）
AIやIoTのような新しいテクノロジは、データの窃盗やビジネスの破壊、産業制御関連への
攻撃を企むサイバー攻撃者に、より大きな攻撃対象の領域を作り出している。
・Interop Tokyo 2016
新しい技術革新が起きたときに、最初はそれを使って何ができるかと夢を追うような議論
がされるが、実際に使われ始めて理解が進むと、セキュリティなどの現実的な議論が始まる。
・人工知能技術戦略会議
(1)生産性、(2)健康、医療・介護、(3)空間の移動、(4)セキュリティという四つのテーマを
産業化ロードマップとして策定。ただし中間まとめ案では、「セキュリティは共通基盤で技
術の進展も激しいので、対象とはしていない」（経産省）

3. AIに対する具体的な攻撃手法
 機械学習モデルの窃取
 誤分類の誘発
 報酬ハッキング
 モデルポイゾニング
 機械学習ライブラリのバグを悪用
AISECjp
従来の攻撃手法に加え、AI特有の攻撃手法が存在。

4. 機械学習モデルの窃取
▼ 参考文献
- Stealing Machine Learning Models via Prediction APIs
AISECjp
機械学習モデルへの入出力値を手掛かりに、モデルの計算ロジック
（LRのDecision boundaryなど）を特定し、モデルを複製。

5. 誤分類の誘発
AISECjp
分類器（CNN）への入力画像を（人間には分からないくらいに）
微小に細工することで、CNNの誤分類を誘発。
▼ 参考文献
- Simple Black-Box Adversarial Perturbations for Deep Networks
original :
perturbed :
（誤分類）
stingray
sea lion
ostrich
goose
jay
junco
water ouzel
redshank

6. 報酬ハッキング
AISECjp
エージェントの学習に使用するポリシー（方策）を操作することで、
最適ではない行動を学習させる。
▼ 参考文献
- Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks

7. モデルポイゾニング
AISECjp
大量の悪意のあるデータを分類器に学習させることで、決定境界を
最適値から外す（モデルポイゾニング）。
▼ 参考文献
- 現実世界での機械学習によるアノマリ検知システムの構築と回避

8. 機械学習ライブラリのバグを悪用
AISECjp
OpenCV, numpy, scikit-learnなどのライブラリに存在する脆弱性を
利用することで、DoSや制御の乗っ取りなどを行う。
▼ 参考文献
- The Pursuit of Exploitable Bugs in Machine Learning

9. AIのビジネス利用例
AISECjp
様々な分野でビジネス利用が進んでいる
・AIが窓口業務の補助
・利用客の多い場所・時間を予測してタクシーを配車
・Jリーグの年間入場者数の予測
・効率的な働き方のレコメンド
・マルウエア検知・侵入検知への利用
・保険査定業務の自動化
・自動運転自動車の開発
・・・

10. AISECjp
セキュリティを考慮しているか？

11. 議題
 AIを使ったサービス・プロダクトは安全か？
 機械学習アルゴリズムに欠陥はないのか？
 新たな脆弱性はないか？
 セキュリティ向上のための啓蒙は？
・・・
AISECjp

12. 参考文献
AISECjp
・Stealing Machine Learning Models via Prediction APIs
https://arxiv.org/abs/1609.02943
・Simple Black-Box Adversarial Perturbations for Deep Networks
https://arxiv.org/abs/1612.06299
・Vulnerability of Deep Reinforcement Learning to Policy Induction Attacks
https://arxiv.org/abs/1701.04143
・現実世界での機械学習によるアノマリ検知システムの構築と回避
https://www.slideshare.net/codeblue_jp/by-clarence-chio-code-blue-2015
・ The Pursuit of Exploitable Bugs in Machine Learning
https://arxiv.org/abs/1701.04739

13. Download “.PDF” version of this document:
≫ https://aisecjp.connpass.com/event/44600/