サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018

1. サイバーエージェントの
機械学習エンジニアが
体験したGoogle I/O 2018
株式会社サイバーエージェント 數見拓朗
1

2. 自己紹介
數見拓朗（経済学博士）
業務
◦ メディア、広告事業のデータ分析や機械学習システムの開発・運用
2

3. 概要
5/6-5/9 Google I/O 2018で紹介された
ML/AIに関連する製品・OSS・技術を紹介
今さら
3

4. 目次
1
2
3
Google I/O 2018概要
ML/AIセッションの概要
ML/AIを製品に組み込むために必要な製品・OSS・技術の紹介
4

5. 目次
1
2
3
Google I/O 2018概要
5

6. Google I/O 2018概要
Googleが主催する開発者向けカンファレンス
◦ Android開発者向けセッションが多数
◦ KeyNoteで新製品の発表
弊社からは、15人程度参加
◦ https://cyberagent.connpass.com/event/84233/
セッション、展示ブース、コードラボなど様々な施設が開設
ナイトパーティーの開催
6

7. 7

8. 8

9. Smart Compose
9
https://www.youtube.com/watch?v=ogfYd705cRsより引用

10. Google Duplex
10
https://ai.googleblog.com/2018/05/duplex-ai-system-for-natural-conversation.htmlより引用

11. 目次
1
2
3
ML/AIセッションの概要
11

12. ML/AIセッションの概要
セッショントピック一覧
• TPU3.0
• AllReduce型分散学習
1.モデルの学習
• TensorFlow Lite
2.モデルの圧縮
• TensorFlow.js
• ML Kit
• 機械学習講座
3.機械学習の
民主化
• データの変換・分析
• モデルの分析・管理
• サービング
4.機械学習処理
パイプライン
5.事例集
• 天文学とTensorFlow
• Magenta
• 心疾患リスク予測
12

13. ML/AIセッションの概要
ML/AIセッション数の変化
5
88
18
2017 2018
13

14. 目次
1
2
3 ML/AIを製品に組み込むために必要な製品・OSS・技術の紹介
14

15. ML/AIセッションの概要
セッショントピック一覧（再掲）
• TPU3.0
• AllReduce型分散学習
1.モデルの学習
• TensorFlow Lite
2.モデルの圧縮
• TensorFlow.js
• ML Kit
• 機械学習講座
3.機械学習の
民主化
• データの変換・分析
• モデルの分析・管理
• サービング
4.機械学習処理
パイプライン
5.事例集
• 天文学とTensorFlow
• Magenta
• 心疾患リスク予測
15

16. ML/AI技術を製品に組み込むために必要な製品・OSS・技術
セッショントピック一覧
• AllReduce型分散学習
1.モデルの学習 2.モデルの圧縮
3.機械学習の
民主化
4.機械学習処理
パイプライン
5.事例集
Distributed TensorFlow training
16

17. ML/AI技術を製品に組み込むために必要な製品・OSS・技術
同期型AllReduceによる勾配共有法
17
https://www.youtube.com/watch?v=bRMGoPqsn20より引用

18. 4.機械学習処理
パイプライン
5.事例集
ML/AI技術を製品に組み込むために必要な製品・OSS・技術
セッショントピック一覧
1.モデルの学習
• TensorFlow Lite
2.モデルの圧縮
3.機械学習の
民主化
TensorFlow Lite for mobile developers
18

19. TensorFlow Lite
for mobile developers
19https://www.youtube.com/watch?v=ByJnpbDd-zcより引用

20. 4.機械学習処理
パイプライン
5.事例集
モデルの学習 2.モデルの圧縮
• ML Kit
3.機械学習の
民主化
ML Kit: Machine Learning SDK for mobile developers
ML/AI技術を製品に組み込むために必要な製品・OSS・技術
セッショントピック一覧
20

21. ML/AI技術を製品に組み込むために必要な製品・OSS・技術
モバイル開発者向け機械学習ツール
学習済みモデルの提供
◦ テキスト認識・顔認識などの学習済みモデル
◦ モバイル内で再訓練可能
Dynamic feature modules
◦ アプリのアップデートをユーザが行う際に、変更のあった（必要な）モジュールのみ
をダウンロードし、ダウンロード容量を削減
機械学習モデルの更新
◦ 機械学習モジュールを分離しておけば、更新したモジュールのみをアップデート可能
◦ Firebaseと連携し、介入群にのみA/Bテストを容易に実行可能
21

22. 1.モデルの学習 2.モデルの圧縮
3.機械学習の
民主化
TensorFlow in production: TF Extended, TF Hub, and TF Serving
• データの変換・分析
• モデルの分析・管理
• サービング
4.機械学習処理
パイプライン
5.事例集
ML/AI技術を製品に組み込むために必要な製品・OSS・技術
セッショントピック一覧
22

23. ML
Core
Data
Collection
Configuration
Data
Verification
Monitoring
Feature Extraction
Analysis Tool
Process
Management
Tool
Machine
Resource
Management
Serving
Infrastructure
Sculley, D., et al. “Hidden technical debt in machine learning systems.” Advances in neural information processing systems. 2015. より作成
ML/AI技術を製品に組み込むために必要な製品・OSS・技術
TFXの挑戦:
MLを実環境へ適用する際の障壁
23

24. ML/AI技術を製品に組み込むために必要な製品・OSS・技術
TFXが解決する問題
24
データの分析 特徴量変換 モデルの学習 モデルの分析
モデル
サービング
TensorFlow/Transform TensorFlow/Model Analysis
TensorFlow/Servingfacets

25. 25
https://www.tensorflow.org/tfx/より引用

26. 26
Modules
ML/AI技術を製品に組み込むために必要な製品・OSS・技術
TensorFlow Hub
https://www.youtube.com/watch?v=CxUc5FJF_9wより引用
モデルが依存する要素
アルゴリズム データ 計算資源 ノウハウ

27. 27https://www.tensorflow.org/hub/modules/より引用様々なモジュールの公開

28. 28
ML/AI技術を製品に組み込むために必要な製品・OSS・技術
TensorFlow Hub
https://www.youtube.com/watch?v=CxUc5FJF_9wより引用
モデル作成者
ドメイン モデル名
モデルバージョン

29. 29論文の再現性を担保するために利用

30. 30
ML/AI技術を製品に組み込むために必要な製品・OSS・技術
TensorFlow Hub
https://www.youtube.com/watch?v=CxUc5FJF_9wより引用

31. Google I/O 2018に参加をして
1.機械学習アルゴリズムとその周辺システムのOSSに積極的
◦ ML KitやTFXなど機械学習の様々なステップが簡略化され、非機械学習エンジニア
が機械学習を容易にできる環境へ
◦ 特に、ML Kit、Firebase、TF Liteなどにより、iOS/Android開発者向けの機能が充
実
2.製品化につながる部品に注目
◦ 効率的に学習を行うための分散学習機能
◦ モデルを圧縮するTensorFlow Lite
◦ データの前処理、モデルの管理などを担当するTFX
◦ Android/iOS向けツールのML Kit
31

32. 質疑応答
32

33. 補足
33

34. ML/AIセッションの概要
ML/AIセッション一行要約
[Day1][モデルの学習] Effective machine learning using Cloud TPUs
◦ TPU3.0のリリース
[Day2][機械学習の民主化] Getting started with TensorFlow high-level APIs
◦ tf.keras、tf.data、Eager Executionで学ぶTensorFlow
[Day2] [機械学習の民主化] Building the future of artificial intelligence for everyone
◦ Human-Centric AI
[Day2] [機械学習の民主化] TensorFlow for JavaScript
◦ サーバサイドJSからTensorFlowを利用
[Day2] [機械学習の民主化] Introduction AIY: Do-it-yourself Artificial Intelligence
◦ 作って学ぶAI
[Day2][機械学習の民主化] ML Kit: Machine Learning SDK for mobile developers
◦ ML Kitを利用した、圧縮された学習済みモデルのモバイルへのデプロイ
34

35. ML/AIセッションの概要
ML/AIセッション一行要約
[Day2][機械学習周辺システム] TensorFlow in production: TF Extended, TF Hub, and TF Serving
◦ 機械学習を実プロダクトに適用する周辺システムについて
[Day3][モデルの圧縮] TensorFlow Lite for mobile developers
◦ モデル圧縮技術を利用したデバイスへの機械学習モデルのデプロイ
[Day3][機械学習の民主化] TensorFlow and deep reinforcement learning, without PhD
◦ 初学者向け強化学習講座
[Day3][機械学習の民主化] Opportunities, challenges, and strategies to develop AI for everyone
◦ 様々なステークホルダーが参加するAIプロジェクトの進め方
[Day3][事例集] Advanced in machine learning and TensorFlow
◦ 様々な分野で活用されるTensorFlow
[Day3][モデルの学習] Distributed TensorFlow training
◦ 同期型AllReduceによる勾配学習法のリリース
35