MLOpsという言葉からは運用という印象を受けますが、MLOps製品の機能やMLOpsカンファレンスの発表内容をみると、印象とは異なります。本スライドではなぜMLOpsがバズワードなのか紹介します

1. Mobility Technologies Co., Ltd.
MLOpsはバズワード
株式会社 Mobility Technologies
渡部 徹太郎
2021/6/16
第8回 MLOps 勉強会 Tokyo (Online)

2. Mobility Technologies Co., Ltd.
自己紹介
2
ID ：fetaro
名前：渡部 徹太郎
学生：東京工業大学でデータベースと情報検索の研究
(@日本データベース学会)
職歴：
* 野村総合研究所(NRI)
- オンライントレードシステム基盤
- オープンソース技術部隊
* リクルートテクノロジーズ
- ビッグデータ分析基盤
* MobilityTechnologies
- データエンジニア
エディタ：emacs派→ InteliJ派
趣味：麻雀、自宅サーバ
著書
増版きまりました！

3. Mobility Technologies Co., Ltd.
Opsという言葉から受けるイメージは監視や改善
MLOpsという言葉
3
ML Ops
＝Machine Learning Operations
＝機械学習の運用
→「機械学習システムを本番化したあとの監視・改善」
のような印象を受ける

4. Mobility Technologies Co., Ltd.
アンケートを取ってみたが、本番化や監視・改善が一番多かった
MLOpsという言葉
4
https://twitter.com/fetarodc/status/1331412910778683392?s=20 https://twitter.com/fetarodc/status/1400329729413054467?s=20
では本番化や監視・改善がML Opsなのか？ → 実態は違う

5. Mobility Technologies Co., Ltd.
よく見るGoogleの「Hidden Technical Debt in Machine Learning Systems」の図
（機械学習システムの隠れた技術的負債）
機械学習システムでやることは多岐にわたる
5
https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf

6. Mobility Technologies Co., Ltd.
機械学習システムでやることは多岐にわたる
6
MLOpsの文脈で見聞きしたことがある要素
MLの本丸
説明
本番化
モデル開発
データ準備
生
成
収
集
正解
ラベル
付け
（アノテーシ
ョン）
特
徴
量
変
換
モデル推定 オンライン
推論機
デ
プ
ロ
イ
実験管理
バッチ
推論機
学習
データ
分散処理・ハードウェア（GPU）
特徴量
ストア
モデル
監視
精度監視
性能
評価
開発ツール
ノートブック
説明可能性
Explainability
データ
ドリフト監視
ハイパー
パラメータ
チューニング
前
処
理
パイプライン (ワークフロー管理)
バージョン管理 コンテナ管理
特徴量
ストア
分析ツール
デバッガ
MLOpsの文脈で見聞きしたことがある要素

7. Mobility Technologies Co., Ltd.
MLOpsとは、この図の全域または一部であり、明確な定義はない
この図にないものも今後MLOpsと呼ばれるかもしれない
MLOpsとは
7
MLOpsの文脈で見聞きしたことがある要素
MLの本丸
説明
本番化
モデル開発
データ準備
生
成
収
集
正解
ラベル
付け
（アノテーシ
ョン）
特
徴
量
変
換
モデル推定 オンライン
推論機
デ
プ
ロ
イ
実験管理
バッチ
推論機
学習
データ
分散処理・ハードウェア（GPU）
特徴量
ストア
モデル
監視
精度監視
性能
評価
開発ツール
ノートブック
説明可能性
Explainability
データ
ドリフト監視
ハイパー
パラメータ
チューニング
前
処
理
パイプライン (ワークフロー管理)
バージョン管理 コンテナ管理
特徴量
ストア
分析ツール
デバッガ

8. Mobility Technologies Co., Ltd.
ITベンダは自社製品にMLOpsの謳い文句をつけるが、カバー範囲がバラバラ
例えば Amazon SageMakerはかなり広い範囲をカバーしている
ITベンダにとってのMLOps
8
https://aws.amazon.com/jp/sagemaker/

9. Mobility Technologies Co., Ltd.
他にも広い範囲をカバーしているツールはある
（「エンドツーエンド」とよばれることもある）
 有名どころ
 AWS SageMaker
 Kubeflow ( Kubeflow Pipelines )
 TensorFlow Extended（TFX）
 その他
 GCP AI Platform, Azure AI, MLflow, DataRobot MLOps, ABEJA...
これらのツールによくある機能
 モデル推定、モデル管理、デプロイ、オンライン推論、バッチ推論
これらのツールでも珍しい機能
 アノテーション、 特徴量ストア、ハイパーパラメータチューニング、実験管理
ITベンダにとってのMLOps
9

10. Mobility Technologies Co., Ltd.
一部に特化するツールもある
MLOps Toysというページで多数紹介されている
 ７つの分類「データバージョニング」「学習オーケス
トレーション」「特徴量ストア」「実験管理」「モデ
ル提供」「モデル監視」「説明可能性」
例
 Aporia：データ監視
 Aim：ハイパーパラメータ管理、実験管理
 BentoML：デプロイ、監視
 Bodywork：kubenetesへのデプロイ
 Butterfree：特徴量ストア
ITベンダにとってのMLOps
10
https://mlops.toys/

11. Mobility Technologies Co., Ltd.
 2019年開催の「ML Ops NYC19」
 発表内容は多岐にわたっていた
 例
 Uber
 Tensorflow ExtendedではなくApache Sparkを採用してパイプラインを作った話
 https://www.youtube.com/watch?v=u2fs95L5BwI
 Netflix
 データサイエンティストに優しい機械学習フレームワーク「METAFLOW」
 紹介ブログ： https://lab.mo-t.com/blog/andonlabo-mlops-nyc19
 Walmart
 機械学習プロジェクトの実態と、「人」「技術」「プロセス」の３つにフォーカスしたベストプラ
クティス
MLOpsのカンファレンス
11
詳細はMoTのテックブログ参照
ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ

12. Mobility Technologies Co., Ltd.
 今まさに開催中の「MLOps World」
 相変わらずセッションの内容は多岐にわたる
MLOpsのカンファレンス
12
→Kubeflowの話
→Kubeflowの話
→データの監視の話
→監視やモデル説明可能性の話
→デプロイメントの話
→Pythonライブラリの話
https://mlopsworld.com/

13. Mobility Technologies Co., Ltd.
MLOpsという言葉から本番化や運用といったイメージを受けるが、実態は違う
MLOpsは、機械学習システムにおいて、
モデル推定以外のやることの全体または一部を表しており、
明確な定義はない
ITベンダの出すMLOps製品は、全体をカバーしているものもあれば、
一部に特化しているものもある
MLOpsカンファレンスの発表内容は、ツールから人材まで多岐にわたる
まとめ
13

14. Mobility Technologies Co., Ltd.
MLOpsといわれたら
「MLOpsのどの辺？」
と聞き返すようにしよう
まとめ
14

15. 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。
Mobility Technologies Co., Ltd.
15