Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Amazon SageMaker: 機械学習の民主化から工業化へ
Toshihiko.Yamakami@access-company.com
山上俊彦
技術戦略室, ACCESS
2019/02
山上俊彦 (ACCESS Confidential) Amazon SageMaker: 機械学習の民主化から工業化へ 2019/02 1 / 23

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
機械学習の
民主化から工業化へ
誰でも使える
　驚異のツール
　進化を軽く語る

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
AI の構造
人工知能
機械学習
深層学習
深層学習では深層ニューラルネットワークが 2012 年以来、人間並みの
画像認識を実現して脚光

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
概念図
j
W
…

R…

z
N
…
:

… …
入力層隠れ層出力層正解
ずれを調整
入力を n 個とし、出力が m 個 (m n) とすれば、n 元連立方程式
隠れ層があればどんな問題も解けることは 1980 年代に証明済
連立方程式なので基本的には方程式解析（最急降下法）の応用

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
原理は進歩しないが環境が進歩した
原理が進歩しないのにブレークスルーした 3 要素
データが増えた。データ収集能力が増え、サンプル数水増し技術も
発達
計算能力が増えた。クラウドと GPU の発達
過学習抑制技術の進歩
環境を使いこなす能力が必要になった
かつて Adobe Photoshop が出たときに画像処理系の修士論文発表会
で「それ、Photoshop でできるのにどこが研究なんですか」と言わ
れたのと同じ
伝統的機械学習技術者は環境エンジニアに淘汰される傾向

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
AI（機械学習）の民主化、そして工業化へ
2016 年に東大の松尾豊教授が「深層学習なんてクリックができれば誰で
もできますよ」
当時は無理だと思ったが、今は冗談でもなくなってきた
【高機能なツールが続々登場】
Google Colaboratory
Jupyter Notebook がそのまま動く
無料で GPU が動く
機械学習の民主化
- Amazon SageMaker
ビルトイン学習アルゴリズム豊富
推論が完全分割でデプロイ容易
今回はこちらが題材
機械学習の工業化

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
深層学習の本質
?
ビジネス課題- データ収集 - データの
加工整形
- データの
分析・可視化
- 機械学習 - アプリケー
ション
-
SageMaker が支援

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
環境の進化は止まらない
仮想化による
ホスティング

R
高度な機械学習
オートメーション環境
DepOps による
開発のソフトウェア化
Game Tech: 領域特化
クラウド駆動支援環境
R


.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
機械学習の中のサイクル
?
開発 - 学習 - 推論
機械学習とは関係ない
デプロイ、メンテン中心
順次実行は非効率学習用だとコスパ悪い率
機械学習のループを高速回すための分離・連携
開発
-
学習
-
推論
Jupyter Notebook
コンソールから起動
主要ライブラリ
　プリインストール
docker コンテナ
SageMaker API
　から起動
複数ジョブ、分散学習
docker コンテナ
SageMaker API
　から起動
オートスケーリング
A/B テスト

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
機械学習を容易化するための仕掛け
選択できる 3 つの学習方法
ビルトイン
アルゴリズム
Tensorflow/Chainer/
PyTorch/
MXNet を使う
自前コード
学習データのみ
転移学習可能学習データと
学習アルゴリズム
学習データと
学習コードのコンテナ
SageMaker のビルトインアルゴリズム
Liner Learner, Factorization Machines, XGBoost, Image
Classification[ResNet], seq2seq, K-Means, k-NN, PCA, LDA, Nural
Topic Model, DeepAR Forecasting, BlazingText(word2vec), Random
Cut Forest, Object Detection[SSD]
Image Classification(ResNet), Object Detection(SSD) は ImageNet パ
ラメータを転移学習可能

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
機械学習オートメーションのための仕掛け
項目概要
StepFunctions
による学習モデ
ル更新の自動化
CreateTrainingJob, CreateModel, CreateEndpointConfig,
CreateEndPoint/UpdateEndpoint (+Greengrass への SNS
への状態通知)
前工程データ加
工の支援
Glue による学習用入力データの作成　 (+ Glue による
データのスキーマ管理, RDS によるメタデータ管理)
アドホックな前
処理やデータ抽
出を支援
Glue による ETL(Extraction, Translation, Load)。Athena(サ
ーバレスクエリ) のクエリで CTAS を活用することで簡
単な前処理は Athena のみで完結。
複数のモデル学
習時の精度評価
CreateTrainingJob を並列実行、CloudWatchLogs で学習
ジョブのログを取得、Lambda でモデル制度を習得して
DB に書き込み、RDS からリーダーボード QuickSight で
モデル比較
モデルリソース
管理
データは S3 で、メタデータは RDS で、ECR でコンテナ
イメージの ID とコンテナイメージビルドの Dockerfile
を管理、CodeCommit でスクリプトを管理（データは消
さずに新しいデータを追加するだけ）、既存データのバ
ージョンを GitLFS や DVC で管理。

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
機械学習の中流ブラックボックス化が進行の実例
「仕事での物体認識は Google の API 呼ぶだけ。つまらないのでアフター
5 に論文読んで自分で機械学習して遊んでいる」（某拡張現実企業の社
員の人工知能のユーザ会での発言)
上流のビジネス・
データ解析の
ニーズは拡大
中流の機械
学習開発はブラック
ボックス化
下流の推論
インテグレーションの
ニーズも拡大
ハイパーパラメータ
調整含めオートメ化
自動化進むも
現実接点の課題も増大

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
現実との連携 (インテグレーション技術が重要に)
Amazon API
Gateway で
Web API 受付
-
Amazon Lambda で
サーバーレス
コンピューティング
-
SageMaker の
推論エンドポイントで
モデルを実行
ブラウザからなら
Javascript で叩く
インフラ管理不要スケーリング自在
推論だけ SageMaker も可
estimator.deploy() 一発
【機械学習における技術の重心の移動】
ネットワーク
インテグレーション
- 機械学習
インテグレーション
1990 年代後半
標準化、技術要素発散
構成接続技術の重要性
2020 年代
同じことが機械学習にも

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
SageMaker の効果
Amazon のクラウドサービスを駆使して
前処理の充実
クラウド学習モデル一括管理によるオンプレ、クラウドのハイブリ
ッド実行可能
デプロイ、オートスケール、セキュリティ管理などの一括・自動
化・簡便化
IoT などからの大量データ収集を効率的に管理、オートスケール
Spark などの OSS で巨大データ基盤を作ることも可能
SageMaker の機能により
学習と推論の分離による運用効率向上
強力なビルトインアルゴリズム、転移学習による学習の容易化
強力なフレームワーク支援による学習効率向上
コンテナ化による分散、スケーリングの容易化
ベイズ推論、A/B テストによる試行錯誤のオートメーション
機械学習オートメーションの容易化

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
スキルの転換
項目概要
クラウド技術へシ
フト
継続的な現実データ入力により機械学習のオープ
ンループを回すオートメーション技術が重要
人工知能は表層的
な理解でも OK
過学習を防ぐためにドロップ率等は hyperparame-
ters で指定
イメージ分類は ResNet のパラメータを使って転移
学習すればいい
ハイパーパラメータのチューニングはベイズ推論
アンサンブル学習は xGBoost で行う

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
機械学習の民主化から工業化へ
データを S3 にいれ、SageMaker の CreateTrainingJob API で学習
分散学習対応コードでインスタンス数を 2 以上にすれば自動で分
散学習
hyperparameters で引き渡すパラメータに関してはベイズ最適化に
よるパラメータの御自動チューニング可能
分散学習もリーダーボード QuickSight で可視化
最適化対象のメトリクスも自由に指定可能
学習アルゴリズムもビルトイン
推論時のエンドポイント設定も簡単
推論時のオートスケーリングも簡単
今までの労苦はなんだったのか。。。
データの前処理、検証は変わらず必要
【ツールの進化で進む機械学習産業革命】
機械学習研究者主権データサイエンス・
インテグレータへ重心移動
家内制手工業 - オート—メーション

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
機械学習の覇者としての Amazon
【機械学習の覇者は Amazon へ】
クラウドは計算資源
クラウドはメタ資源＋ API 駆動
・AI の CI (Continuous Integration) 化は進む
・ヒューマンレスエコノミーへ向かう流れ
機械学習 + クラウド - 機械学習クラウド
U
K
ML の民主化を進める Amazon
次の十年に挑むは「AI 企業クラウド企業」仮説

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
参考: SageMaker 周辺で出てくる単語の一部
単語説明
Anaconda Python でデータ分析や機械学習 (AI) を実装するために必要なライブラリを
一緒に導入できるディストリビューション「Anaconda」
CircleCI 継続的インテグレーション (デリバリー) サービス。ソフトウェア開発プロセ
スを自動化する。
Docker 　コンテナフレームワーク。コンテナとは VM より軽量な OS 仮想化技術。
ECR Amazon Elastic Container Registry。完全マネージド型の Docker コンテナレ
ジストリ
Lambda AWS のサービス。サーバーレスコンピューティングを実現する。Java、Node.js、
C#、Python のプログラミング言語に対応。
Spark オープンソースのクラスタコンピューティングフレームワーク
ETL AWS のサービス。抽出、変換、ロードを行う。
Athena AWS のサービス。サーバレスでクエリーを行う。
CodeCommit AWS のサービス。スケーラブルなプライベート Git リポジトリをセキュアに
ホストする。
Git LFS (Large File Storage) Git で巨大ファイルを扱うための拡張機能
dvc (datascience version control) データサイエンスバージョンコントロール。オ
ープンソースのツール。
Quicksight Amazon のクラウド駆動のビジネスインテリジェンスサービス。ブラウザや
モバイルデバイスからアクセス可能なインタラクティブなダッシュボードを
作成。

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
参考文献 I
Amazon SageMaker 紹介ハンズオン（2018/07/25 実施）
https://www.slideshare.net/AmazonWebServicesJapan/amazon-sagemaker-
20180725 (2018 年)
SageMaker と xGBoost で機械学習の全体像をつかむ
https://qiita.com/suzukihi724/items/3792f395fb22cf7fb311 (2019 年 1 月)
Amazon SageMaker を中心とした持続的な ML システム
https://www.slideshare.net/AmazonWebServicesJapan/
amazon-sagemaker-ml (2018 年)
20180512 AWS SageMaker を初めて使うガイド　
https://www.slideshare.net/understeer/20180512-aws-sagemaker (2018 年)
Amazon SageMaker 推論エンドポイントを利用したアプリケーション開
発　 https://www.slideshare.net/AmazonWebServicesJapan/
amazon-sagemaker-122749918 (2018 年)

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
参考文献 II
Amazon SageMaker でゼロからはじめる機械学習入門
https://www.slideshare.net/__john_smith__/
Amazon SageMaker で始める機械学習
https://www.slideshare.net/AmazonWebServicesJapan/
Amazon SageMaker – 機械学習を加速する
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker/

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
SageMaker 周辺関連用語に関する参考文献 I
Apache Spark で分散処理入門
https://qiita.com/Hiroki11x/items/4f5129094da4c91955bc (2018 年 11 月)
【AWS】初めての ECR
https://qiita.com/3utama/items/b19e2239edb6996a735f (2019 年 1 月)
Amazon EC2 Container Registry（Docker レジストリ）| AWS
https://aws.amazon.com/jp/ecr/
Apache Spark - ウィキペディア
https://ja.wikipedia.org/wiki/Apache_Spark
CircleCI で出来るコト
https://qiita.com/noboru_i/items/7d300eb63ae667bf8dc2 (2016 年 12 月)
AWS 初心者入門第 7 回〜「Lambda」ってなにがスゴイんですか？　
https://www.bit-drive.ne.jp/managed-cloud/column/column_14.html (2018
年)

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
SageMaker 周辺関連用語に関する参考文献 II
AWS Glue シンプルかつ柔軟で、費用対効果の高い ETL
https://aws.amazon.com/jp/glue/
Amazon Athena 即時にデータのクエリを実行。数秒で結果取得。料金は
実行したクエリに対してのみ。https://aws.amazon.com/jp/athena/
AWS CodeCommit 高度にスケーラブルなプライベート Git リポジトリを
セキュアにホスト。コードでコラボレーション。
https://aws.amazon.com/jp/codecommit/
Git LFS で大きめのバイナリファイルも Git で管理する
https://qiita.com/msh5/items/582c086311d3630563bc (2018 年)
dvc – あなたのデータサイエンスプロジェクトを再現できるように整理
してください https://githubja.com/iterative/dvc (2018 年)
Amazon QuickSight 　 (高速のビジネスインテリジェンス)
https://aws.amazon.com/jp/quicksight/
【図解】Docker の全体像を理解する -前編-
https://qiita.com/kotaro-dr/items/b1024c7d200a75b992fc (2019 年)

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
その他の参考文献
サルでもわかるディープラーニング入門
https://www.slideshare.net/ToshihikoYamakami/2017-71233526 (2017 年)
Amazon Game Tech 　 https://aws.amazon.com/jp/gametech/

Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)

Recommended

Recommended

More Related Content

Similar to Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)

Similar to Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese) (20)

More from Toshihiko Yamakami

More from Toshihiko Yamakami (20)

Amazon SageMaker: 機械学習の民主化から工業化へ(in Japanese)