Submit Search
Upload
機械学習システムのアーキテクチャアラカルト
•
49 likes
•
24,116 views
BrainPad Inc.
Follow
Developers summit2019用資料
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 53
Download now
Download to read offline
Recommended
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
BrainPad Inc.
機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計
Takahiro Kubo
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
Recommended
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
BrainPad Inc.
機械学習で泣かないためのコード設計
機械学習で泣かないためのコード設計
Takahiro Kubo
機械学習で泣かないためのコード設計 2018
機械学習で泣かないためのコード設計 2018
Takahiro Kubo
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
Ml system in_python
Ml system in_python
yusuke shibui
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
Deep Learning JP
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
MLOps入門
MLOps入門
Hiro Mura
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Yuya Unno
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
レコメンドアルゴリズムの基本と周辺知識と実装方法
レコメンドアルゴリズムの基本と周辺知識と実装方法
Takeshi Mikami
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
More Related Content
What's hot
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
Ml system in_python
Ml system in_python
yusuke shibui
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
mlm_kansai
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
Yusuke Uchida
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
cvpaper. challenge
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
Shota Imai
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
Deep Learning JP
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
Deep Learning Lab(ディープラーニング・ラボ)
MLOps入門
MLOps入門
Hiro Mura
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
Koichiro Mori
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Yuya Unno
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
不均衡データのクラス分類
不均衡データのクラス分類
Shintaro Fukushima
レコメンドアルゴリズムの基本と周辺知識と実装方法
レコメンドアルゴリズムの基本と周辺知識と実装方法
Takeshi Mikami
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
What's hot
(20)
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Ml system in_python
Ml system in_python
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
【メタサーベイ】基盤モデル / Foundation Models
【メタサーベイ】基盤モデル / Foundation Models
ChatGPT 人間のフィードバックから強化学習した対話AI
ChatGPT 人間のフィードバックから強化学習した対話AI
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
[DL輪読会]Wav2CLIP: Learning Robust Audio Representations From CLIP
BlackBox モデルの説明性・解釈性技術の実装
BlackBox モデルの説明性・解釈性技術の実装
MLOps入門
MLOps入門
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
backbone としての timm 入門
backbone としての timm 入門
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
不均衡データのクラス分類
不均衡データのクラス分類
レコメンドアルゴリズムの基本と周辺知識と実装方法
レコメンドアルゴリズムの基本と周辺知識と実装方法
Active Learning 入門
Active Learning 入門
AWSではじめるMLOps
AWSではじめるMLOps
Similar to 機械学習システムのアーキテクチャアラカルト
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
DataWorks Summit/Hadoop Summit
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Recruit Technologies
Qiita x Microsoft - 機械学習セミナー Microsoft AI Platform
Qiita x Microsoft - 機械学習セミナー Microsoft AI Platform
Daiyu Hatakeyama
【de:code 2020】 AutoML ではじめる機械学習の民主化
【de:code 2020】 AutoML ではじめる機械学習の民主化
日本マイクロソフト株式会社
[CTO Night & Day 2019] ML services: MLOps #ctonight
[CTO Night & Day 2019] ML services: MLOps #ctonight
Amazon Web Services Japan
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
Kamonohashi
Dlc ri
Dlc ri
Hirokuni Uchida
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
Takashi Okawa
機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ
Daiyu Hatakeyama
ファーストアカウンティング会社説明資料 for engineer 2022年7月版
ファーストアカウンティング会社説明資料 for engineer 2022年7月版
ファーストアカウンティング 採用担当
日本語データの活用までの道のり
日本語データの活用までの道のり
Hideto Masuoka
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoTビジネス共創ラボ
吉田★学習スタイルコーディネート★ラボイベント<学習スタイルコーディネート>
吉田★学習スタイルコーディネート★ラボイベント<学習スタイルコーディネート>
デジタル・ナレッジ はが弘明
【最小限の学習コスト】効率的なビッグデータ収集・連携とは?
【最小限の学習コスト】効率的なビッグデータ収集・連携とは?
株式会社クライム
巨大なサービスと膨大なデータを支えるプラットフォーム
巨大なサービスと膨大なデータを支えるプラットフォーム
Tetsutaro Watanabe
A16_VB でクラサバシステムの開発をしていた平凡なチームが、どのようにクラウドネイティブプロダクト開発にシフトしアジャイル開発を進めることができたのか...
A16_VB でクラサバシステムの開発をしていた平凡なチームが、どのようにクラウドネイティブプロダクト開発にシフトしアジャイル開発を進めることができたのか...
日本マイクロソフト株式会社
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Recruit Technologies
Oracle Data Minerハンズオンセミナー170927:③Business Analytics概要と事例
Oracle Data Minerハンズオンセミナー170927:③Business Analytics概要と事例
オラクルエンジニア通信
Similar to 機械学習システムのアーキテクチャアラカルト
(20)
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Qiita x Microsoft - 機械学習セミナー Microsoft AI Platform
Qiita x Microsoft - 機械学習セミナー Microsoft AI Platform
【de:code 2020】 AutoML ではじめる機械学習の民主化
【de:code 2020】 AutoML ではじめる機械学習の民主化
[CTO Night & Day 2019] ML services: MLOps #ctonight
[CTO Night & Day 2019] ML services: MLOps #ctonight
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
<インフラ管理者向け>チームでのAI開発を支援するAI開発プラットフォームKAMONOHASHI
Dlc ri
Dlc ri
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
20180627 - DEEP LEARNING LAB / Cognitive Services 最新情報 30 分でズバリ!
機械学習 - MNIST の次のステップ
機械学習 - MNIST の次のステップ
ファーストアカウンティング会社説明資料 for engineer 2022年7月版
ファーストアカウンティング会社説明資料 for engineer 2022年7月版
日本語データの活用までの道のり
日本語データの活用までの道のり
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
吉田★学習スタイルコーディネート★ラボイベント<学習スタイルコーディネート>
吉田★学習スタイルコーディネート★ラボイベント<学習スタイルコーディネート>
【最小限の学習コスト】効率的なビッグデータ収集・連携とは?
【最小限の学習コスト】効率的なビッグデータ収集・連携とは?
巨大なサービスと膨大なデータを支えるプラットフォーム
巨大なサービスと膨大なデータを支えるプラットフォーム
A16_VB でクラサバシステムの開発をしていた平凡なチームが、どのようにクラウドネイティブプロダクト開発にシフトしアジャイル開発を進めることができたのか...
A16_VB でクラサバシステムの開発をしていた平凡なチームが、どのようにクラウドネイティブプロダクト開発にシフトしアジャイル開発を進めることができたのか...
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Oracle Data Minerハンズオンセミナー170927:③Business Analytics概要と事例
Oracle Data Minerハンズオンセミナー170927:③Business Analytics概要と事例
More from BrainPad Inc.
Oss LT会_20210203
Oss LT会_20210203
BrainPad Inc.
Business utilization of real estate image classification system using deep le...
Business utilization of real estate image classification system using deep le...
BrainPad Inc.
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
れこめん道~とあるエンジニアの苦闘の日々
れこめん道~とあるエンジニアの苦闘の日々
BrainPad Inc.
DMPの分析機能を実現する技術
DMPの分析機能を実現する技術
BrainPad Inc.
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
BrainPad Inc.
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
BrainPad Inc.
Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-
BrainPad Inc.
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
BrainPad Inc.
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
BrainPad Inc.
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
BrainPad Inc.
実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)
BrainPad Inc.
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
BrainPad Inc.
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
BrainPad Inc.
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
BrainPad Inc.
エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年
BrainPad Inc.
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
BrainPad Inc.
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
BrainPad Inc.
Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料
BrainPad Inc.
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
BrainPad Inc.
More from BrainPad Inc.
(20)
Oss LT会_20210203
Oss LT会_20210203
Business utilization of real estate image classification system using deep le...
Business utilization of real estate image classification system using deep le...
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
れこめん道~とあるエンジニアの苦闘の日々
れこめん道~とあるエンジニアの苦闘の日々
DMPの分析機能を実現する技術
DMPの分析機能を実現する技術
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
DeltaCubeにおけるユニークユーザー集計高速化(実践編)
機械学習システムのアーキテクチャアラカルト
1.
株式会社ブレインパッド 2019年2月15日 @ デブサミ
2019 機械学習システムのアーキテクチャ アラカルト ~ BrainPad における実例を交えて~ 1
2.
太田 満久 ● Deputy
General Manager @ BrainPad Inc. ● Google Developers Expert (ML) ● Organizer of TensorFlow User Group. ● A Steering Committee of MLSE ● A Committee of JDLA
3.
4.
© BrainPad Inc. BrainPad:
最高の価値提供を可能にする3つの力 2004年の創業以来、ブレインパッドがデータ活用をお手伝いした企業は800社を超えま す。幅広い業界を対象として、豊富に積み上げられたナレッジを武器に、お客様の経営課 題を 解決に導きます。 ブレインパッドは、80名を超えるデータサイエンティスト集団を有します。この規模は国内随 一です。技術的な専門分野、得意とする顧客業界、豊富な分析経験など、様々な強みを 持つデータサイエンティストがお客様のニーズに合わせてチームを組成し、最高レベルのア ナリティクスサービスを提供します。 上記の2つの力を、最先端のテクノロジーを用いて、システムやソフトウェアなどの“形”にで きるのが、ブレインパッドが誇るエンジニア力です。その高い技術と先進性は、デジタルマー ケティング領域でのNo.1プロダクト「Rtoaster」を生み出したことでも証明されています。 創業以来、データ活用を支援した企業は 800社以上 80名を超えるデータサイエンティストは国内随一 DMP領域 No.1プロダクトで培ったエンジニアリング力
5.
© BrainPad Inc. 河川のコンクリート護岸を撮影した画像を深層学習で解析し、コンクリートのひび割れ などの劣化の有無を自動判定するアルゴリズムを構築 事例1:
コンクリート護岸の劣化検知
6.
© BrainPad Inc. 事例2:
広告運用の支援ツール(自社プロダクト)
7.
© BrainPad Inc. 機械学習を活用したシステムを多数構築 プライベートDMP 要員配置最適化 広告運用ソリューション 自然言語処理 不良品検知 ロボットアーム制御 物件の分類 他多数
8.
よく言われるとおり、 機械学習システムを開発して、 きちんと運用に乗せるのは大変ですし、 ベストプラクティスも多くありません。
9.
そこで、BrainPadの事例をもとに 機械学習システムを簡単に整理してみました。 何某かの参考になれば幸いです。
10.
© BrainPad Inc. 本講演で話すこと -
機械学習システムの大雑把な分類と実例 - 上記について、現場視点で学んだところや気づいたところ 本講演で話さないこと - 具体的な実装の話 - かっこいい話 期待値調整
11.
まず、機械学習システムの基本
12.
© BrainPad Inc. 典型的な機械学習システム:
推論と訓練 データソース ETL 前処理 推論 出力 前処理 訓練 生データ 訓練データ 訓練済モデル “特集 機械学習工学”, 情報処理 Vol.60 No.1 Jan.2019 をもとに作成 正解データ 推論パイプライン 訓練パイプライン ETLデータソース
13.
© BrainPad Inc. 典型的な機械学習システム:
推論フェーズ データソース ETL 前処理 推論 出力 前処理 訓練 生データ 訓練データ “特集 機械学習工学”, 情報処理 Vol.60 No.1 Jan.2019 をもとに作成 正解データ 推論パイプライン 訓練パイプライン ETLデータソース 推論フェーズ: 訓練済モデルを利用する (入力: データと訓練済モデル 出力: 推論結果) 訓練済モデル 訓練済モデルに よって、推論時 の挙動が決まる
14.
© BrainPad Inc. 典型的な機械学習システム:
訓練フェーズ データソース ETL 前処理 推論 出力 前処理 訓練 生データ 訓練データ 訓練済モデル “特集 機械学習工学”, 情報処理 Vol.60 No.1 Jan.2019 をもとに作成 正解データ 推論パイプライン 訓練パイプライン ETLデータソース 訓練フェーズ: データでシステムの挙動を定義する / データによるプログラミング (入力:データ 出力:訓練済モデル) 訓練済モデルに よって、推論時 の挙動が決まる
15.
機械学習システム特有の難しさは 訓練フェーズの存在にある
16.
訓練パイプラインを実装する必要はあるか?
17.
APIを利用する
18.
© BrainPad Inc. BrainPadの開発エンジニアが機械学習システムを構築する場合、以下の順番で検討 することが多い 1.
やりたいことに機械学習は本当に必要か? 2. 既成のAPI(訓練なし)で実現できないか? 3. 既成のAPI(訓練あり)で実現できないか? 4. 既成の訓練済モデルで実現できないか? 5. 独自のデータを使ってモデルを訓練する 機械学習はじめの一歩
19.
© BrainPad Inc. BrainPadの開発エンジニアが機械学習システムを構築する場合、以下の順番で検討 することが多い 1.
やりたいことに機械学習は本当に必要か? 2. 既成のAPI(訓練なし)で実現できないか? 3. 既成のAPI(訓練あり)で実現できないか? 4. 既成の訓練済モデルで実現できないか? 5. 独自のデータを使ってモデルを訓練する 機械学習はじめの一歩 「スゲー!」 とならないかもしれないけど、 とても重要
20.
© BrainPad Inc. BrainPadの開発エンジニアが機械学習システムを構築する場合、以下の順番で検討 することが多い 1.
やりたいことに機械学習は本当に必要か? 2. 既成のAPI(訓練なし)で実現できないか? 3. 既成のAPI(訓練あり)で実現できないか? 4. 既成の訓練済モデルで実現できないか? 5. 独自のデータを使ってモデルを訓練する 機械学習はじめの一歩 (BrainPadでは) 分析官が助けてくれる
21.
© BrainPad Inc. 1.
既成のAPI(訓練なし)を利用するパターン 既成の 機械学習API アプリ
22.
© BrainPad Inc. 機械学習のモデル構築は行わず、既成のAPIを利用する 1.
既成のAPI(訓練なし)を利用するパターン 既成の 機械学習API アプリ 内容 既成のAPIの機能をそのまま利用 して推論する 具体例 ● 顔認識 ● OCR ● ポジネガ判定 etc Pros ● 機械学習をブラックボックス として扱える ● 訓練データが不要 ● 構成がシンプル Cons ● 特定のタスクに限定される ● 用途によっては高額 ● ネットへの接続が必要
23.
© BrainPad Inc. BrainPadでは、本格的な解析をするための前処理に利用することが多い 前処理での利用例 既成の 機械学習API アプリ 既成の 機械学習API 顔の検出 ナンバープレート検出 独自で構築した 機械学習API フィルタリング モザイク処理 画像分類 ●
すべての前処理がルールベー スで記述できるとは限らない ● 前処理に機械学習を使おうとす ると、訓練データを集める必要 があり、厄介 ● 前処理は定型的な処理が多い
24.
FindYourCandy
25.
© BrainPad Inc. FindYourCandy
26.
© BrainPad Inc. FindYourCandy 機械学習API
27.
© BrainPad Inc. 2.
既成のAPI(訓練あり)を利用するパターン 内容 訓練データを用意して、 APIの訓 練機能を利用する 具体例 ● 部屋の種類の分類 ● Pros ● 独自のデータでモデルを訓 練できる ● モデルの詳細を知る必要が ない Cons ● 利用できるタスクが限定的 ● 用途によっては高額 ● ネットへの接続が必要 推論APIアプリ 訓練API 正解データ (前処理済)データ 訓練済モデル
28.
© BrainPad Inc. BrainPad社内で比較実験を実施 1.
機械学習エンジニアが1週間程度で構築した簡易的な画像分類モデル 2. 開発エンジニアが Cloud AutoML を利用して構築した画像分類モデル 機械学習エンジニアと同程度の精度のモデルを構築できることを確認 Cloud AutoML VS
29.
推論方法でわける データソース ETL 前処理
推論 出力 訓練済モデル 推論パイプライン
30.
© BrainPad Inc. 訓練済モデルを使って推論機能を提供する推論サーバーを設置 オンライン推論(シンプル) 推論 サーバー アプリ 訓練済モデル
31.
© BrainPad Inc. ロードバランサを挟むことで、訓練済モデルのA/Bテストやデプロイが容易に オンライン推論(ロードバランサ) 推論 サーバー アプリ 訓練済モデル2 推論 サーバー 訓練済モデル1 ロードバランサ
32.
© BrainPad Inc. データの前処理は、基本的に推論サーバーに含むように実装 補足:
データの前処理 推論 サーバー アプリ 訓練済モデル2 推論 サーバー 訓練済モデル1 ロードバランサ 前処理 前処理 ● モデルと前処理は密結合( 機 械学習は前処理が命 ) ● 前処理をアプリ側に持たせる と、インターフェースを共通化 できない
33.
© BrainPad Inc. バッチ推論 推論バッチ アプリ 推論結果 推論対象 訓練済モデル
34.
© BrainPad Inc. バッチ推論 推論バッチ アプリ 推論結果 推論対象 訓練済 モデル 内容 推論をバッチ処理で行う 具体例 ●
多数の画像へのタグ付与 ● レコメンデーション Pros ● 複雑な前処理や複雑なモデ ルを使うことができる ● 実装がシンプル ● 非機能要件が比較的ゆるい Cons ● 推論対象が予め決まってい る必要がある ● 直近のデータを使えない
35.
© BrainPad Inc. バッチ推論 推論バッチ アプリ 推論結果 推論対象 訓練済 モデル 内容 推論をバッチ処理で行う 具体例 ●
多数の画像へのタグ付与 ● レコメンデーション Pros ● 複雑な前処理や複雑なモデ ルを使うことができる ● 実装がシンプル ● 非機能要件が比較的ゆるい Cons ● 推論対象が予め決まってい る必要がある ● 直近のデータを使えない モデルの設計をデータサイエンティ ストが行う場合、特に重要
36.
© BrainPad Inc. プライベートDMP:
Rtoaster
37.
© BrainPad Inc. プライベートDMP:
Rtoaster Conomi バッチ推論なので、Rtoasterの 速度要件が厳しくても高度なア ルゴリズムを利用可能
38.
訓練方法でわける 前処理 訓練 生データ 訓練データ
訓練済モデル 正解データ 訓練パイプライン ETLデータソース
39.
© BrainPad Inc. 1.
既成のAPIや訓練済モデルを利用するので、訓練は不要 2. PoCで構築した訓練済モデルを利用するので、訓練のシステム化は不要 3. 定期的に訓練しなおすので、モデルの訓練と更新の仕組みが必要 訓練の頻度
40.
© BrainPad Inc. 1.
既成のAPIや訓練済モデルを利用するので、訓練は不要 2. PoCで構築した訓練済モデルを利用するので、訓練のシステム化は不要 3. 定期的に訓練しなおすので、モデルの訓練と更新の仕組みが必要 訓練の頻度 不必要な訓練フェーズのシステム化は避ける
41.
© BrainPad Inc. モデルの訓練機能は実装せずに、更新もアドホックに実施 PoCで構築した訓練済モデルを利用し続けるパターン 推論サーバーアプリ 監視 モデル構築 訓練済モデル デプロイ ログ
/ 訓練データ
42.
© BrainPad Inc. PoCで構築した訓練済モデルを利用するパターン 推論サーバーアプリ 監視 モデル構築 訓練済モデル デプロイ 内容 ●
モデルの自動更新はしない ● 人が精度を監視して、モデ ルの更新の必要性を判断 具体例 ● 音声認識 ● 賃貸物件の分類 etc Pros ● (システムについては)実装 がシンプル Cons ● 新しい商品やユーザーなど に対応できない ● モデルのデプロイの効率化 をさぼりがち ● 精度の監視は必要
43.
© BrainPad Inc. 「いい部屋ネット」への物件登録作業を深層学習で補助。月間3000時間の工数削減 大東建託(PoCのモデルで十分な例)
44.
© BrainPad Inc. トイレはトイレ、居間は居間。今のトイレと1年後のトイレに、そんなに差はないハズ。居 間もキッチンも同じ。であれば、モデルを更新する必要はない。 トイレはトイレ、居間は居間 一年後に画期的ななにかが起こってト イレに関する常識が一変したりしない 限り、既存のモデルを使い続けられる
45.
© BrainPad Inc. 新しい商品が次々と出てくるなど、データの傾向や対象範囲が変わるようなものについ ては、1つのモデルを使い続けることはできない。 PoCのモデルで十分ではない例 例えば、フリマアプリの画像分類機 能の場合、新しいカテゴリや商品が 次々と出てくるので、古いモデルを 使い続けることはできない。
46.
© BrainPad Inc. 精度を監視するには、入力データと正解データと推論結果が必要。 特に正解データについて、どのように入手するか、サービスの設計時にきちんと考えて おく必要がある。 正解データの入手方法の例 1.
ユーザーに推論結果を訂正してもらえるように設計する 2. 専門のアノテーターを用意する 3. (厳密には正解データではないが)レコメンドにおけるクリック率やコンバー ジョン率のように、自動的に収集可能な指標を作っておく 補足: 精度の監視 データの傾向が変わっているからこそモデルの更新が必要なので、古 いテストデータだけに頼るのは NG
47.
© BrainPad Inc. 定期的にモデルを更新するパターン 推論サーバーアプリ 監視 モデルを更新 ログ
/ 訓練データ 訓練バッチ 正解データを自動的に 収集できることが前提
48.
© BrainPad Inc. 定期的にモデルを更新するパターン 推論 サーバー アプリ 監視 ログ
/ 訓練データ 訓練バッチ 内容 ● 定期的にモデルを自動更新 する。 ● 人が精度を監視 具体例 ● レコメンドエンジン ● フリマ商品の画像分類 ● etc Pros ● データの変化に対応できる ● かっこいい(MLOpsっぽい) Cons ● システムが複雑になりがち ● モデルの評価が大事。評価 指標の設計が間違っている と、諸々見誤る
49.
推論をクラウドで実施できない場合
50.
© BrainPad Inc. 製造ラインに流れる食品を撮影した動画から、不良品を検出する。 レイテンシ等の理由から、推論をクラウドで行うことはできない。 食品工場における不良品検知(キユーピー株式会社様)
51.
© BrainPad Inc. 推論をクラウドで実施できない場合 推論サーバーアプリ 監視ログ
/ 訓練データ 訓練バッチ アップロード 訓練済モデル 配布 更新スクリプト ※ キユーピー様の事例ではありません
52.
© BrainPad Inc. BrainPadの事例をもとに 機械学習システムを簡単に整理してみました。 何某かの参考になれば幸いです まとめ
53.
ご清聴ありがとうございました。
Download now