（修正）機械学習デザインパターン（ML Design Patterns）の解説
•
13 likes•11,121 views
鷲崎弘宜, "機械学習デザインパターン（ML Design Patterns）の解説", スマートエスイー ＆ JST未来社会 eAIセミナー: 機械学習デザインパターン, 2021年3月30日
Recommended
More Related Content
What's hot
What's hot (20)
Similar to （修正）機械学習デザインパターン（ML Design Patterns）の解説
Similar to （修正）機械学習デザインパターン（ML Design Patterns）の解説 (20)
More from Hironori Washizaki
More from Hironori Washizaki (20)
（修正）機械学習デザインパターン（ML Design Patterns）の解説
- 1. 機械学習デザインパターン （ML Design Patterns）の解説 鷲崎 弘宜 早稲田大学 / 国立情報学研究所 / システム情報 / エクスモーション 2021年 3月30日 v20210330-2 washizaki@waseda.jp http://www.washi.cs.waseda.ac.jp/ 1 スマートエスイー JST未来社会 eAI セミナー: 機械学習デザインパターン
- 2. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 2
- 3. 機械学習工学とパターン （ランゲージ） • 抽象と具象をつなぐ道具としての期待 • 文脈（Know-Why）、問題（What）、解決 （How）の言語化 • 問題・解決の再利用 • 非機能要求満足とアーキテクチャの一貫性 • 最初は設計、さらには要求やプロセスへ 3 ビジョン 事例 フレーム ワーク 作業 指示 ？ ？ ◼ 様々な関係者間の共通言語としての 期待 ◼ ソフトウェアエンジニア、機械学習エン ジニア・データサイエンティスト、ドメ インエキスパート・・・
- 4. 機械学習デザインパターン • Machine Learning Design Patterns (Valliappa Lakshmanan, Sara Robinson, Michael Munn (Google)) • https://www.oreilly.com/library/view/machine-learning- design/9781098115777 • Googleプラットフォーム上でのMLの使いこなしや設計 • SE Patterns for ML Applications • https://github.com/eai-transfer/ml-design-pattern • 系統的文献調査に基づきアーキテクチャや運用パターン 中心＋信頼性・説明性関係、eAI (Engineerable) としての 後者の拡充方向性 • Machine learning system design pattern (澁井雄介) • https://github.com/mercari/ml-system-design-pattern • 機械学習のモデルやワークフローを本番システムで稼働 させる作法 • Serving patterns, QA patterns, Training patterns, Operation patterns, Lifecycle patterns • 『AIエンジニアのための機械学習システムデザインパ ターン』（翔泳社, 2021予定） 4
- 5. Valliappa Lakshmanan, Sara Robinson, Michael Munn (Google), "Machine Learning Design Patterns: Solutions to Common Challenges in Data Preparation, Model Building, and Mlops", Oreilly & Associates Inc, 2020. • Googleプラットフォーム上でのMLの使いこなしや設計の30パター ン、個々にトレードオフや代替の考慮、コード例あり • https://www.oreilly.com/library/view/machine-learning- design/9781098115777/ • データ表現パターン（Data Representation） • 実世界の様々なデータから機械学習モデルが扱いやすいフィーチャへの 表現 • 問題表現パターン（Problem Representation） • 特定の問題の扱いや高性能化 • モデル訓練パターン（Model Training） • 訓練の繰り返し（ループ）の仕方 • レジリエントサービングパターン（Resilient Serving） • モデルをデプロイして人の関与なくしなやかに予測・稼働させ続ける • 再現性パターン（Reproducibility） • 決定的な出力を得やすく、訓練・開発効率を上げる • 責任のあるAIパターン（Responsible AI） • 様々な利害関係者へのモデルの影響 5
- 7. プロセス上のパターン整理 7 産業技術総合研究所サイバーフィジカルセキュリティ研究センター テクニカルレポート CPSEC-TR-2020001, 機械 学習品質マネジメントガイドライン, https://www.cpsec.aist.go.jp/achievements/aiqm/ 問題表現 データ表現 モデル訓練 問題表現 データ表現 モデル訓練 モデル訓練 サービング 再現性 再現性 責任あるAI 責任あるAI 再現性 責任あるAI サービング サービング 問題表現 データ表現
- 8. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 8
- 9. データ表現パターン 9 • 様々なデータから機械学習モデルが扱いやすいフィーチャへの表現 パターン 問題 解決 Hashed Feature カテゴリ変数についてとりうる 種類を特定困難。One-hot encodingではCold-Start問題。 ユニークな文字列としたうえで ハッシュ値に変換。 Embeddings One-hot encodingではデータの近 さを扱えない 意味的な近さを表すように特徴 の埋め込み。 Feature Cross もともとの変数群そのままでは 関係に基づく分類や予測が困難 複数のカテゴリ変数の組み合わ せで関係を容易に表現 Multimodal Input 異なる種別の入力を扱いにくい 特徴埋め込み・分散表現の結合 x1 × x2 ラベル AC ＋ BC － AD － BD ＋ A B C D フィーチャの掛け合わせ マルチ モーダル x1 x2
- 10. Hashed Feature • 問題: カテゴリ変数についてとりうる種類を特定困難。One-hot encodingで はout-of-vocabulary問題・Cold-Start問題。 • 解決: • 1. ユニークな文字列へ変換 • 2. 決定的な方法でハッシュ値に変換 • 3. ハッシュ値の設定バケット数（カテゴリ数）の剰余の採用 • 考慮: バケット衝突、他の集約フィーチャ併用、バケット数チューニング 10 One-hot encoding tf.feature_column.categorical_column_with_hash_bucket( airport, num_buckets, dtype=tf.dtypes.string ) Hashed Feature TensorFlowに おける実装
- 11. Embeddings • 問題: カテゴリ数が膨大な場合の難しさ（疎行列化）。One-hot encoding ではデータの近さを扱えない。 • 解決: 訓練可能な特徴埋め込みレイヤで意味的な近さを表すように小次 元のベクトル化、および、重みの訓練 • 考慮 • 経験則: 次元数 = 元のカテゴリ数の4乗根 • テキスト: 語単位の小次元ベクトル表現、平均をとるなどの集約。Word2Vecや BERTなどのさらなる意味・文脈考慮。 • 画像: 畳み込みCNN、オートエンコーダなど 11 訓練後のベクトル表現 オートエンコーダ
- 12. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 12
- 13. 問題表現パターン • 特定の問題の扱いや高性能化 13 パターン 問題 解決 Reframing 当初の目的変数や出力で限界 回帰から分類へ変更（逆も） Multilabel 出力層の活性化がsoftmaxで はマルチラベルの扱い困難 出力層の活性化にsigmoidを用いる Ensembles バイアス（偏り）とバリアン ス（分散）のトレードオフ アンサンブル学習: 学習不足時はブー スティング、過学習時はバギングほか Cascade 通常と特殊を同一モデルで扱 い困難 通常と特殊に分類のうえそれぞれに訓 練・予測し集約 Neutral Class データに主観評価を含むなど により任意・ランダム性 Yes, NoにMaybeを加えた分類とする Rebalancing データセットが不均衡 Accuracy以外評価、ダウンサンプリン グ、アップサンプリング、Reframing ブースティング バギング マルチラベルの扱い
- 14. Reframing • 問題: 確率的であるため、特に精緻な実数の予測に固執すると 当初の目的変数や出力形式では限界を生じる場合が有る（特 に分布上のピークが複数の場合）。 • 解決: 問題を捉えなおす。特に回帰から分類へ変更する。 • 考慮: • 数値が重要な場合は逆に回帰へ（例: 都市そのものより緯度・経度） • 分類への移行方法: 回帰結果による分類、マルチタスク学習 • 真に目的にかなうものか注意（例:おすすめ映画の種類からユーザのク リック数へと予測問題を変更すると、過剰にクリック数の増大方向） 14 分類が正確な場合 回帰が正確な場合
- 15. Cascade • 問題: 通常と特殊を同一モデルで扱い困難 • 解決: 通常と特殊に分類のうえ、それぞれに訓練したモデ ルで予測し、最後に集約 • 考慮 • 分類が決定的であれば、本来は入力を加えて単一モデル化すべき • Rebalancingできるのであればそうすべき 15 分類 通常時 の予測 特殊時 の予測 最終 評価
- 16. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 16
- 17. モデル訓練パターン • 訓練の繰り返し（ループ）の仕方 17 パターン 問題 解決 Useful Overfitting 物理シミュレーションのように 全入力を扱える 過学習で良い。実際にはモンテカルロ 法でサンプリングなど Checkpoints 複雑なモデルは訓練に時間を要 する 訓練モデル外の情報も含めて全ての状 態をエポック単位で保存・再開 Transfer Learning 非構造データ訓練に巨大データ 転移学習、ファインチューニング Distribution Strategy 深層学習モデルの訓練に長時間 並列化による分散学習 Hyperparam eter Tuning ハイパーパラメータ人手チュー ニングは長時間・不正確。グ リッドサーチでは非効率。 外側の最適化ループとしてのハイパー パラメータチューニング。ベイズ最適 化による効率的探索。
- 18. Transfer Learning • 問題: 非構造データ訓練に巨大データ必要。特にテキスト や画像では汎用のモデルで個別の問題を十分に扱えない。 • 解決: 同種データで訓練済みのモデルによる転移学習 • 考慮: 重みの変更是非 • フィーチャエクストラクション: 重みFix • ファインチューニング: 重みの更新 18 基準 データ セット タスク の同一 性 許容時 間・コ スト フィー チャエク ストラク ション 小 異なる タスク 少 ファイン チューニ ング 大 同一・ 類似タ スク 多 訓練済みモデル
- 19. Distribution Strategy • 問題: 深層学習モデルの訓練に長時間 • 解決: 訓練データの分割によるデータ並列化・分散学習 • 考慮 • 同期: ミニバッチとしての単位ごとに全ワーカで共有集約 • 非同期（Parameter-Server-Architecture）: 各ワーカは他による更 新を待つことなく学習、遅い計算機がある場合や通信が遅い場 合に有効 • モデル並列化: モデル全体がメモリに乗りきらない場合にモデル の分割 19 同期 非同期 モデル並列化
- 20. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 20
- 21. レジリエントサービングパターン • 訓練モデルをデプロイして人の関与なくしなやかに予測・稼働 21 パターン 問題 解決 Stateless Serving Function モデルの巨大化。訓練時と 稼働時の環境相違 モデルの中核のみエキスポート、ス テートレスREST APIとしてデプロイ Batch Serving 非同期の予測を数多く実施 困難 分散処理環境下で大量データによる 非同期予測 Continued Model Evaluation コンセプトドリフト、デー タドリフト 継続的なモデル評価・モニタリング と再訓練 Two-Phase Predictions エッジデバイス上の縮退さ れた訓練モデルの性能低下 単純なタスク用のモデルをエッジ、 複雑なものをクラウド上で稼働 Keyed Predictions 多数の入力データをスケー ラブルに扱えない 入力へキー付加、キー付きで出力す ることで分散環境下で容易な扱い Keyed Predictions
- 22. Continued Model Evaluation • 問題: モデルはデプロイした瞬間から劣化していく。背景にある 前提の変化に伴う入力と目標の関係の変化（コンセプトドリフ ト）、入力データからの予測時データの変化（データドリフト）。 • 解決: 継続的なモデル評価・モニタリングと再訓練 • 考慮 • 閾値による性能と訓練コストのトレードオフ • オフラインでの古いデータによる学習モデルの新データへの適用評価 22 閾値によ る変化 古い データ 最新 データ 学習モ デル 学習モ デル 流用 古いデー タによる 評価 最新デー タによる 評価 評価メトリクス比較
- 23. Two-Phase Predictions • 問題: エッジデバイスへデプロイする縮退訓練モデルの性能低下 • 解決: 単純なタスク用のモデルをエッジ（例: 「OK, Google」の識 別分類、複雑なものをクラウド上で稼働（例: 音声指示の認識） • 考慮 • 通信が貧弱な場合に備えてエッジデバイスで完結するオフラインモデル • センサデータを、エッジで異常判定時のみクラウドへ送信 • エッジデバイス側のモデルの定期的な更新 23
- 24. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 24
- 25. 再現性パターン • 決定的な出力を得やすく、訓練・開発効率を上げる 25 パターン 問題 解決 Transform 入力とフィーチャの異なり 変換・前処理で訓練・予測時一貫 Repeatable Splitting ランダムな訓練、検証、テスト用 分割では再現困難かつ関係なし 関係を用いたい変数をハッシュ化 し剰余によりデータ分割 Bridged Schema 入力データのスキーマが訓練後に 幾らか変更 古いデータを確率的な方法で新 データスキーマへ変換 Windowed Inference 単独の入力データで推論不十分 スライディングウィンドウで訓練 Workflow Pipeline 単一ファイルではスケールせず 各ステップを分けてサービス化 Feature Store アドホックなフィーチャエンジニ アリング プロジェクトやチームを超えた フィーチャ共有 Model Versioning モデル更新時の後方互換性困難 モデルバージョンを異なるエンド ポイント提供、比較 (cash, card) (cash, gift card, debit card, credit card) Transform Bridged Schema
- 26. Repeatable Splitting • 問題: ランダムな訓練、検証、テスト用分割では再現困難かつ関係なし • 解決: 関係を用いたい変数をハッシュ化し剰余により、その関係持った 形での訓練、検証、テスト用それぞれのデータ分割 • 考慮 • 時系列上の同様の分割（時間的連続性） • 非構造化データの場合: メタデータの利用、一律エンコードしてハッシュ化など 26 airline delay date airport AAA 1000 2020/6/14 NRT BBB 1100 2020/6/14 HND CCC 1200 2020/6/14 HND CCC 30 2020/6/15 NRT DDD 10 2020/6/16 LAX 単純な分割 dateに着目した分割
- 27. Feature Store • 問題: アドホックなフィーチャエンジニアリング • 解決: プロジェクトやチームを超えたフィーチャ共有 • 考慮 • ストリーミングデータの場合のフィーチャセット登録後の自動流し込み、変更 できること・できないこと • 訓練時と推論時にフィーチャが異なる場合の変換必要性 27 Feastを用いる例 https://feast.dev/
- 28. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 28
- 29. 責任のあるAIパターン • 様々な利害関係者へ のモデルの影響 29 パターン 問題 解決 Heuristic Benchmark 結果の良し悪 しの程度を意 思決定者へ説 明困難 過去との比較や 経験則に基づく 決め Explainable Predictions 予測の説明困 難 シンプルなモデ ル採用、予測結 果における説明 など Fairness Lens 不均衡データ に基づく異な る人々のグ ループに対す る問題のある バイアス （What-If toolや Fairness Indicatorsなどに よる）訓練前後 のデータセット の分析、結果比 較、均衡化など What-If Tool (WIT)による可視化例
- 30. Heuristic Benchmark • 問題: 結果の良し悪しの程度を意思決定者へ説明困難 • 解決: 過去との比較や経験則に基づく決め • 考慮 • （機械学習に限らず）業界標準やプラクティスがあればそれに従う • ときとしてエキスパートの知見 • モデルの改善の影響を利用価値（採用判断上の指標、例えば金銭的 価値、良い検索結果など）に翻訳して説明できることが望ましい 30 シナリオ例 経験上のベンチマーク例 タスク例 時系列の将来値 を予測する回帰 問題 • 永続的か、線形トレンドか。 • 季節性の考慮 • 年間データの場合、前年の同じ日/ 週/四半期と比較 週間の販売量 を予測 現在、人間の専 門家が解決して いる分類問題 人間の専門家のパフォーマンス 網膜スキャン から目の病気 を検出 ・・・ ・・・ ・・・
- 31. Explainable Predictions • 問題: 予測の説明困難 • 解決: シンプルなモデル採用、予測結果における説明など 31 原 聡, 私のブックマーク: 機械学習における解釈性, 人工知能 33(5), 2018 原 聡, 私のブックマーク: 説明可能AI, 人工知能 34(4), 2019 AI ・機械学習 グループ, アドバンス・トップエスイー 最先端ソフトウェアゼミ成果発表, 2019 https://www.topse.jp/images/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%BC%E3%83%9F.pdf 分類 概要 例 大域的説明 近似モデル 決定木（Born Again Trees） ルール（defragTrees） 局所的説明 根拠 特徴量（LIME） データ（influence） 深層学習モデル の説明 特に画像認 識モデルの 根拠 注目領域のハイライト（SmoothGrad） 説明文生成（Visual Explanations） 説明可能なモデ ル設計 説明可能モ デル シンプルなモデルの採用 ルールセット（Interpretable decision sets）
- 32. 32 大域的の例: defragTrees 深層学習モデルの説明例: SmoothGrad 説明可能モデルの例: Interpretable decision sets 局所的の例: LIME Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach, AISTATS 2018 “Why Should I Trust You?” Explaining the Predictions of Any Classifier, KDD 2016 Interpretable Decision Sets: A Joint Framework for Description and Prediction, KDD 2016 SmoothGrad: removing noise by adding noise, 2017 原 聡, 私のブックマーク: 機械学習における解釈性, 人工知能 33(5), 2018 原 聡, 私のブックマーク: 説明可能AI, 人工知能 34(4), 2019 AI ・機械学習 グループ, アドバンス・トップエスイー 最先端ソフトウェアゼミ成果発表, 2019 https://www.topse.jp/images/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%BC%E3%83%9F.pdf
- 33. 目次 • 機械学習デザインパターンの全体像 • データ表現パターン • 問題表現パターン • モデル訓練パターン • レジリエントサービングパターン • 再現性パターン • 責任のあるAIパターン • まとめ 33
- 34. まとめ • 機械学習モデルおよびシステムの設計のコツをまとめた 30のデザインパターン • 網羅的: データ表現、問題表現、モデル訓練、レジリエン トサービング、再現性、責任のあるAI • 実践的: 特にGoogleプラットフォーム上で有用、コード例 あり • 発展的: 個々に代替やトレーオフの考慮解説あり、パター ン間の関連あり 34 問題表現 データ表現 モデル訓練 問題表現 データ表現 モデル訓練 モデル訓練 サービング 再現性 再現性 責任・説明 責任・説明 再現性 責任・説明 サービング サービング 問題表現 データ表現 PoC 開発 運用(MLOps)
- 35. eAIおよびML Design Patternsの整理 Topology Programming Model operations レジリエ ント サービ ング 再現性 責任・説 明性 モデル 訓練 問題 表現 データ 表現 Hashed Feature Embeddings Feature Cross Multimodal Input Reframing Multilabel Ensembles Cascade Neutral Class Rebalancing Useful Overfitting Checkpoints Transfer Learning Distribution Strategy Stateless Serving Function Hyperparameter Tuning Batch Serving Continued Model Evaluation Keyed Predictions Windowed Inference Repeatable Splitting Transform Bridged Schema Two-Phase Predictions Feature Store Model Versioning Heuristic Benchmark Workflow Pipeline Fairness Lens Explainable Predictions Different Workloads in Different Computing Environments Distinguish Business Logic from ML Models ML Gateway Routing Architecture Microservice Architecture for ML Lambda Architecture Kappa Architecture Data Lake for ML Parameter- Server Abstraction Data flows up, Model flow down Secure Aggregation Separation of Concerns and Modularization of ML Components Discard PoC Code ML Versioning Encapsulate ML models within Rule-base Safeguards Deployable Canary Model 今後の拡充検討エリア
- 36. 参考: enPit-Proスマートエスイー https://smartse.jp • 文科省 社会人教育 enPiT-Pro AI・IoT×ビジネス • 正規履修 履修証明プログラム10科目120時間 • 2020年からオンライン中心の短期コース履修も実施中 • 一部JMOOCオンライン提供中、関連内容をセミナー 36 全国規模の14大学・ 研究所ネットワーク 26以上の企業・業界 団体(会員企業5000 超)・自治体との連携 + + クラウド センサ・IoT 人工 知能 ビッグ データ 生成 知識 抽出 革新 情報処理 アプリケーション ビジネス 価値 創造 題材・事例 教材・指導 受講生派遣・ 外部評価 進学・共同 研究接続 教材・指導 地区展開 スマートエスイー 通信・物理 協力校