MANABIYA Machine Learning Hands-On
•
9 likes•4,638 views
2018年3月23日に開催されたイベント「MANABIYA」で実施した「本気で機械学習あやる人のためのハンズオン ～教師データ作成から学習・性能評価まで～」で用いた資料です。機械学習プロジェクトがどのようなものかが分かる内容になっています。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to MANABIYA Machine Learning Hands-On
Similar to MANABIYA Machine Learning Hands-On (20)
More from 陽平 山口
More from 陽平 山口 (19)
Recently uploaded
Recently uploaded (9)
MANABIYA Machine Learning Hands-On
- 1. 本 気 で 機 械 学 習 や る 人 の た め の ハ ン ズ オ ン 来栖川電算 取締役 山口陽平MANABIYA 2017.6.19
- 2. 今日話すこと 1. はじめに 2. 機械学習 3. 機械学習プロジェクト 4. 具体例から学ぶＸＸＸ 5. 研究開環境 6. ハンズオン 2
- 4. 山 口 陽 平 @melleo1978 • 所属 ＆ 経歴 – 有限会社 来栖川電算 取締役 – 名古屋工業大学大学院 博士前期課程修了 – IPA未踏ソフトウェア創造事業 採択 – Mashup Awards 9 優秀賞受賞 • 自己紹介 企画から実装まで全部やる人 – AI技術 & アルゴリズム の研究開発 • 文字認識，物体認識，動作認識，行動認識 – 言語処理系 の研究開発 • 分散DB，仮想機械，コンパイラ • 好きなサービス AWS Lambda ※実物に髪の毛はありません。 4
- 5. 山 口 陽 平 @melleo1978 • ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い 方や実装例 – SIFTなどの各種 アルゴリズムや 特定物体認識の しくみ – 精度改善への取 り組み方
- 6. 来栖川電算 設立 2003年（名古屋工業大学発ベンチャー） 従業員 45人 • SF世界の技術を実現し、社会に役立てる – AI技術のライセンス販売・研究・SI • 類似検索，物体認識，動作認識，文字認識，… – スマホアプリの企画・制作・運営 メイドさん もふくめて 6 走行データ解析 周辺環境を認識し、様々な解析に活用 動作推定API 加速度センサで人の行動を推定 車両メーカー様 NTTドコモ様
- 8. テクノロジー企業 様々なアルゴリズムを駆使する技術者集団 • 様々な AI 技術 – 類似検索，物体認識，動作認識，文字認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベース・仮想 機械などのアルゴリズムとバイナリハック • 高速化，並列化，分散化，省空間化，高精度化 • ビジネスを差別化する認識エコシステム – スケールに応じた仕組，競争力の自動強化 8
- 12. 『FP in Scala』読書会 @名古屋 http://fp-in-scala-nagoya.connpass.com/ 12
- 14. 機械学習 ざっくり紹介 14
- 15. 機械学習 人間の学習能力や推論能力を機械に模倣させる手法 • 学習 – 与えられた現象を説明できる法則を得ること • 推論 – 法則に従って与えられた現象を説明すること 15 現象 既知のデータ 法則 モデル 現象 未知のデータ 学習 推論 モデル ＝ プログラム ＋ パラメータ 例：数式，論理式，ホーン節，決定木，オートマトン，確率分布，…
- 16. プログラマ視点 機械学習 ＝ 自動プログラミングの一種 • 仕様（法則）が不明でも適用可能 – 具体的なデータ（現象）で仕様を雑に規定 • 不正確な推論 – データの網羅性・正確性に依存 16 現象 既知のデータ 法則 モデル 現象 未知のデータ 学習 推論 伝統的手法：モデルを直接記述 機械学習：データでモデルを間接記述
- 19. 構成要素 機械学習プロジェクトにはデータが必要 1. タスク設計 重要度：40% • サービスのデータフローから機械学習を適用す る機能の決定，入出力・要求性能の明確化 2. データ収集・アノテーション 重要度：40% • ツール・ルールの整備・明確化，質と量の調整 3. アルゴリズム実装 重要度：10% • パイプライン（学習・推論）の実装・調整 4. サービス運営 重要度：10% • ギャップ・想定外の事態の把握・対応 19
- 21. 体制 データ入力 から アプリ開発 までワンストップ 21
- 24. 毎朝体操 いつでも、どこでも、すぐできる • Android & iPhone ⇒ http://maiasa.jp/ 24
- 25. 体操採点 スマホ を持って体操 ⇒ 腕の動きを採点 • 健康体操 – ラジオ体操第１・第２ – アクティブ体操®partⅡ • ご当地キャラ体操 – くまモン体操 ※近日追加予定 25
- 26. トロフィー 様々な条件で体操するともらえる • 習慣化のための動機付け – 目標が体操の繰り返し（単調 な作業）にメリハリ（進捗と 達成）をつけ、様々な条件や 難易度が長期にわたる楽しみ となる。 – トロフィーの獲得具合がライ バルとの話のネタとなる。 – 振り返ると充足感が生まれる。 26
- 27. ランキング 体操のスコアを競い合う「アツい」イベント • 習慣化のための動機付け & 宣伝 – イベント，製品，特産品，観光資源，… 27 2015年 7月～ 参加 主催 メーカー企業 イベント企業 教育機関 福祉施設 地方自治体
- 31. 機器の制約 できるだけ多くの人に遊んでもらいたい • 使える機器 ○ スマホ・ウォッチ ※機器を統一できないが、既に所有している人は多い。 × 指定のBLEデバイス ※機器を統一できるが、買わせる必要がある。 • 使えるセンサ ○ 加速度センサ ○ 次のスライドで紹介する厄介な問題があるが、ほぼす べてのスマホ・ウォッチに搭載されている。 × ジャイロセンサ ※加速度センサと組み合わせると高度な解析ができるが、 2003年当時は半数にしか搭載されていなかった。 31
- 32. センサの制約 腕の軌道を復元できるほどではない • 仕様のばらつき – 低い解像度 – 狭い値域：±2G – 低い周波数：8Hz • 厄介な仕様・バグ – ノイズ：インパルスがやたらはいる。 – バグ：正の最大値を超えると負になる。 – 余計なお世話：省電力モードではとれない。 ※パッチがあっても更新できないユーザがいる。 32
- 33. 遊び方の制約 個人差により全く異なるセンサ値になる • 装着の個人差 – 左右の手（真っ直ぐ・斜め），手首，上腕 ※気分や状況で変わる。ユーザは面倒な入力を嫌う ため、どこにどうやって装着したかを正確に知る ことは難しい。 • 動作の個人差 – 鏡，間接の位置・角度，振りの強さ・テンポ ※気分や状況で変わる。そもそも、うろ覚えなこと も多い。繰り返しているうちに上手になる。 33
- 34. ひねりだした方式 ビッグデータ × 頑健なアルゴリズム × 軽量な実装 • 分類タスクへの還元（頑健なアルゴリズム） – 腕の軌道のズレが分かるほどのセンサではな いが、腕の動きの種類なら分かりそう。 • 網羅的なデータ収集（ビッグデータ） – 個人差により全く異なるデータになる上、影 響を受けない分析方法がなさそう（データが多 様体を形成 ⇒ 部分空間ごとに異なる法則に支配）。 • リアルタイム採点（軽量な実装） – 待たせることなく採点できれば良さそう。 34
- 35. 分類タスクへの還元 時刻ごとに定められた腕の動きと一致するか？ • スコア ＝ 腕の動きの一致率 35
- 36. 網羅的なデータ収集 音楽に合わせて体操 ⇒ ユーザによる教師作成 • 教師データ ＝ 音楽の再生開始からの秒数 – 継続している人のデータを信用 – 一見してダメなデータを除外 36 これだけやっても かなりノイジー
- 37. リアルタイム採点 体操中にスマホ内の計算資源だけで並行採点 • 効果 – 体操中に並行採点 ⇒ 快適なユーザ体験 – サーバレス採点 ⇒ 運営費の節約 • ※高速で省メモリな実装が必要 – 網羅的なデータで集団学習することで、機械 的に生成された軽量特徴の組み合わせを獲得 – 様々な索引や近似による効率化 – OS・CPUアーキテクチャごとの最適化 37
- 40. 手法の変更 膨大な軽量特徴 × 集団学習 ⇒ 深層学習（DNN） • 旧手法の複雑さを参考に DNN を設計 40
- 41. 実験：小規模 かなりチューンされた手法に勝つのは容易ではない 41 手法 集団学習 膨大な軽量特徴の組み合わせ 深層学習 パラメータ数はほどほど 事例数 オーグメント：なし 訓練 1,409,410 個 1,409,410 個 検証 145,452 個 145,452 個 処理時間 測定環境：サーバ 訓練 0.5 h CPU 16.8 h 95.8 epoch GPU 検証 17.0 s CPU 1 core 72.0 s CPU 1 core 予測性能 Accuracy 78.5 % 79.1 % Recall 77.6 % 76.3 % Precision 78.2 % 81.2 % F-Measure 77.7 % 76.6 % ※予測性能はラジオ体操第１の運動ごとの評価値の平均である。ユーザから収集 したデータ（ノイジー）なので良い値に見えないが、体感性能は良い。
- 42. 実験：大規模 事例が増えるとパラメータが多い深層学習が有利に 42 手法 集団学習 改 膨大な軽量特徴の組み合わせ 深層学習 改 パラメータ数：ほどほど 事例数 オーグメント：なし 訓練 27,822,604 個 27,822,604 個 検証 27,453,840 個 27,453,840 個 処理時間 測定環境：サーバ 訓練 8.0 h CPU 23.7 h 29.4 epoch GPU 検証 0.9 h CPU 1 core 6.2 h CPU 1 core 予測性能 Accuracy 83.2 % 86.8 % Recall 84.3 % 87.1 % Precision 82.8 % 87.6 % F-Measure 83.4 % 87.1 % ※どちらの手法も同じ改良が施されているので、それらを比較することはできる が、前の実験とは単純には比較できない。
- 43. 実験：大規模&リッチ 深層学習はパラメータを増やすとどんどん賢くなる 43 手法 深層学習 改 パラメータ数：ほどほど 深層学習 改 パラメータ数：リッチ（9倍） 事例数 オーグメント：なし 訓練 27,822,604 個 27,822,604 個 検証 27,453,840 個 27,453,840 個 処理時間 測定環境：サーバ 訓練 23.7 h 29.4 epoch GPU 6.6 h 2.9 epoch GPU 検証 6.2 h CPU 1 core 67.1 h CPU 1 core 予測性能 Accuracy 86.8 % 90.5 % Recall 87.1 % 90.6 % Precision 87.6 % 90.5 % F-Measure 87.1 % 90.5 % ※リッチな方はパラメータ数が多すぎてリリースできないため、パラメータを増 やせば賢くなることが分かった時点で実験を終了した（まだ伸びしろあり）。
- 44. 実験：リリース版 毎週、ユーザから収集したデータを学習させまくる 44 手法 深層学習 改 パラメータ数：ほどほど 深層学習 改Ⅱ パラメータ数：ほどほど 事例数 オーグメント：なし 訓練 27,822,604 個 95,803,200 個 検証 27,453,840 個 27,453,840 個 処理時間 測定環境：サーバ 訓練 23.7 h 29.4 epoch GPU 47.6 h 75.0 epoch GPU 検証 6.2 h CPU 1 core 4.4 h CPU 1 core 予測性能 Accuracy 86.8 % 90.3 % Recall 87.1 % 90.6 % Precision 87.6 % 90.0 % F-Measure 87.1 % 90.2 % ※手法を改良（高速化）したため、処理時間が少なくなっている。改良は高速化 のみなので、予測性能の向上は訓練事例数の増加によるものである。
- 45. 指標 大幅に改善された 45
- 46. スコア ユーザ体験（納得感）が劇的に改善 • 平均スコア：75点 ⇒ 90点 46 70 75 80 85 90 95 20150713 20150727 20150810 20150824 20150907 20150921 20151005 20151019 20151102 20151116 20151130 20151214 20151228 20160111 20160125 20160208 20160222 20160307 20160321 20160404 20160418 20160502 20160516 20160530 20160613 20160627 20160711 20160725 20160808 20160822 20160905 20160919 20161003 20161017 20161031 20161114 20161128
- 47. 参加者数 参加者だけでなく熱中している人が増えた • 参加者数 / イベント：3.5倍↑ 参加者数 / 日：4.5倍↑ 47 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 20150713 20150727 20150810 20150824 20150907 20150921 20151005 20151019 20151102 20151116 20151130 20151214 20151228 20160111 20160125 20160208 20160222 20160307 20160321 20160404 20160418 20160502 20160516 20160530 20160613 20160627 20160711 20160725 20160808 20160822 20160905 20160919 20161003 20161017 20161031 20161114 20161128
- 50. アノテーション データに対する説明 学習や選別に利用 • タスクの内容や学習のさせ方により様々 – トレードオフ：量，正確さ，精密さ，… 50 出典: google street view出典: google street view出典: google street view 種類選択 ⇒ 識別タスク 矩形選択 ⇒ 検出タスク 画素選択 ⇒ 分割タスク
- 51. Q. 自動車, 歩行者 隠れ，はみだし，小さい，多い，… 51 出典: google street view
- 52. Q. 歩行者, 自転車 マネキン，ポスター，信号，転倒，映り込み，… 52 出典: google street view
- 53. Q. 看板 標識，旗，裏返り，細長い，… 53 出典: google street view
- 54. Q. 看板 壁や窓の文字・ロゴ・ポスター，カニ，… 54 出典: google street view
- 55. 悩ましさへの対処 すぐに相談できる体制 × ルールの継続的改善 • 状況の共有 ＆ AIエンジニアによる判断 – 勝手な判断は、ばらつきを増やす。 – 似た別のタスクへの変更もありうる。 • 全員が同じ判断を下せる基準 – 迷うと時間がかかり、ばらつきも増える。 • 様子を記録するフラグ – 様子によって記録の有無を変えると漏れる。 – 悪影響を抑えつつ手間がかかるものを除外できる。 • 品質や生産性の測定 – ルール変更に伴うばらつきやペースの変化を知る。 55
- 56. 他の悩ましさ 悩ましいのはデータだけではない • アノテーションタスクを独り占めする人 – 一度に確保できるタスク量を制限する。 • 易しいタスクばかり選り好みする人 – タスクを選べないように制限する。 • 真面目に仕事せず報酬を得ようとする人 – クラウドソーシング（クラウド上の不特定多 数の力を借りる場合）やボットによる攻撃な ど。品質評価用のタスクを混ぜて、悪意があ る人を選別する仕組が必要となる。 56
- 58. データ収集 本番環境に近いデータを収集できればOK • 本番環境からのデータ収集 – 十分に監視できないため、不適切なデータが多い が、網羅性は高く、真の分布に近い。 • 統制環境からのデータ収集 – 十分に監督できるため、不適切なデータが少ない が、網羅性が低く、真の分布とは異なる。 • データ加工（シミュレーションも含む） – 収集データを背景知識に基づいて加工することで、 不適切なデータを減らし、網羅性を高める。疑似 的に真の分布に近づける。 58
- 60. データ収集の例 音楽に合わせて体操 ⇒ ユーザによる教師作成 • 教師データ ＝ 音楽の再生開始からの秒数 – 継続している人のデータを信用 – 一見してダメなデータを除外 60 これだけやっても かなりノイジー
- 61. データ加工 できるだけ網羅性が高く正確なデータセットを構築 • クレンジング – データ収集・アノテーションの過程・都合で 混入する誤りの除去 • オーギュメント – データ収集・アノテーションの過程・都合で 収集できないバリエーションの水増し • リバランス – 学習を失敗させるほどの強烈な偏りの解消 61
- 62. データ加工の例 AIエンジニアがモデルを評価しながら何度も調整 • 例：アノテーションされていない正事例 – 正事例の付近を観察すると、問題となる現象 があまり起きていない。正事例から少し離れ た領域から負事例をサンプリングする。 • 例：正事例とセットで出現する負事例 – 楽だからと負事例しか含まれていないデータ セットから負事例をサンプリングしたら、正 事例とセットで出現する負事例が学習に使わ れなくて誤検出だらけになった。 62
- 68. まとめ アルゴリズム研究も重要だけど、主な仕事はコレ • タスク設計 – 機械学習で解決すべきタスクの仕様の明確化 – 仮説検証の結果、タスクの方針転換も重要 • アノテーション – ルールが成熟するまでは丸投げできる単純作業で はない。データから得た知見から、明瞭なルール を考案、よりよいタスクへ再定義することが仕事。 • データ収集 – 推論結果を観察し、データの不足や誤りを見抜き、 解消するデータ加工を高速に回すことが仕事。 68
- 72. 情景画像文字認識とは いわゆる “OCR” とは ”扱う画像” が違う • 悪環境下での文字認識 – 手書き・様々な書体・かすれ・点描・きつい パース・統一性のない並び・逆光・陰・影・ グラデーション・モアレなど • 使える場面 – 屋外でのスマホカメラを使った棚卸し – 車載カメラからの標識認識 – 商品パッケージからの成分情報抽出 – キーワードによるアルバム・ビデオの頭出し 72
- 74. 物体認識 技術紹介② 74
- 77. 物体認識とは モノをカウント、見た目で分からない情報を表示 • 使える場面 工場内で箱の仕分け 体験や評判の調査 ワインラベルで情報検索 AR付箋 集めて応募キャンペーン ARフィギュア 77
- 78. 事例：1000sors 誰でも簡単に使えるクラウド型物体認識エンジン • 広い適用範囲 – 照明姿勢の変化に強く、様々な撮影環境に対応 • 驚異的な精度 – 数十万種類をほぼ完ぺきに識別 • 圧倒的な性能 – たった１台のＰＣで１００万種類を瞬時に識別 – 台数を増やせばリニアにスケールアウト 78
- 79. 事例：1000sors 手元の画像で精度や速度をすぐに確認可能 • ShotPreview for Android / iOS ①設定 ②撮影 ③確認 79
- 82. 事例：Cellars 18万件のワインラベルを認識するアプリ • 世界で賞を獲得したアプリをダウンロード！ – Asia Smartphone Apps Contest • 広告マーケティング部門 Silver Award 2位 – 立命館大学 学生ベンチャーコンテスト • 最優秀賞 NICT賞 82
- 83. 事例：画像認識API 画像を送るだけで写っている商品の情報を取得 • 登録商品：500 万件以上（昨年10月）の市販商品 – 書籍，DVD，CD，PCソフト，ゲームソフト， 食品パッケージ，… どんどん増加中 • 定期更新：網羅性 と 認識精度 の改善 – データ追加，パラメータ・アルゴリズム改良 83
- 84. 開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp 事例：画像認識API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中 画像認識 画像に写っている物体の情報を取得 環境センサー 日本全国の気温、降水量、紫外線量を取得 音声認識 話した内容を即座に文字に変換 雑談対話 自然な会話をやり取り 知識Q&A 今知りたいことをピンポイントで回答 音声合成 入力した文字を読み上げ トレンド記事抽出 今人気の話題をジャンルやキーワードで検索 文字認識 画像の文字を読み取り 発話理解 要求を理解して、適切な機能を提示 動作推定 行っていた動作の推定 84
- 86. 事例：注目領域抽出 『人の視線を集めそう』な領域をヒートマップ化 • 認識の事前処理に – 交通標識・道路標示・ 信号・看板・商品パッ ケージなど • 教師作成の省力化に – 抽出領域をクラスタリ ングすることで、教師 がなくても類似物体を 検索可能 86 交通標識 がありそう German Traffic Sign Dataset
- 88. モーション認識 技術紹介③ 88
- 90. 事例：動作推定API ドコモ と 来栖川電算 の共同研究 • 加速度データから人の動作や行動を検出 – 静止，歩き，走り，自転車，睡眠，食事 • 動作と直接対応しない行動も検出可能 • スマホ・スマートウォッチに対応 – Android，Android Wear，… • 加速度データにアクセスできる API を備えたウェアラブルデバイス – ※次の画像は画像中のデバイスに対応していることを保証するものではありません。 90
- 91. 開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp 事例：動作推定API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中 画像認識 画像に写っている物体の情報を取得 環境センサー 日本全国の気温、降水量、紫外線量を取得 音声認識 話した内容を即座に文字に変換 雑談対話 自然な会話をやり取り 知識Q&A 今知りたいことをピンポイントで回答 音声合成 入力した文字を読み上げ トレンド記事抽出 今人気の話題をジャンルやキーワードで検索 文字認識 画像の文字を読み取り 発話理解 要求を理解して、適切な機能を提示 動作推定 行っていた動作の推定 91
- 93. 事例：毎朝体操 だれでも、いつでも、どこでも、すぐできる • Android & iPhone ⇒ http://maiasa.jp/ 93
- 94. 事例：なりきり 2.0 ウェアラブルで現実のモノを操作する作品 • ゲームコントローラへの応用 – 格闘ゲームが遊べる程、応答が速く、精度もよい。 94
- 95. 研究環境 技術紹介④ 95
- 98. 研究が捗る 実験サイクルが高速化 実験の再現性が向上 • 計算資源の隔離 – 実験スクリプトが他と干渉しないので、実験が失 敗したり、出力が混じったりしない。 • 計算資源の抽象化 – 計算資源（自社・お客様・クラウドなど）の変化 に頑健な実験スクリプトを作りやすい。 • 便利な機能 – 実験が自動的に永続化され、すぐに再現できる。 – テンプレートから簡単に実験をはじめられる。 98
- 99. どんどん拡大 実験スケジューラのハイブリッドクラウド化 • 効率的な計算資源の割当 – 個人で計算資源を専有せず、全員で共有 • 様々な計算資源への対応 – クラウドの計算資源：普段使い – 自社で購入した計算資源：上記の節約 – お客様が弊社に設置する計算資源 – お客様の敷地にある計算資源 • 大量に使わせてもらえる。ありがたや。 99
- 101. DNNコンパイラ DNN を効率的な実行形式へ変換するツール • DNN の推論計算を近似し て、高速化・省メモリ化 – 量子化，パラメータ削減， 計算順序変更，計算共有， 基底分解，確率的近似，カ スケード，… • 限界性能を引き出す実装 – アーキテクチャに最適化さ れたコード（専用命令， キャッシュ戦略），… 101
- 102. 配布が捗る スマホやサーバへの組み込みがスムーズに • DNN の推論計算の効率化 – スマホなどに収まるように演算量やメモリ使用量 を抑えることができる。 – 計算共有・順序変更・部分計算など応用に合わせ た実装に変更できる。 • DNN のアーキテクチャの隠蔽 – ハックやノウハウを解析しづらくできる。 • コンパクトな実装・依存関係 – 容量が小さいのでアプリにも組み込める。 – 依存物が少なく実行環境で問題が起こりにくい。 102