深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）
•
3 likes•1,310 views
Preferred Networksにおける深層学習の製造業応用事例と、その基礎となる深層学習技術の進展と最新動向について （2020年11月25日開催のクオリティフォーラム特別講演２資料）
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）
Similar to 深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料） (20)
More from Preferred Networks
More from Preferred Networks (20)
Recently uploaded
Recently uploaded (10)
深層学習による製造業のスマート化と産業応用の将来展望（クオリティフォーラム2020講演資料）
- 1. 深層学習による製造業の スマート化と産業応⽤の将来展望 ㈱ Preferred Networks インダストリーソリューション担当VP 執⾏役員 ⽐⼾将平 2020/11/25 クオリティフォーラム
- 3. ⾃⼰紹介 l ⽐⼾将平（HIDO Shohei） l 専⾨︓データマイニング、機械学習 l 経歴︓ ̶ 2002: IPA未踏ユース第⼀期 ̶ 2006-2012: IBM東京基礎研究所データ解析グループ ̶ 2012-2014: 株式会社Preferred Infrastructure ̶ 2014-: 株式会社Preferred Networksに転籍 & Chief Research Officer ̶ 2015-: Preferred Networks America, Inc.に異動 ̶ 2018-: Preferred Networksに帰任、研究開発担当VP & 執⾏役員に就任 ̶ 2020.10-: インダストリーソリューション担当VPに就任
- 4. Preferred Networks (PFN)のミッション︓現実世界を計算可能にする Manufacturing Transportation Bio & Healthcare Logistics Personal Robot Entertainment
- 7. ⽇本ベンチャー⼤賞︓ 2017年経済産業⼤⾂賞（FANUC様との連携）→2019年内閣総理⼤⾂賞 2017 世耕経産⼤⾂・FANUC稲葉会⻑と 2019 安倍⾸相へのロボットデモ l PFNにとってFANUC様との製造業における協業が⼤きな転機となった
- 8. ⽬次 l 深層学習の概要 l 製造業のスマート化 l Preferred Networksの外観検査ソリューション l 今後の産業応⽤の可能性︓物流＆建設
- 9. ⼈⼯知能における機械学習/深層学習 機械学習 データからルールや知識を学習して獲得する エキスパート システム 教師あり学習 教師なし学習 強化学習 従来の機械学習 （SVM, ランダムフォレスト, ロジスティク回帰など） 深層学習（ディープラーニング） どのような モデルを使うのか どのように 学習するのか
- 10. ディープラーニング（深層学習）とは 2014年の一般画像認識コンテストで優勝した 22層からなるGoogLeNetの例 [Google 2014] 特徴抽出⼊⼒画像 ベクトル 表現 学習器 教師データ /結果 SIFT,SURF,etc BoK,FK,etc SVM,kNN,etc 深層学習 従来の 機械学習
- 15. ⽬次 l 深層学習の概要 l 製造業のスマート化 l Preferred Networksの外観検査ソリューション l 今後の産業応⽤の可能性︓物流＆建設
- 16. Photo by Ahsan S. on Unsplash 製造業は スマート化の 歴史そのもの
- 17. なぜ深層学習が製造業で最も応⽤が進んでいるのか︖︓ 同じモノ・作業を対象とする「繰り返し」が多く、学習アプローチが有効なため 製造業 成果物（出⼒）の種類 たかだか製品の種類 主要な環境 似通った⼯場 構成物（⼊⼒）の種類 たかだか部品の種類 「⾒る」 部品認識・製品外観検査 「つかむ」 各部品毎・混在なし 「調整する」 製造／加⼯装置の調整 「運ぶ」 部品搬⼊や⼯程間搬送 https://unsplash.com/
- 21. 将来に向けて︓触覚と視覚からの物体特性の推定の研究論⽂ l Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images [Takahashi & Jethro, ICRA’19] ̶ ロボティクスのトップ国際会議ICRAで最優秀論⽂賞候補 ⾒る
- 22. ばら積みピッキング つかむ
- 23. Plug & Pick: 1点の既知の形状から様々な未知の形状へ つかむ PFN Location Detection
- 24. Plug & Pick: つかむ
- 25. AIサーボチューニング 調整する
- 27. ⽬次 l 深層学習の概要 l 製造業のスマート化 l Preferred Networksの外観検査ソリューション l 今後の産業応⽤の可能性︓物流＆建設
- 28. ⼈⼿不⾜ 検査基準のぶれ ● ⽬視検査は重労働 ● 教育コストが⾼い ● 基準の属⼈化 ● ⽣産拠点間の基準揺れ キズ 異物 汚れ
- 30. PFN Visual Inspection の4⼤特徴 直感的な学習UI ／ ⼈間に近い検知スコア 外観検査システムをスピーディかつ安価に構築 様々な素材の外観検査に対応 不良箇所アノテーション不要 良品 100枚〜 不良品 20枚〜 ⼩規模なデータセットでもOK ⾮エンジニアでも簡単操作 布 ⾦属 プラスチック 異常個所を教えずと も効果⾼く学習
- 31. 従来型 マシンビジョン 容易に利⽤できる／実証完了まで早い 検 知 性 能 が ⾼ い PFN Visual Inspection PFN Visual Inspection の特徴 深層学習応⽤ 要アノテーション （教師あり） 深層学習応⽤ アノテーション不要 （教師なし）
- 32. 導⼊フロー トライアル 実証 導⼊・運⽤ 学習ツール 検知ライブラリ • 傷箇所アノテーション不要 • 最⼩の学習⽤画像データ （良品100枚/不良品20枚〜） • CPU版は無償提供 （1〜10枚/秒） • GPU版は⾼速検知 （最⼤100枚/秒）
- 34. お客様事例（1/4）⼤⼿⾃動⾞メーカー様 – 概要 l アプリケーション︓⾃動⾞部品の外観検査 l 検査内容 ̶ パーツの⽋け検知 ̶ 「円周の⾚マーカーが⽋けずに所定の⻑さに収まっているか」 l 状況︓ ̶ 2019年より品質管理部にてPVIを検証 ̶ 実ラインを含めた評価結果が良好 かつ広範囲に適⽤可能という評価 ̶ 特に現場への組み込みが⾮常に簡単であり 現場担当者だけでの運⽤も望める ̶ 広くライン導⼊を検討中 良品 不良
- 35. お客様事例（1/4）⼤⼿⾃動⾞メーカー様 – 検査画像例 元画像. ヒートマップ 元画像 ヒートマップ 良品 不良 不良 良品 不良 不良
- 36. お客様事例（3/4）⼤川精螺⼯業株式会社様 – アプリケーション︓メス⾦具 画像検査 – 検査内容︓ • 検査箇所︓シート部、頭部、ソケット部 • 不良モード︓異物、キズ、メッキ変⾊、サビ、バリ – 状況︓ • 2020年2⽉よりPVIを導⼊ • 6ヶ⽉間の検証を実施して良好な結果が得られた • 従来の画像処理からの置き換え • 製造ラインに導⼊済 • 同製品のラインへの展開と、他部品の検査への適⽤検討も進⾏中
- 37. お客様事例（3/4）⼤川精螺⼯業株式会社様 - PVIの導⼊により得られたメリット • 従来の画像処理⼿法ではロットによるメッキの⾊味のばらつきに対応できず過検出が発⽣していた • PVIによるAI検査により、メッキの⾊味の変化に関わらず、異常のみの検出が可能となった 従来の画像処理では暗い部分を全て検出してしまっていた。 PVIによるAI検査では⾊味に関わらず異常のみを検出できる。 従来の画像処理(⼆値化) ロットの違いによってメッキの⾊味にばらつきが存在する。 従来の画像処理⼿法ではロットAを基準とした場合、 ロットCのようにメッキの暗いものがほぼNGとなってしまう。
- 38. お客様事例（4/4）⼤⼿⻭⾞製造会社 C社様 l アプリケーション︓【製品名】平⾏軸の⻭⾞外観検査 l 検査内容:【不良モード】⼤きさ ＞φ3mm ＆ 深さ ＞0.1mmキズの検出 l 状況︓ ̶ 2020年1⽉よりPVIを導⼊ ̶ NI LabVIEWをベースでの画像処理に、PVIを内製で組み込み実施 ̶ ⼊念な検証を実施して良好な結果が得られた ̶ すでに製造ラインに導⼊済 ̶ 全世界の⼯場に存在する４0系統のラインへの展開を進⾏中 l PVIの導⼊により得られたメリット ̶ 既存のアプローチでは実現できなかった過検出の課題が解決された ̶ 従来21.1%発⽣していた過検出が1.2%に改善した 対象製品のイメージ図
- 39. ⽬次 l 深層学習の概要 l 製造業のスマート化 l Preferred Networksの外観検査ソリューション l 今後の産業応⽤の可能性︓物流＆建設
- 41. 深層学習の応⽤先として製造業と⽐較︓ 物流と建設は多様性が⼤きく個別対応が必要なため適⽤難易度が⾼い 製造業 物流（倉庫・輸送） 建設（建築・⼟⽊） 成果物（出⼒）の種類 たかだか製品の種類 注⽂毎にバラバラ 毎回⼀点モノ 主要な環境 似通った⼯場 似通った倉庫・トラック ⼟⽊は個別の地理地形 ／建築は個別の設計 構成物（⼊⼒）の種類 たかだか部品の種類 多種多様かつ⽇々増加 建築は既存品＋特注品 「⾒る」 部品認識・製品外観検査 段ボール・ケース認識 ／⽇々増加する商品 毎回異なる設計と 施⼯の⼀致確認 「つかむ」 各部品毎・混在なし 様々な重量・形状が混在 ⼟砂（流体）、鉄筋（重 量物・⻑尺）など多様 「調整する」 製造／加⼯装置の調整 運送の経路最適化など （研究進⾏中） （⼈⼿が多く対象少） 「運ぶ」 部品搬⼊や⼯程間搬送 ⼈⼿の置き換え ⾼い需要・⾼難易度
- 42. 物流AIスタートアップ（1/2）︓Covariant.ai 深層強化学習で⾼名なUC BerkeleyのPieter Abbeel教授が共同創業者 l ⽶バークレーで2017年創業 l ピッキングロボットに注⼒ l バラ積みピッキングに 深層強化学習を適⽤ ̶ 様々なアイテムに適応可能 l 事例︓独Obeta社の倉庫 ̶ シャトルで在庫・出荷⽤ケース をロボットステーションに運搬 ̶ ロボットが在庫ケースから取り 出し出荷⽤ケースに移動 https://covariant.ai/case-studies/obeta
- 43. 物流AIスタートアップ（2/2）︓Wise Systems 配送トラックの⾃動配⾞・ルート最適化プラットフォーム l ⽶ボストンで2014年創業 l 「機械学習」ベースで配⾞とルートの両⽅を動的に効率化 https://www.wisesystems.com/
- 44. （参考）深層学習は配送ルート最適化などにも有効なのか︖ 組み合わせ最適化問題に対する深層（強化）学習アプローチの盛り上がり l 深層学習を⽤いた組み合わせ最適化論⽂増加 ̶ ほとんどが2017年以降の発表 ̶ 古典的な巡回セールスマン問題（TSP）だけでなく 物流と関連する運搬経路最適化（VRP）も研究対象 l 部分的に従来のヒューリスティクスより 優れた実験結果が報告されている https://arxiv.org/abs/2006.03750
- 45. 建設AIスタートアップ（1/2）︓SKYCATCH ⼟⽊分野でコマツも採⽤したドローン測量スタートアップ l ⽶SFで2013年創業 l 3Dレーザスキャナを搭載した ⼤型ドローンの⾶⾏制御と 3次元地形復元技術を提供 l ⽬標地形と現状地形の差分から ⽇々の施⼯計画を⽴案・修正 l ドローン三次元測量は今後 深層学習の活⽤などによって センサーの軽量化・コスト減と ドローンの⼩型化・⻑期⾶⾏が セットで進むと予想される https://skycatch.com/
- 46. 建設AIスタートアップ（2/2）︓Doxel 建築現場の測量ロボット l ⽶パロアルトで2016年創業 l 3Dレーザースキャナを搭載した 移動ロボット・ドローンで 建設現場を毎⽇測量 l 進捗と品質をAIを⽤いて推定 l 進捗と品質の管理を可能にし 施⼯効率を向上 https://www.doxel.ai/
- 47. まとめ l 製造業のスマート化はここ10年で急速に進歩した深層学習をはじめとする ⼈⼯知能とIoTの技術によって⽀えられています l 深層学習の製造業への応⽤は「⾒る」「つかむ」「調整する」という 3つの観点に分かれ、それぞれすでに商⽤化が進んでいます l Preferred Networksでは精度も良くエンジニア以外の⽅でも簡単に使える 外観検査ソフトウェアを開発しお客様からご好評を頂いております l 今後、製造業だけでなく物流や建設など、より難易度が⾼い産業においても 深層学習を⽤いたイノベーションが進⾏すると予想されます