システム計画研究所 井上さん

1. 製造業向け外観検査ソフトウェア
gLupe についてのお話(とちょっと裏側)
株式会社 システム計画研究所／ISP
事業本部 第2セグメント
マネージャ 井上 忠治

2. 1
「gLupe (ジールーペ)」とは
製造業における製品の外観検査に特化したソフトウェア。
Deep Learningを応用した高性能エンジンを使用しており、従来
手法では検出が困難だった不良品が検出可能に。
ISP独自技術により、数十枚の正常データでも学習が可能。
製造現場に人工知能(AI)をスピーディーに導入。
正常データの例 異常検知例

3. 2
「gLupe (ジールーペ)」とは
製造業における製品の外観検査に特化したソフトウェア。
Deep Learningを応用した高性能エンジンを使用しており、従来
手法では検出が困難だった不良品が検出可能に。
ISP独自技術により、数十枚の正常データでも学習が可能。
製造現場に人工知能(AI)をスピーディーに導入。
正常データの例 異常検知例
まずはデモンストレーションをお見せします

4. 3
「gLupe (ジールーペ)」とは
学習に必要なのは数十枚の正常データのみ
学習時間も数秒で完了
正常画像 数千～数万枚 異常画像1 数千～数万枚 異常画像2 数千～数万枚
通常のDeep Learning
による学習
学習時間：1晩～
正常画像 数十枚～ gLupe による学習
学習時間：数秒
通常のDeep Learningによる学習
gLupe による学習 学習データの収集コスト大幅減！ スピーディーな評価が可能！

5. 4
ISP という会社
ISPは1977年創業の
独立系研究開発型ソフトウェア開発会社です。
導入前のデータ解析・評価から
解析結果を用いたシステム開発まで一貫して対応可能です。
Phase.0
事前評価
Phase.1
精度検証
エンジンカスタマイズ
Phase.2
プロトタイプ開発
実証実験
Phase.3
実運用システム開発 運用開始
システムの運用開始までを一貫して対応可能

6. 5
ISP と gLupe
gLupe は外観検査ソフトウェア専用の開発キットです
学習・評価用アプリケーション 推論ソフトウェア開発用SDK
(SDK: Software Development Kit)

7. 6
ISP と gLupe
gLupe とソフトウェア開発技術の提供gLupe (開発環境)と開発サポートの提供
開発環境 開発サポート
開発サービス
開発会社A
データ解析サービス
エンドユーザーに提供
開発環境 開発サポート
開発サービスデータ解析サービス
エンドユーザーに提供

8. 7
ISP と gLupe
gLupe とソフトウェア開発技術の提供gLupe (開発環境)と開発サポートの提供
開発環境 開発サポート
開発サービス
開発会社A
データ解析サービス
エンドユーザーに提供
開発環境 開発サポート
開発サービスデータ解析サービス
エンドユーザーに提供
自社での対応には限界がある……gLupe で開発できる人達を増やしたい

9. 8
ISP と gLupe
gLupe とソフトウェア開発技術の提供gLupe (開発環境)と開発サポートの提供
開発環境 開発サポート
開発サービス
開発会社A
データ解析サービス
エンドユーザーに提供
開発環境 開発サポート
開発サービスデータ解析サービス
エンドユーザーに提供
自社での対応には限界がある……gLupe で開発できる人達を増やしたい
開発者の皆様が今お悩みの課題解決に
gLupe の活用を是非ご検討ください

10. 9
gLupe 適用例
金属表面の汚れ検査

11. 10
gLupe 適用例
金属表面の傷検査

12. 11
gLupe 適用例
歪み検査

13. 12
gLupe 適用例
錠剤の検査

14. 13
gLupe 適用例
菓子製品パッケージの噛み込み検査
協力：
近赤外カメラで撮影を行い、可視光では判断できない異常を可視化。
パッケージの噛み込みを検出

15. 14
gLupe 適用例
RGBカメラでは捉えられない色違いや色ムラの検査
RTC-21：ILOREAL Real True Color XYZカメラで、通常のRGBカメラでは捉
えられない可視領域の色を忠実に取得
人間の目でしか捉えられなかった微妙な色の違いや色ムラを忠実にデータ化でき
るので、これまで困難だった色検査を自動化することが可能
協力：池上通信機株式会社

16. 15
gLupe 適用例
金属表面の検査
基盤のハンダ付け不良検査
樹脂製品の外観検査
食品の検査
溶接品質の検査
半導体の検査
時系列データからの異常検査
• gLupe は画像データが対象だが…

17. 16
gLupe 適用シーン
これまで全数目視で検査していた工程を
少しでも自動化したい…
• 人件費を削減する必要がある
• そもそも人手不足
• 検査員を採用してもさらに教育コストがかかる
画像処理ベースの手法ではうまくいかなかった
検査を今度こそ自動化したい…
• 基盤や半導体など複雑な表面上の傷検知
• 検出したい異常のかたちや特徴が一定でない
• 正常や異常の定義が難しい…？

18. 17
gLupe 適用シーン
これまで全数目視で検査していた工程を
少しでも自動化したい…
画像処理ベースの手法ではうまくいかなかった
検査を今度こそ自動化したい…
…？
昨今のAI／Deep Learningブームのおかげで、
これまで半ば諦めていた課題の自動化への期待が高まっている
普通にアプローチしても解決できない
難しい問題ばかりが持ち込まれてくる
アルゴリズムの特徴を理解した上で
最適な提案・アプローチをしていくことが重要

19. 18
gLupe のアルゴリズム
gLupe は Deep Learningを応用した異常検知エンジン。
中では CNN を使用しています。
画像はイメージです…

20. 19
アルゴリズムから理解する gLupe の特徴 1
• 入力は画像のみを想定
• 画像に情報として残っていないものは見つけられない
gLupe のアルゴリズム

21. 20
アルゴリズムから理解する gLupe の特徴 1
• 入力は画像のみを想定
• 画像に情報として残っていないものは見つけられない
gLupe のアルゴリズム
検出したい異常が写るように撮影できている必要がある。撮影重要。
異常箇所が目視で判断できる 異常箇所が目視で判断困難
…？
良い例 悪い例

22. 21
アルゴリズムから理解する gLupe の特徴 ２
• CNNに入力するため、入力できる解像度がそこまで大きくできない
(せいぜい512x512pxや1024x1024pxくらい)
• 反応しやすい(学習しやすい)特徴はエッジが立っているもの
gLupe のアルゴリズム

23. 22
アルゴリズムから理解する gLupe の特徴 ２
• CNNに入力するため、入力できる解像度がそこまで大きくできない
(せいぜい512x512pxや1024x1024pxくらい)
• 反応しやすい(学習しやすい)特徴はエッジが立っているもの
gLupe のアルゴリズム
状況に応じて前処理を行う
解像度が大きすぎる 分割する 見つけたいものがぼんやりしている 精鋭化フィルタをかける

24. 23
アルゴリズムから理解する gLupe の特徴 ３
• gLupe は少量データで学習可能
• いくらDeep Learningベースといえども万能ではない
• それなりに柔軟性はあるものの、やはり学習データのバリエーションは
最小限に抑えたい
gLupe のアルゴリズム

25. 24
アルゴリズムから理解する gLupe の特徴 ３
• gLupe は少量データで学習可能
• いくらDeep Learningベースといえども万能ではない
• それなりに柔軟性はあるものの、やはり学習データのバリエーションは
最小限に抑えたい
gLupe のアルゴリズム
やっぱり撮影重要。
一箇所の工場内で取得できるデータ数はたかが知れている。
→ バリエーションを大量のデータ数でカバーするのは不可能と考えた方が良い。
カメラ位置は固定。カメラパラメータも固定。写り方もなるべく固定。
たとえ大量データが集まったとしてもクレンジングやアノテーションやりたくない…。

26. 25
gLupe の特徴をおさえた上で活用できれば、Deep Learningの
強みを最大限に引き出すことができ、これまで自動化困難だった検
査項目を自動化できる可能性がある。
gLupe なら学習データが少なく学習時間も短いため、試行錯誤の
サイクルを短期間で効率よく回すことができる。
gLupe のアルゴリズム
データの
確認・検討
学習計画
学習実施
学習結果の
検証・評価
試行錯誤の1サイクル

27. 26
異常検知に関する現場の要望
全ての現場の要望が gLupe にマッチするわけではない
カメラの固定が困難…
検査対象が大きいので手持ちカメラを使って検査したい…
OK / NG 判定した後に異常タイプの分類をしたい…
→ 異常タイプを知ることで、異常が発生した原因をつきとめたい

28. 27
正常データでの学習だけじゃない！
gLupe 新機能 – 異常を学習する
傷や汚れ等の異常を数十枚のデータで学習し、異常検出する機能です。
学習 推論
【前提条件】・見つけたい異常(傷や汚れ)の形がある程度限定されている。
※カメラの固定が困難で、ある程度自由度をもった撮影が行われる場合でも有効
※異常パターンが一定で、正常パターンに多くのバリエーションがある場合に有効
学習モデルを
推論環境へ
見つけたい異常部分とそれ以外を大雑把に領域分割した
画像を学習用に数枚用意
正常部分
異常部分
学習・評価用アプリケーション
学習
判定対象のデータを入力
OK
NG！
異常箇所とそれ以外を領域分割することで異常を検出

29. 28
正常データでの学習だけじゃない！
gLupe 新機能 – 異常タイプを分類する
異常タイプごとに数十枚～のデータを用いて学習し、異常タイプを
分類するための機能です。
学習 推論
【前提条件】・画像化したときに、目で見て異常タイプを容易に分類できる。
学習モデルを
推論環境へ欠け 割れ
学習・評価用アプリケーション
異常データが数十枚ずつあれば異常タイプを学習可能
欠け 割れ
異常をタイプ毎に分類

30. 29
gLupe 導入のススメ
gLupe 開発ライセンスを導入
gLupe を使って自社で自動外観検査システムを
開発したい。
gLupe を組み込んだシステムをお客様に提供し
たい。
gLupe を使って外観検査を自動化するシステム
を開発して欲しい。
自社の製造ラインに gLupe を導入して欲しい。
初期導入サポート
開発サポート
データ解析サービス
開発サービス
データ解析サービス
gLupe を使った開発開始 自動外観検査システムの運用・メンテ開始

31. 30
Azure と gLupe
“N”から始まるNVIDIA GPUが
使用できるインスタンス
推論アプリケーション学習アプリケーション
学習時
・学習データを送信してAzure上で学習実施
・学習済みモデルを推論アプリケーションで使用するように設定
推論時
検査したい画像を自動でAzureに送信
OK/NGの結果を受け取る

32. 31
Azure と gLupe
“N”から始まるNVIDIA GPUが
使用できるインスタンス
推論アプリケーション学習アプリケーション
学習時
・学習データを送信してAzure上で学習実施
・学習済みモデルを推論アプリケーションで使用するように設定
推論時
検査したい画像を自動でAzureに送信
OK/NGの結果を受け取る
…といった感じで使用できるよう、
今後整備していく予定
乞うご期待…

33. 32
お問い合わせは…
glupe@isp.co.jp