20201125 EC Solution Seminar Image Search

1. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Mitsuharu Hamba, Solutions Architect
Amazon Web Services Japan K.K
2020.11
EC 向け ML/Analytics ソリューション
画像検索

2. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Agenda
1. 画像検索とは
2. 画像検索のお客様事例
3. 画像検索の作り方

3. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
自己紹介
• 半場 光晴（はんば みつはる）
• ソリューションアーキテクト
• 好きな AWS サービス
• AWS サポート
• 最近買った本

4. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
画像検索とは

5. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
画像検索 = 画像「で」検索すること

6. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
画像検索 = 画像「で」検索すること

7. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
画像検索のお客様事例

8. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
株式会社 メルカリ 様
写真検索機能
https://about.mercari.com/press/news/articles/20190318_image_search/
https://engineering.mercari.com/blog/entry/2019-03-25-120000/

9. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
BASE 株式会社 様
類似商品 API
https://speakerdeck.com/bokeneko/aws-ml-at-loft-number-11-base-lei-si-shang-pin-apifalseli-ce
1
2 3

10. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
千 株式会社 様
はいチーズ！
はいチーズ！
https://sencorp.co.jp/news/topics/3951.html

11. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
画像検索の作り方

12. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
画像検索の作り方
検索
Indexing
検索画像
特徴
（ベクトル）
検索
商品画像
特徴抽出
特徴抽出
特徴
（ベクトル）
登録
近似近傍探索
エンジン

13. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
公開 ML モデルや OSS を利用する #1
特徴抽出
例えば、
MobileNet
Efficient Convolutional Neural Networks for Mobile
Vision Applications
• Google が公開している畳み込みニュー
ラルネットワーク
• 画像の特徴抽出や分類をする
• TensorFlow Hubなどで公開されている
学習済みのモデルを再利用することもで
きる
https://en.wikipedia.org/wiki/Convolutional_neural_network

14. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
公開 ML モデルや OSS を利用する #2
近似近傍探索エンジン
例えば、
Faiss
A library for efficient similarity search and clustering of
dense vectors
• Facebook AI Research が公開している
近傍探索ライブラリ
• 画像などの特徴を Index して類似検索
できるようにする

15. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS サービスを利用する #1
Amazon Elasticsearch Service
kNN
通常のクエリを実行
するのと同じく簡単
に、何千ものディメ
ンションにわたる数
十億のドキュメント
に対して最近傍探索
を実行できる
近似近傍探索エンジンとしてAESを利用
より大規模なデータセットの検索
画像+その他の属性を組み合わせた検索
Mapping(スキーマ)設定 Indexing 検索

16. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS サービスを利用して開発運用する #1-1
VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Amazon SageMaker Ground
Truth
Augmented
AI
SageMaker
Neo
Built-in
algorithms
SageMaker
Notebooks
SageMaker
Experiments
Model
tuning
SageMaker
Debugger
SageMaker
Autopilot
Model
hosting
SageMaker
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud
Detector
Amazon
CodeGuru
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon
Connect
SageMaker Studio IDE
AI サービス: 機械学習の深い知識なしに利⽤可能
ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス
ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤
Amazon
Rekognitions
+Custom labels

17. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS サービスを利用して開発運用する #1-2
データの
前処理
モデルの
デプロイ
モデルの
学習
モデルの
評価・改良
推論
モデルの
評価・改良
モデルの
開発
ラベリング
ツールの準備
ワーカーの管理
環境構築
モデルの管理
環境構築
処理のスケール
分散学習
HPO
実験管理
デバッグ
APIサーバ 構築
バッチ推論
性能監視
スケール
評価システム
ワーカーの管理
各工程における
課題例

18. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS サービスを利用して開発運用する #1-3
データの
前処理
モデルの
デプロイ
Processing
（前/後処理のジョブ化）
Augmented AI
（⼈間による性能評価）
Experiments（実験管理）
Debugger（デバッグ・分析）
モデルの
学習
Autopilot（⾃動化）
モデルの
評価・改良
推論
モデルの
評価・改良
モデルの
開発
Studio, Notebooks（開発環境）
Studio, Notebooks（開発環境）
ラベリング
Model Monitor（性能監視）
Amazon
SageMaker
Ground Truth

19. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS サービスを利用する #2-1
VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Amazon SageMaker Ground
Truth
Augmented
AI
SageMaker
Neo
Built-in
algorithms
SageMaker
Notebooks
SageMaker
Experiments
Model
tuning
SageMaker
Debugger
SageMaker
Autopilot
Model
hosting
SageMaker
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud
Detector
Amazon
CodeGuru
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon
Connect
SageMaker Studio IDE
AI サービス: 機械学習の深い知識なしに利⽤可能
ML サービス: 機械学習のプロセス全体を効率化するマネージドサービス
ML フレームワークとインフラストラクチャ: 機械学習の環境を⾃在に構築して利⽤
Amazon
Rekognitions
+Custom labels

20. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS サービスを利用する #2-2
Amazon Rekognition
顔検出と分析 有名人の認識 物体の検出
不適切画像の検知
シーンの検出
活動の検出 動線の検出 テキストの検出

21. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
まとめ
• TXT 検索に加えて画像検索という選択肢で、検索性 UP
• 画像検索は、すでに広く実用されている
• UI だけでなくサービス内部でも画像検索を活用できる
• 公開されている ML モデルや OSS ライブラリを活用し
て画像検索を作ることができる
• AWS のサービスを活用して画像検索を作ることができ
る

22. © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
参考情報
• Mercari :
• Mercari engineering blog : https://engineering.mercari.com/blog/entry/2019-03-25-120000/
• logmi : https://logmi.jp/tech/articles/322889
• BASE : https://logmi.jp/tech/articles/322876
• はいチーズ！ : https://sencorp.co.jp/news/topics/3951.html
• 家族アルバム みてね : https://codezine.jp/article/detail/11299?p=2
• TensorFlow Hub : https://tfhub.dev
• MobileNet : https://qiita.com/omiita/items/77dadd5a7b16a104df83
• Faiss : https://github.com/facebookresearch/faiss
• Amazon SageMaker Notebook サンプル : https://github.com/aws/amazon-sagemaker-
examples/tree/master/sagemaker-python-sdk/tensorflow_serving_container
• Amazon ES kNN :
• Mercari kumonさん Qiita #1 : https://qiita.com/kumonkumon/items/a18b157f1888f1edd8f2
• Qiita #2 : https://qiita.com/kumonkumon/items/322b75296ec356a347f3