OpenCV と TensorRT で始める！ Jetson プラットフォーム上で実現する エッジビジョン処理
•
0 likes•406 views
2021年2月18日に開催されたJetson を活用しよう！(Vol.1) TensorRT と Transfer Learning ToolKit」にて発表されました。NGCから入手可能な学習済みモデルを、TLTを用いてTensorRT向けに変換し、OpenCVと組み合わせてJetsonデバイス上でお手軽に動作させる方法について解説しています。（Fixstars Solutions CTO、飯塚拓郎）
Recommended
More Related Content
More from Fixstars Corporation
More from Fixstars Corporation (20)
Recently uploaded
Recently uploaded (20)
OpenCV と TensorRT で始める！ Jetson プラットフォーム上で実現する エッジビジョン処理
- 1. OpenCVとTensorRTで始める！ Jetsonプラットフォーム上で実現する エッジビジョン処理 2021/2/18 Fixstars Solutions Inc. Takuro Iizuka
- 2. 飯塚 拓郎 (Takuro Iizuka) ►所属 - 株式会社フィックスターズの北米子会社、 Fixstars Solutions, Inc. に所属しています ►主に取り組んでいること - 自動運転・バイオメディカル分野を中心とし た画像処理の高速化事業 - エッジビジョンアプリ開発のためのクラウド サービス「GENESIS DevEnv」事業 2
- 3. フィックスターズのご紹介
- 4. 会社概要 4 大崎本社 横浜事業所 Fixstars Solutions, Inc.（米国カリフォルニア州、100%子会社） 株式会社 Fixstars Autonomous Technologies (株式会社ネクスティエレクトロニクスとの合弁会社) 株式会社 Sider (ソフトウェア品質解析や向上のためのSaaSサービスを開発) 株式会社 Smart Opinion (乳がんAI画像診断支援事業) 設立 2002年8月 資本金 5億5,341万円 （2020年9月末 現在） 社員数 253名（2020年9月末 現在） 所在地 大崎（本社）、横浜 代表取締役社長 三木 聡 主な取引先 キオクシア、東芝、キヤノン、日立製作所、日立ハイテクノロジーズ、オリンパス、みずほ証券など 連結子会社 ソフトウェア 高速化サービス拠点 FixstarsAT拠点
- 9. これさえ使えば何でもできる！GPUプログラミングの基礎 ►CUDA - NVIDIA GPU向けのプログラミ ング言語・およびコンパイラ・ ライブラリ - 他すべてのライブラリの基礎と なっている - 最も自由度が高い反面、ゼロか ら実装するため工数がかかり、 性能を出すにも様々な工夫が必 要 9 NVIDIA GPU CUDA TensorRT DeepStream SDK
- 10. NVIDIA環境で深層学習の推論を実行したい！ ►TensorRT - 深層学習の推論に特化したライ ブラリ - 他の深層学習フレームワークで 作ったモデルをNVIDIA環境向 けに変換し、高速に推論させる ことができる - C++/Pythonから直接使用できる 他、他のライブラリが間接的に 使用していることも多い 10 NVIDIA GPU CUDA TensorRT DeepStream SDK
- 11. データフロー型のビジョン処理を開発したい！ ►DeepStream SDK - カメラ入力・前処理・推論・後処理 などのフローを持つビジョン処理の 実行に特化したフレームワーク - ユーザーはGStreamerの様々な流儀 に従って開発を行う - 様々な処理をプラグインという形で 実装すれば、データフローの組み換 えやパラメータの変更が設定ファイ ルを書き換えるだけでできる - Python、C++から使用することがで きる 11 NVIDIA GPU CUDA TensorRT DeepStream SDK
- 12. 深層学習ツールや学習済みモデルを探したい！ ►NGC - ngc.nvidia.com （要アカウント登録） - 様々なGPUソリューションの ショーケース - 学習済みの深層学習モデル、 深層学習ツールのコンテナ、 各種ドキュメントなどにアク セスできる 12
- 13. 学習済みモデルをベースにアプリ開発がしたい！ ►Transfer Learning Toolkit - 深層学習関連のツール群を実 行可能なDockerコンテナ - NVIDIA公式の学習済みモデ ルをベースに転移学習やファ インチューニング、モデル変 換を行うことができ、 NVIDIA環境で高速に実行可 能なモデルを作成できる 13
- 15. 今回の実装チュートリアルのポイント ►覚えることを少なく - DeepStream SDKは使用せず、TensorRTおよびOpenCVを使用 ►深層学習モデルのトレーニングは不要 - 学習済みモデルをそのまま使うため、GPUクラスタ等は不要 ►既存資産との統合しやすさ - プログラミング言語としてC++を選択する
- 16. チュートリアルコードについて ►本チュートリアルのコードは以下URLで公開しています - https://github.com/fixstars/Jetson-Edge-Vision-Example
- 18. 今回実装するアプリケーションの構成 NVIDIA Jetson プラットフォーム USBカメラ ディスプレイ TensorRT OpenCV Pure C++ Source Input Color Conversion PeopleNet Normalize Display BoundingB ox Filtering Reorder Channel Resize
- 19. やることの整理 1. 開発環境の構築 - NGCのセットアップ - Transfer Learning Toolkit コンテナのセットアップ 2. モデルの準備 - 学習済みモデルのダウンロード - TensorRT形式モデルへの変換 3. コードの実装 - カメラ入力と前処理の実装 - TensorRTによる推論処理の実装 - 後処理とディスプレイ出力の実装
- 20. NGCのセットアップ 1. アカウントの作成 - https://ngc.nvidia.com/signin • Eメールアドレスを登録 2. APIキーの作成 - https://ngc.nvidia.com/setup/api-key • 作成したキーは一度しか表示されないため 保存しておくこと - キーの再作成は可能（古いものは自動的に 無効化される） 3. NVIDIA Dockerレジストリログイン - 上記APIキーをパスワードとして入力 $ docker login nvcr.io Username: $oauthtoken Password: <NGC APIキー>
- 21. Transfer Learning Toolkit コンテナのセットアップ 1. Dockerコンテナの取得 - Dockerがインストールされている環境で以下コマンドを実行 2. Docker コンテナの実行 - 以下コマンドを実行しコンテナを実行 3. APIキー等の初期設定 - コンテナ内部で以下コマンドを実行し、ウィザードに従って情報を入力 $ docker pull nvcr.io/nvidia/tlt-streamanalytics:v2.0_py3 # ngc config set Enter API key [no-apikey]. Choices: [<VALID_APIKEY>, ‘no-apikey’]: <NGC APIキー> Enter CLI output format type [ascii]. Choices: [ascii, csv, json]: Enter org [no-org]. Choices: ['todymlgpe1ig']: todymlgpe1ig Enter team [no-team]. Choices: ['no-team’]: Successfully saved NGC configuration to /root/.ngc/config $ mkdir workspace $ docker run --gpus all -it -v `pwd`/workspace:/workspace nvcr.io/nvidia/tlt-streamanalytics:v2.0_py3 /bin/bash コンテナの詳細については以下のNGCカ タログを参照 https://ngc.nvidia.com/catalog/collections/ nvidia:tltcomputervision
- 22. NGCから学習済みモデル（PeopleNet）の取得 1. 特定タスク向けの学習済みモデルを探す a) NGCのカタログの「MODELS」タブから一覧を閲覧 b) TLTコンテナ内部で以下コマンドにより一覧を閲覧 2. モデル一覧から対象モデルを選択 - 「Version History」タブを選択すると、バックボーンアー キテクチャの種類、枝刈りの有無などからモデルのバリ エーションを一覧できる - 必要なモデルの名前を確認する • 再学習が不要な場合はpruned（枝刈り済み）のものを選択する 3. 選択したモデルをダウンロード - ここではresnet18ベースの枝刈り済みモデルを選択する $ ngc registry model download-version "nvidia/tlt_peoplenet:pruned_v2.0" $ ngc registry model list
- 23. PeopleNetをTensorRT向けに変換する ►tlt-convertコマンドの準備 - モデル変換を行うtlt-convertコマンドは実際のデバイス上で実行する必要が あるため、環境に合わせて以下からダウンロードする • Intel環境（x86_64） - CUDA11, TensorRT7.1: https://developer.nvidia.com/assets/TLT/Secure/tlt-converter-7.1-cuda11- x86.zip - CUDA10.2, TensorRT7.0: https://developer.nvidia.com/assets/TLT/Secure/tlt-converter-7.0- cuda10.2-x86.zip • Jetson環境（aarch64） - JetPack4.4: https://developer.nvidia.com/assets/TLT/Secure/tlt-converter-7.1-dla.zip - JetPack4.3: https://developer.nvidia.com/tlt-converter-trt60 - JetPack4.2.2: https://developer.nvidia.com/tlt-converter-trt51 - アーカイブを展開して、環境変数PATHに展開先のディレクトリを追加 $ unzip tlt-converter-7.1-dla.zip $ export PATH=`pwd`/tlt-converter-7.1-dla:${PATH}
- 24. PeopleNetをTensorRT向けに変換する 2. 変換の実行 - 以下のコマンドによりTLT暗号化モデル (.etlt) をTensorRT Engine (.engine) へと変換 • 入出力に関するパラメータはモデルごとに異なるため、各モデルのドキュメントを参 照すること。以下はPeopleNetの場合のパラメータ指定 • 作成したTensorRT Engineは、tlt-convertを実行した環境のCUDA、TensorRTバージョ ンに依存するため、これらのバージョンアップの際は再変換が必要なことに注意 $ tlt-converter -k tlt_encode // 暗号化キーの指定、NGCの学習済みモデルには”tlt_encode”を使用する -i nchw // 入力の次元順序の指定 -d 3,544,960 // 入力のサイズの指定 -o output_bbox/BiasAdd,output_cov/Sigmoid // 出力層の指定（複数をカンマ区切りで指定） -e ./trt713_arch72_fp16.engine // 出力ファイル名 -m 1 // 最大指定可能なバッチサイズ -t fp16 // 内部計算精度の指定、fp32, fp16, int8等を指定可能 workspace/tlt_peoplenet_vpruned_v2.0/resnet18_peoplenet_pruned.etlt //入力ファイル名
- 25. OpenCV関連の使用APIリスト ► cv::VideoCapture - カメラ・ムービーを入力ソースとして画像を取得 ► cv::cvtColor - VideoCaptureのフォーマット（BGR形式）をRGB形式へと変換 ► cv::normalize - ピクセル値を８ビット整数（[0..255]）から32ビット浮動小数点 数[0..1.0]へと変換 ► cv::resize - 縦横比を保ったまま、モデルの入力縦横比（横:縦=960:544）の 大きい方に合わせて拡大縮小 ► cv::copyMakeBoarder - モデルの入力サイズに合うように、ピクセル値0でパディングを 挿入 ► cv::Mat::reshape, cv::Mat::t - 入力次元の順序をモデルの入力（nchw）に合うように入れ替え ► cv::putText - 画像の上に文字を描画 ► cv::rectangle - 画像の上にバウンディングボックスを描画 ► cv::imshow - 指定した画像をGUIウィンドウ上に描画 ► cv::waitKey - 指定秒数待機+キー入力受付
- 26. TensorRT/CUDA関連の使用APIリスト ►nvinfer1::createInferRuntime - TensorRTの初期化 ►nvinfer1::IRuntime::deserializeCudaEngine - TensorRT Engineファイルをロード ►nvinfer1::ICudaEngine::createExecutionCon text - 推論実行のためのコンテキスト作成 ►nvinfer1::IExecutionContext::execute - 推論の実行 ►cudaMallocManaged - GPUメモリの確保 ►cudaFree - GPUメモリの解放
- 29. 3. OpenCVの入力設定 V4L2カメラを入力ソースに指定して VideoCaptureオブジェクト作成 カメラキャプチャのパラメータ設定 キャプチャした画像を格納するフレームオブジェクトの作成
- 31. 5. TensorRTによる推論の実行 前処理結果のcv::MatからGPUメモリへと入力画像データをコピー バッチサイズ（ここでは1に固定）と入出力メモリのアドレスを 格納した配列を渡して推論を実行
- 34. アプリケーションの実行 34
- 38. GENESISの概要 ● フロントエンド Web UI経由で容易に アプリケーション構築 横断的なベンチマーク 結果を表示 ● バックエンド 研究成果であるコンパ イラ基盤を用いて 様々なターゲットに 最適化・変換 ● デバイスプール 各種ハードウェアを セットアップし、 クラウド上での 性能評価が可能 1.モデルコンパイラ 開発者 CPU GPU FPGA AI Chip VSION Sensor Imaging Sensing ✓ チップボードやセンサーの性 能を活かしたサンプル使用例 を公開 ✓ クラウドベースの製品展示に より、サポート工数を最小に し、瞬時に世界中の見込み顧 客に届けられます。 モバイル ビジョン 自動モビリティ 産業用 画像処理 開発者所有のエッジデバイスに デプロイも可能 エッジビジョンAIの開発・評価のための クラウドプラットフォーム Private サプライヤ 2.ドメイン固有 コンパイラ 3.高位合成 コンパイラ
- 39. GENESISの特長 1. クラウドで完結 ブラウザさえあれば、ビジョン処理の実装から実機を使った性能評価までできる 2. ドメイン固有コンパイラによる強力な開発支援 様々なハードウェア向けの大域的な最適化から、ハードウェアデザインの生成までやってくれる 3. モデルベースの直感的な操作 絶対性能や電力効率を比較しながら、アルゴリズムとハードウェアの最適な組み合わせを探せる 4. 開発者の手元で最適化されたコードを実行可能 コンパイラが最適化したコードを、開発者の手元のデバイスにもデプロイして実行することができる
- 40. GENESIS ワークフロー ① • テンプレート ✓ アプリケーション例 • Stereo Matching • Object Detection • 6 Pipeline ISP • etc. ✓ 追加、修正に柔軟に対応 • アプリケーションの追加 • アプリケーションの登録 ✓ 使い方のサンプル枠 • 機能センサの使用例など
- 41. GENESIS ワークフロー ② • ビルディングブロック ✓ 最低限の機能単位 • フィルタ処理 • 深度推定 • オブジェクト認識 • SLAM • 各種I/O ✓ 追加、修正に柔軟に対応 • 機能ブロックの追加 • パラメータの変更 ✓ 差異化IPのサンプル枠
- 42. GENESIS ワークフロー ③ • アプリケーション作成 ✓ キャンバス内操作 • ドラッグ＆ドロップ • コーディングレス ✓ ビルディングブロック接続 • 入出力を矢印で結合 ✓ プレビュー機能 • 出力画像確認
- 43. GENESIS ワークフロー ④ • ベンチマークレポート ✓ 機器上での実行結果 ✓ 性能指標 • 実行時間 • 消費電力 • スループット ✓ 性能指標の比較 • ハードウェア別 • ビルディングブロック別
- 44. GENESIS ワークフロー ⑤ • 最適化パターン ✓ ハードウェア別に複数生成 ✓ スケジューリング • CPU • GPU • 専用アクセラレータ
- 45. GENESIS ワークフロー ⑥ • デプロイ ✓ アプリケーション実行 • クラウド機器 • ローカル機器 ✓ 実行コード ✓ ファイルダウンロード可