Submit Search
Upload
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
•
Download as PPTX, PDF
•
9 likes
•
9,010 views
tnoho
Follow
WebRTCを利用して、Pythonで遠隔画像処理をおこなうことを可能にするフレームワークを開発しました。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 16
Download now
Recommended
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
UnityTechnologiesJapan002
Unityによるリアルタイム通信とMagicOnionによるC#大統一理論の実現
Unityによるリアルタイム通信とMagicOnionによるC#大統一理論の実現
Yoshifumi Kawai
自宅で出来る!ゲームサーバの作り方
自宅で出来る!ゲームサーバの作り方
光晶 上原
新入社員のための大規模ゲーム開発入門 サーバサイド編
新入社員のための大規模ゲーム開発入門 サーバサイド編
infinite_loop
目grep入門 +解説
目grep入門 +解説
murachue
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks
WebSocketでカメラの映像を共有してみた
WebSocketでカメラの映像を共有してみた
onozaty
Recommended
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
UnityTechnologiesJapan002
Unityによるリアルタイム通信とMagicOnionによるC#大統一理論の実現
Unityによるリアルタイム通信とMagicOnionによるC#大統一理論の実現
Yoshifumi Kawai
自宅で出来る!ゲームサーバの作り方
自宅で出来る!ゲームサーバの作り方
光晶 上原
新入社員のための大規模ゲーム開発入門 サーバサイド編
新入社員のための大規模ゲーム開発入門 サーバサイド編
infinite_loop
目grep入門 +解説
目grep入門 +解説
murachue
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks
WebSocketでカメラの映像を共有してみた
WebSocketでカメラの映像を共有してみた
onozaty
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
Kohei Tokunaga
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
gree_tech
通信対戦ゲームを作った話
通信対戦ゲームを作った話
mipsparc
Jetson活用セミナー ROS2自律走行実現に向けて
Jetson活用セミナー ROS2自律走行実現に向けて
Fixstars Corporation
大規模ゲーム開発における build 高速化と安定化
大規模ゲーム開発における build 高速化と安定化
DeNA
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
智啓 出川
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
Yasuhiro Mawarimichi
HTTP/2 入門
HTTP/2 入門
Yahoo!デベロッパーネットワーク
Pcapngを読んでみる
Pcapngを読んでみる
Yagi Shinnosuke
テストコードの DRY と DAMP
テストコードの DRY と DAMP
Yusuke Kagata
Photon Fusionのはじめの一歩
Photon Fusionのはじめの一歩
聡 大久保
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
エピック・ゲームズ・ジャパン Epic Games Japan
Riderはいいぞ!
Riderはいいぞ!
UnityTechnologiesJapan002
WebRTCのオーディオ処理の謎、誰か教えて!
WebRTCのオーディオ処理の謎、誰か教えて!
mganeko
低レイヤー入門
低レイヤー入門
demuyan
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
Contest Ntt-west
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
モノビット エンジン
ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
SFUの話
SFUの話
tnoho
WebRTCとSFU
WebRTCとSFU
Saki Homma
Tizen web app について調べたよ
Tizen web app について調べたよ
Naruto TAKAHASHI
More Related Content
What's hot
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
Kohei Tokunaga
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Kazuhiro Suga
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
gree_tech
通信対戦ゲームを作った話
通信対戦ゲームを作った話
mipsparc
Jetson活用セミナー ROS2自律走行実現に向けて
Jetson活用セミナー ROS2自律走行実現に向けて
Fixstars Corporation
大規模ゲーム開発における build 高速化と安定化
大規模ゲーム開発における build 高速化と安定化
DeNA
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
智啓 出川
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
Yasuhiro Mawarimichi
HTTP/2 入門
HTTP/2 入門
Yahoo!デベロッパーネットワーク
Pcapngを読んでみる
Pcapngを読んでみる
Yagi Shinnosuke
テストコードの DRY と DAMP
テストコードの DRY と DAMP
Yusuke Kagata
Photon Fusionのはじめの一歩
Photon Fusionのはじめの一歩
聡 大久保
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
エピック・ゲームズ・ジャパン Epic Games Japan
Riderはいいぞ!
Riderはいいぞ!
UnityTechnologiesJapan002
WebRTCのオーディオ処理の謎、誰か教えて!
WebRTCのオーディオ処理の謎、誰か教えて!
mganeko
低レイヤー入門
低レイヤー入門
demuyan
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
Contest Ntt-west
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
モノビット エンジン
ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
SFUの話
SFUの話
tnoho
What's hot
(20)
コンテナ未経験新人が学ぶコンテナ技術入門
コンテナ未経験新人が学ぶコンテナ技術入門
DockerコンテナでGitを使う
DockerコンテナでGitを使う
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
Docker と ECS と WebSocket で最強のマルチプレイ・ゲームサーバを構築
通信対戦ゲームを作った話
通信対戦ゲームを作った話
Jetson活用セミナー ROS2自律走行実現に向けて
Jetson活用セミナー ROS2自律走行実現に向けて
大規模ゲーム開発における build 高速化と安定化
大規模ゲーム開発における build 高速化と安定化
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
2015年度GPGPU実践プログラミング 第6回 パフォーマンス解析ツール
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
HTTP/2 入門
HTTP/2 入門
Pcapngを読んでみる
Pcapngを読んでみる
テストコードの DRY と DAMP
テストコードの DRY と DAMP
Photon Fusionのはじめの一歩
Photon Fusionのはじめの一歩
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
UE4ディープラーニングってやつでなんとかして!環境構築編(Python3+TensorFlow)
Riderはいいぞ!
Riderはいいぞ!
WebRTCのオーディオ処理の謎、誰か教えて!
WebRTCのオーディオ処理の謎、誰か教えて!
低レイヤー入門
低レイヤー入門
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
ORB-SLAMの手法解説
ORB-SLAMの手法解説
SFUの話
SFUの話
Similar to WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
WebRTCとSFU
WebRTCとSFU
Saki Homma
Tizen web app について調べたよ
Tizen web app について調べたよ
Naruto TAKAHASHI
Webページが表示されるまで
Webページが表示されるまで
Masataka Suzuki
Windows Windows上に作るチーム開発環境
Windows Windows上に作るチーム開発環境
Tadahiro Ishisaka
AI分野におけるコンテナオーケストレーションとは
AI分野におけるコンテナオーケストレーションとは
Tetsurou Yano
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
Tetsutaro Watanabe
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
Yusuke Naka
HTML5によるリアルタイムコミュニケーション WebRTCの概説
HTML5によるリアルタイムコミュニケーション WebRTCの概説
You_Kinjoh
NIFcLab Tech Laboratoryはじめます(もうすぐ)
NIFcLab Tech Laboratoryはじめます(もうすぐ)
富士通クラウドテクノロジーズ株式会社
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
NTT Communications Technology Development
PreadNet
PreadNet
Junya Kuwada
コンテナ技術と普及がシステム・インテグレータに与える影響
コンテナ技術と普及がシステム・インテグレータに与える影響
Masahito Zembutsu
My portfolio
My portfolio
ssuserc2210b
201110 01 Polytech Center 1
201110 01 Polytech Center 1
openrtm
5分で分るWebRTCコーデックウォーズ
5分で分るWebRTCコーデックウォーズ
Yusuke Naka
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化
Hirokazu Kutsu
WebRTCについて
WebRTCについて
BeMarble
Mithril
Mithril
Yoshiki Shibukawa
Infocom webrtc conference japan
Infocom webrtc conference japan
mganeko
実装だって楽したい!〜リアルタイム通信はじめの一歩〜
実装だって楽したい!〜リアルタイム通信はじめの一歩〜
Yuka Tokuyama
Similar to WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
(20)
WebRTCとSFU
WebRTCとSFU
Tizen web app について調べたよ
Tizen web app について調べたよ
Webページが表示されるまで
Webページが表示されるまで
Windows Windows上に作るチーム開発環境
Windows Windows上に作るチーム開発環境
AI分野におけるコンテナオーケストレーションとは
AI分野におけるコンテナオーケストレーションとは
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
HTML5によるリアルタイムコミュニケーション WebRTCの概説
HTML5によるリアルタイムコミュニケーション WebRTCの概説
NIFcLab Tech Laboratoryはじめます(もうすぐ)
NIFcLab Tech Laboratoryはじめます(もうすぐ)
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
PreadNet
PreadNet
コンテナ技術と普及がシステム・インテグレータに与える影響
コンテナ技術と普及がシステム・インテグレータに与える影響
My portfolio
My portfolio
201110 01 Polytech Center 1
201110 01 Polytech Center 1
5分で分るWebRTCコーデックウォーズ
5分で分るWebRTCコーデックウォーズ
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化
WebRTCについて
WebRTCについて
Mithril
Mithril
Infocom webrtc conference japan
Infocom webrtc conference japan
実装だって楽したい!〜リアルタイム通信はじめの一歩〜
実装だって楽したい!〜リアルタイム通信はじめの一歩〜
More from tnoho
WebRTC と Native とそれから、それから。
WebRTC と Native とそれから、それから。
tnoho
WebRTC配信とハードウェアエンコーダ
WebRTC配信とハードウェアエンコーダ
tnoho
IoTをインターネット越しで見る
IoTをインターネット越しで見る
tnoho
Jitsi video bridge で遊んでみた
Jitsi video bridge で遊んでみた
tnoho
スマートフォン電子回路をつなごう
スマートフォン電子回路をつなごう
tnoho
mbedを用いたラピッドプロトタイピングのススメ
mbedを用いたラピッドプロトタイピングのススメ
tnoho
More from tnoho
(6)
WebRTC と Native とそれから、それから。
WebRTC と Native とそれから、それから。
WebRTC配信とハードウェアエンコーダ
WebRTC配信とハードウェアエンコーダ
IoTをインターネット越しで見る
IoTをインターネット越しで見る
Jitsi video bridge で遊んでみた
Jitsi video bridge で遊んでみた
スマートフォン電子回路をつなごう
スマートフォン電子回路をつなごう
mbedを用いたラピッドプロトタイピングのススメ
mbedを用いたラピッドプロトタイピングのススメ
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
1.
WebRTCを利用した 遠隔リアルタイム映像処理 フレームワークの実装 @tnoho
2.
自己紹介 @tnoho 通信屋で働くサラリーマン プログラミングと電子工作が趣味
WebRTC界隈の勉強会によくいます 今回は表記のものを開発したので、参加させて頂きました。
3.
深層学習のリアルタイム処理 Real-Time とか
Fast とか書いて、fpsが併記されていたりする 速度を気にする人は当然のごとく TITAN X で検証している 動くのを見ているとカメラを繋いで遊びたくなってくる
4.
カメラと繋いでリアルタイム処理検証 500W超の電源を持ち運ぶことになる エンジン発電機クラスが最低でも必要 一緒にATXのケースも… プリウスなら1500Wまで行ける!
5.
間口を広げたい 現状においては、ちょっと試すのが難しい 少ない研究者だけで用途を考えている状況 想定された用途と実際の用途は必ずしも一致しない 間口を広げ利用者を増やすのであれば、 最低でもスマートフォンで動いて欲しい!
6.
スマートフォンで動かすには Android, iOS
版の TensorFlow を利用する? ただリアルタイムのパフォーマンスは… スマートフォンではなく、 サーバに処理を任せられないか
7.
WebRTCとは Webブラウザでリアルタイムの映像/音声通信を行える規格 HangoutやSkypeなどでも使われている 特徴 ロイヤリティーフリー プラグインフリー
高速・低レイテンシ NAT越え標準搭載(ルーター設定不要) ほとんどのブラウザーが対応
8.
WebRTCで映像を送って解析する WebRTCを利用すれば、どこにでもあるブラウザから リアルタイムの映像を送ることができる GPUを搭載したサーバ側で、それを解析できるようにすれば、 どこからでも強力なGPUを利用した映像解析が可能になる
9.
デモ
10.
デモの構成 クライアントから送られてきた映像を TITAN X
の載ったデスクトップで YOLO (darknet) を用いて物体検出、結果の枠を合成して返送 WebRTC Client Desktop Computer 物体検出 結果合成 WebRTCModule TensorFlow TITANX WebRTC Internet
11.
pyrtcconductor クライアントと WebRTC 接続を行い、送られてきたフレームを OpenCV
形式で出力するPythonモジュール 機能 映像受信して、OpenCV 形式で出力 Python で加工したフレームを WebRTC で送信 WebRTC の DataChannel を利用したデータ通信 映像の自由なハンドリング
12.
簡単に移植できる 出力されるフレームは OpenCV 形式 imread
や imshow を使っているプログラムなら容易に移植することが可能 グレイスケール化と左右反転なら frame = imread(filename) flipped = cv2.flip(frame, 1) gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY) imshow(gray, gray) def onFrame(frame, timestamp): flipped = cv2.flip(frame, 1) gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY) effectedVideoSink.pushFrame(gray) リアルタイム処理化前 リアルタイム処理化後
13.
簡単に利用できる 煩雑なWebRTCの接続処理は全てモジュール内で実行 ユーザー記述は通常の1/10以下に削減 pyrtcconductor Webブラウザ User Program Javascript SDK Python User Program WebRTC signaling
14.
もっと広く/もっと簡単に pyrtcconductorと必要なサーバをまとめて提供 …
開発中 GitHubアカウントなどで誰でも、無償で、すぐに使えるように OSS化 … 頑張る 法務の壁が…実績がないと… 共同研究という名目での提供 お声がけください!
15.
用途の拡大 スマートフォンやパソコンだけでなく組み込みにも Raspberry
Pi WebRTC Clientの開発 … 開発中 Raspberry Pi Zero で動作 ハードウェア支援機能を利用 省電力化によるロボット、ラジコンの制御 監視カメラ、アクションカメラ、IoTなどへの拡大 1:1だけでなく配信にも WebRTC配信サーバとの接続 … 計画中
16.
EOF いらすとやさんのイラストでお送りしました。
Download now