SlideShare a Scribd company logo
1 of 36
Download to read offline
Holoeyes Inc.
患者のCTデータから作成
肝臓がん術前カンファレンス 都⽴墨東病院   
オペ室ではMixed Realityを使う
術野に3Dを表⽰
VRで脊椎へのスクリューのインプラント
スクリューの位置からバーチャルな棒を⽴てる
⾚ちゃんの様⼦をMixed Realityで表⽰
CEO/CTO ⾕⼝直嗣
3D、VR、ロボットに
精通するテクノロジスト
COO 杉本真樹
外科医、
国際医療福祉⼤学准教授
CSO 新城 健⼀
AllAbout創業から
上場までプロデューサー
として参画。
Medical * Technology * Internet
HoloEyes は医療の世界で
VRとAIで
デジタルトランスフォーメーション
を推進します。
Machine Learningのニーズ
Segmentation
Marchine Cube
Polygon
Segmentation Challengeを発⾒
論⽂調査のポイント
肝臓、すい臓、⻭などの論⽂を調査
その後、先⽇ダウンロードした全24論⽂を
以下の点について横断的に調査
どんなデータセットを採⽤しているか?
フレームワークの種類、プログラムの公開状況、および計算の再現性。
医⽤画像セグメンテーションの特徴1
データセット
セット数が少ない: ⼤体数⼗セット
Data Augmentation
数⼗万オーダにデータを増やす
対象の特徴に合わせた⼿法
elastic deformationなど
医⽤画像セグメンテーションの特徴2
ネットワーク
CNN (U-net含む)
VNet, Cumedなど3次元セグメンテーションもある
loss関数
クロスエントロピー, DICE係数など
データフォーマット
DICOM形式 / MHD形式
CT値/MRI信号強
データセット
MRI
解像度 320 * 320 * 20
セット数 : 50
セグメンテーションシステムの構成
画像⼊⼒
正規化
Data Augmentation
VNet
Connected component analysis
DICOM出⼒
Data Augmentation
ヒストグラムマッチング
ヒストグラムを変換し、原画像のコントラスト変える
Image Deformation
B-spline変換
B-splineでの近似曲線のパラメータを変換
他に医⽤画像系では、回転、反転なども
VNet
3D(Volume)の
セグメンテーション
Down ConvとUp Conv
学習条件・環境
30000 step
azure GPU K80
Caffe
Connected Component Analysis
空間連結
⾮連結領域の除去
CaffeからChainerへ
Caffeのネットワークの記述はprototextに定義
全部Pythonのコードの⽅が気持ちがいい
マルチGPUを考えてChainerを採⽤
data augmentationはchainer.dataset.DatasetMixinクラスを⽤
いて実装することで動的に⽣成できる。
これでGPUで全計算可能、かつcaffeではできなかった動的⽣成によ
り精度向上も期待される。
CTスキャンデータをChainerベースの
システムで学習、セグメンテーション
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用
deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用

More Related Content

Similar to deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用

投資会社から見た人工知能(Ai)の事業化トレンド
投資会社から見た人工知能(Ai)の事業化トレンド投資会社から見た人工知能(Ai)の事業化トレンド
投資会社から見た人工知能(Ai)の事業化トレンドOsaka University
 
医用画像情報イントロダクション Ver.1 0_20160726
医用画像情報イントロダクション Ver.1 0_20160726医用画像情報イントロダクション Ver.1 0_20160726
医用画像情報イントロダクション Ver.1 0_20160726Tatsuaki Kobayashi
 
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体について
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体についてニコニコ学会データ分析研究会 第一回伊豫田発表 全体について
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体についてAkihiko Iyoda
 
介護医療業界におけるマイクロソフトテクノロジー動向
介護医療業界におけるマイクロソフトテクノロジー動向介護医療業界におけるマイクロソフトテクノロジー動向
介護医療業界におけるマイクロソフトテクノロジー動向Daisuke Masubuchi
 
プロ直伝 伝わるデータビジュアル術
プロ直伝 伝わるデータビジュアル術プロ直伝 伝わるデータビジュアル術
プロ直伝 伝わるデータビジュアル術E2D3.org
 
中国のAI産業状況、スタートアップ情報リサーチ
中国のAI産業状況、スタートアップ情報リサーチ中国のAI産業状況、スタートアップ情報リサーチ
中国のAI産業状況、スタートアップ情報リサーチYangnuoLiu
 
バーチャルリアリティ(VR)概要
バーチャルリアリティ(VR)概要バーチャルリアリティ(VR)概要
バーチャルリアリティ(VR)概要Kurata Takeshi
 
第1回医用画像データマネージメント研究会 20170118 slideshare
第1回医用画像データマネージメント研究会 20170118 slideshare第1回医用画像データマネージメント研究会 20170118 slideshare
第1回医用画像データマネージメント研究会 20170118 slideshareTatsuaki Kobayashi
 
Introduction of japan biodesign program.
Introduction of japan biodesign program.Introduction of japan biodesign program.
Introduction of japan biodesign program.Kunpeng Cai
 
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方Deep Learning Lab(ディープラーニング・ラボ)
 
20151104 health2.0 in Japan - clinical big data and subjects
20151104 health2.0 in Japan - clinical big data and subjects20151104 health2.0 in Japan - clinical big data and subjects
20151104 health2.0 in Japan - clinical big data and subjectsNaotoKume
 
PDRと統合測位で製造業の『働き方改革』!
PDRと統合測位で製造業の『働き方改革』!PDRと統合測位で製造業の『働き方改革』!
PDRと統合測位で製造業の『働き方改革』!Kurata Takeshi
 
サービス学とか何か(応用サービス工学)
サービス学とか何か(応用サービス工学)サービス学とか何か(応用サービス工学)
サービス学とか何か(応用サービス工学)Kurata Takeshi
 
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTT DATA Technology & Innovation
 
世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー世界を変える先端Itテクノロジー
世界を変える先端ItテクノロジーSatoshi Maemoto
 
国際標準化におけるAR/MR用語の使われ方
国際標準化におけるAR/MR用語の使われ方国際標準化におけるAR/MR用語の使われ方
国際標準化におけるAR/MR用語の使われ方Kurata Takeshi
 

Similar to deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用 (20)

投資会社から見た人工知能(Ai)の事業化トレンド
投資会社から見た人工知能(Ai)の事業化トレンド投資会社から見た人工知能(Ai)の事業化トレンド
投資会社から見た人工知能(Ai)の事業化トレンド
 
医用画像情報イントロダクション Ver.1 0_20160726
医用画像情報イントロダクション Ver.1 0_20160726医用画像情報イントロダクション Ver.1 0_20160726
医用画像情報イントロダクション Ver.1 0_20160726
 
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体について
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体についてニコニコ学会データ分析研究会 第一回伊豫田発表 全体について
ニコニコ学会データ分析研究会 第一回伊豫田発表 全体について
 
DLLAB Healthcare Day 2021 Event Report
DLLAB Healthcare Day 2021 Event ReportDLLAB Healthcare Day 2021 Event Report
DLLAB Healthcare Day 2021 Event Report
 
介護医療業界におけるマイクロソフトテクノロジー動向
介護医療業界におけるマイクロソフトテクノロジー動向介護医療業界におけるマイクロソフトテクノロジー動向
介護医療業界におけるマイクロソフトテクノロジー動向
 
プロ直伝 伝わるデータビジュアル術
プロ直伝 伝わるデータビジュアル術プロ直伝 伝わるデータビジュアル術
プロ直伝 伝わるデータビジュアル術
 
中国のAI産業状況、スタートアップ情報リサーチ
中国のAI産業状況、スタートアップ情報リサーチ中国のAI産業状況、スタートアップ情報リサーチ
中国のAI産業状況、スタートアップ情報リサーチ
 
バーチャルリアリティ(VR)概要
バーチャルリアリティ(VR)概要バーチャルリアリティ(VR)概要
バーチャルリアリティ(VR)概要
 
両眼立体視可能なスマートグラス を用いた3Dモデル可視化アプリの 開発
両眼立体視可能なスマートグラス を用いた3Dモデル可視化アプリの 開発両眼立体視可能なスマートグラス を用いた3Dモデル可視化アプリの 開発
両眼立体視可能なスマートグラス を用いた3Dモデル可視化アプリの 開発
 
第1回医用画像データマネージメント研究会 20170118 slideshare
第1回医用画像データマネージメント研究会 20170118 slideshare第1回医用画像データマネージメント研究会 20170118 slideshare
第1回医用画像データマネージメント研究会 20170118 slideshare
 
Introduction of japan biodesign program.
Introduction of japan biodesign program.Introduction of japan biodesign program.
Introduction of japan biodesign program.
 
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
AIによる細胞診支援技術の紹介と、AI人材が考える医療バイオ領域における参入障壁の乗り越え方
 
20151104 health2.0 in Japan - clinical big data and subjects
20151104 health2.0 in Japan - clinical big data and subjects20151104 health2.0 in Japan - clinical big data and subjects
20151104 health2.0 in Japan - clinical big data and subjects
 
PDRと統合測位で製造業の『働き方改革』!
PDRと統合測位で製造業の『働き方改革』!PDRと統合測位で製造業の『働き方改革』!
PDRと統合測位で製造業の『働き方改革』!
 
サービス学とか何か(応用サービス工学)
サービス学とか何か(応用サービス工学)サービス学とか何か(応用サービス工学)
サービス学とか何か(応用サービス工学)
 
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)
人と機械の協働によりデータ分析作業の効率化を目指す協働型機械学習技術(NTTデータ テクノロジーカンファレンス 2020 発表資料)
 
世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー
 
国際標準化におけるAR/MR用語の使われ方
国際標準化におけるAR/MR用語の使われ方国際標準化におけるAR/MR用語の使われ方
国際標準化におけるAR/MR用語の使われ方
 
ils2023
ils2023ils2023
ils2023
 
ils2023
ils2023ils2023
ils2023
 

More from Naoji Taniguchi

キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料
キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料
キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料Naoji Taniguchi
 
H3第40回「ヘルスケアVR超入門」
H3第40回「ヘルスケアVR超入門」H3第40回「ヘルスケアVR超入門」
H3第40回「ヘルスケアVR超入門」Naoji Taniguchi
 
ヘルスケア分科会ディスカッション
ヘルスケア分科会ディスカッションヘルスケア分科会ディスカッション
ヘルスケア分科会ディスカッションNaoji Taniguchi
 
Deep Learningを使って前立腺のセグメンテーションからVR化
Deep Learningを使って前立腺のセグメンテーションからVR化Deep Learningを使って前立腺のセグメンテーションからVR化
Deep Learningを使って前立腺のセグメンテーションからVR化Naoji Taniguchi
 
HoloEyes株式会社紹介
HoloEyes株式会社紹介HoloEyes株式会社紹介
HoloEyes株式会社紹介Naoji Taniguchi
 
Practical game development with Stingray 2
Practical game development with Stingray 2Practical game development with Stingray 2
Practical game development with Stingray 2Naoji Taniguchi
 
Science museum with_sketch
Science museum with_sketchScience museum with_sketch
Science museum with_sketchNaoji Taniguchi
 
Practical game development with Stingray
Practical game development with StingrayPractical game development with Stingray
Practical game development with StingrayNaoji Taniguchi
 
Practical use of game engine in CG and Robotics
Practical use of game engine in CG and RoboticsPractical use of game engine in CG and Robotics
Practical use of game engine in CG and RoboticsNaoji Taniguchi
 
VRを使ったビジュアライゼーションの可能性について @Unite 2015 Tokyo
VRを使ったビジュアライゼーションの可能性について @Unite 2015 TokyoVRを使ったビジュアライゼーションの可能性について @Unite 2015 Tokyo
VRを使ったビジュアライゼーションの可能性について @Unite 2015 TokyoNaoji Taniguchi
 
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」Naoji Taniguchi
 
VRを使ったData Visualizationの可能性について
VRを使ったData Visualizationの可能性についてVRを使ったData Visualizationの可能性について
VRを使ったData Visualizationの可能性についてNaoji Taniguchi
 
ウェアラブルVRの現状と未来
ウェアラブルVRの現状と未来ウェアラブルVRの現状と未来
ウェアラブルVRの現状と未来Naoji Taniguchi
 

More from Naoji Taniguchi (20)

Vaniimenu and Holoeyes
Vaniimenu and HoloeyesVaniimenu and Holoeyes
Vaniimenu and Holoeyes
 
キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料
キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料
キングサーモンプロジェクト スタートアップ・エコシステム 東京コンソーシアム 学生向け講演資料
 
H3第40回「ヘルスケアVR超入門」
H3第40回「ヘルスケアVR超入門」H3第40回「ヘルスケアVR超入門」
H3第40回「ヘルスケアVR超入門」
 
Pillow2.0
Pillow2.0Pillow2.0
Pillow2.0
 
ヘルスケア分科会ディスカッション
ヘルスケア分科会ディスカッションヘルスケア分科会ディスカッション
ヘルスケア分科会ディスカッション
 
Robo diorama
Robo dioramaRobo diorama
Robo diorama
 
深掘りARKit
深掘りARKit深掘りARKit
深掘りARKit
 
Deep Learningを使って前立腺のセグメンテーションからVR化
Deep Learningを使って前立腺のセグメンテーションからVR化Deep Learningを使って前立腺のセグメンテーションからVR化
Deep Learningを使って前立腺のセグメンテーションからVR化
 
HoloEyes株式会社紹介
HoloEyes株式会社紹介HoloEyes株式会社紹介
HoloEyes株式会社紹介
 
VR元年のその次へ
VR元年のその次へVR元年のその次へ
VR元年のその次へ
 
心臓のお勉強
心臓のお勉強心臓のお勉強
心臓のお勉強
 
Practical game development with Stingray 2
Practical game development with Stingray 2Practical game development with Stingray 2
Practical game development with Stingray 2
 
Science museum with_sketch
Science museum with_sketchScience museum with_sketch
Science museum with_sketch
 
Practical game development with Stingray
Practical game development with StingrayPractical game development with Stingray
Practical game development with Stingray
 
Practical use of game engine in CG and Robotics
Practical use of game engine in CG and RoboticsPractical use of game engine in CG and Robotics
Practical use of game engine in CG and Robotics
 
VRを使ったビジュアライゼーションの可能性について @Unite 2015 Tokyo
VRを使ったビジュアライゼーションの可能性について @Unite 2015 TokyoVRを使ったビジュアライゼーションの可能性について @Unite 2015 Tokyo
VRを使ったビジュアライゼーションの可能性について @Unite 2015 Tokyo
 
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」
デブサミ2015版「VRを使った データビジュアライゼーションの 可能性について」
 
VRを使ったData Visualizationの可能性について
VRを使ったData Visualizationの可能性についてVRを使ったData Visualizationの可能性について
VRを使ったData Visualizationの可能性について
 
ウェアラブルVRの現状と未来
ウェアラブルVRの現状と未来ウェアラブルVRの現状と未来
ウェアラブルVRの現状と未来
 
Ocu tonetmcn
Ocu tonetmcnOcu tonetmcn
Ocu tonetmcn
 

deep learningによるCTスキャン画像シーケンスの3次元セグメンテーションからのMixed Realityでの活用