医用画像における解剖学的ランドマークの検出、定義および応用
•Download as PPTX, PDF•
1 like•8,283 views
Detection, definition and application of anatomical landmarks in medical images My thesis for Ph. D. in Engineering.
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 医用画像における解剖学的ランドマークの検出、定義および応用
Similar to 医用画像における解剖学的ランドマークの検出、定義および応用 (18)
医用画像における解剖学的ランドマークの検出、定義および応用
- 1. Detection, definition and application of anatomical landmarks in medical images 花岡 昇平
- 3. 解剖学的 ランドマーク • 解剖学的ランドマーク： • “おおむね”解剖学的に 定義されたランドマーク ↔ 操作的に定義されたラ ンドマーク • 解剖の教科書に載って いる“医学の共通知識” • “おおむね”1点として定 義されるもの 3/96
- 4. 解剖学的ランドマーク： なぜ重要か？ • どの個体にもある（existence） – ヒトの体の個体間 多様性を御する入口 • 誰でも似た形をしている（small interindividual variety） – 学習すれば検出できる • 身体のなかで他に似た構造がない（uniqueness） – ユニークに位置を同定できる • 重要な臓器/組織上に定義されている(clinical importance) – 応用上重要である 4/96
- 5. 医用画像処理①: レジストレー ション • 2つの画像間での位置合わせ • ex. 同一患者間でのCT画像と MRI画像の位置合わせ • ex. 異なる患者間でのCT画像の 位置合わせ • しばしば非常に難しい問題 • 解はℝ3 からℝ3 への一対一写 像: 自由度無限大 • 写像の滑らかさなどの正則化 項を加えたエネルギー最小化 問題として解くのが一般的 5/96 解剖学的ランドマーク位置情報を エネルギー最小化に利用
- 6. 医用画像処理②:セグメンテー ション • 医用画像から、特定の臓器 （脳、肺、肝、腎、etc…）の領域 を抽出する問題 • 臓器の形状の個人差のため、 やはり難しい問題 • レジストレーション技術を用い たマルチアトラスセグメンテー ション手法がしばしば使われ る 古賀 道雄 et al. 腹部複数スライスCT画像における肝臓領域自動抽出に関する研究. CVIM 187(21) 6/96
- 7. 本研究の目的と構成 7/96 2. ランドマークの自動検出 ランドマークガイデッド レジストレーション 4. 脊柱・骨盤骨のセグメン テーション 3. ランドマークの自動定義 5. 動脈瘤の自動検出
- 8. 2. Automatic detection of landmarks 8/96
- 9. Anatomical landmark detection system • 197個のランドマークを 自動検出: • 脊椎 120 landmarks • 骨盤 36 landmarks ランドマーク自動検出システム（Nemoto et al., SPIE 2011）における ランドマーク検出結果例 thoracic lumbarcervical 9/96
- 10. ランドマーク検出システム: 要求 仕様 • 事前に定義された約200の解剖学的ランドマーク をCT画像から検出 • さまざまなCT画像に対応： • 造影剤の有無 • さまざまな撮像範囲 • 検出器の検出失敗や撮像範囲外、ランドマーク構 造の非存在（e.g. 手術後）にまで対応 • 脊椎の各骨のレベル推定 10/96
- 11. 対象ランドマーク例 11/96 SubjectABC Axial Sagittal Fig. 1. Example of a landmark with large inter-individual variation (the root of the celiac artery).
- 12. 対象ランドマーク例 12/96 Axial Sagittal Axial Coronal Fig. 2. Examples of landmarks with repetitive shapes. (Left from top) Tips of the spinal processes of the 4th, 5th and 6th thoracic vertebrae. (Right from top) Tips of the transverse processes of the 1st, 2nd and 3rd lumbar vertebrae.
- 14. ランドマークの初期検出 • ランドマーク毎に独立に検出 • 482の画像特徴量を用いたsliding window法（Nemoto et al.） 14/96 60 local-appearance-model-derived features: ( Principal-component score, residual L2 norm, Mahalanobis distance from the mean) × Number of eigenvectors used to compose the model subspace (min. 1 to max. 20) 342 Haar features (Tu et al., 2006) 19 types of rectangular solid mask combination × 9 ROI cube sizes × 2 preprocessing (original volume or top-hat-filtered with 4 mm kernel radius) 40 Hu-moment features (Prokop and Reeves, 1992) 5 types of moments × 4 sizes of spherical ROI (2, 4, 6, 8 mm) × 2 preprocessing (original volume or top-hat-filtered with 4 mm kernel radius) 32 Hessian matrix-derived features 4 types (mean and Gaussian curvatures, shape index, curvedness) × 4 sizes of Gaussian smoothing σ (2, 4, 6, 8 mm) × 2 preprocessing (original volume or top-hat-filtered with 4 mm kernel radius) 8 DoG features (Lowe, 2004) 4 pairs of Gaussian smoothers σ: (2,4), (4,6), (6,8), (8, 10) mm × 2 preprocessing (original volume or top-hat-filtered with 4 mm kernel radius) Total = 482
- 15. ランドマーク識別器のstochastic model input: 3-D volume 𝑉: ℝ3 → ℝ output: a set 𝑆 = 𝜃𝑖 where 𝜃𝑖 = 𝐜𝑖, 𝑢𝑖 , 𝑖 = 1,2, … , 𝑆 𝐜𝑖 ∈ ℝ3: candidate position 𝑢𝑖 ∈ ℝ: detector-derived likelihood 16/96
- 16. ランドマーク識別器のstochastic model: single candidate model 17/96 0 50 100 150 200 250 300 350 400 450 500 -7 -6 -5 -4 -3 -2 -1 0 -0.075 0.025 0.125 0.225 0.325 0.425 0.525 0.625 counts logodds detector output score u estimated & real log odds (T6 intervertebral disk posterior) FP counts TP counts estimated log odds real log odds a0 = -3.97 a1 = 14.62 a2 = 0.339 𝑝𝑡𝑟𝑢𝑒 𝑢 = 𝑎2 1 + 𝑎2 ⋅ exp 𝑎0 + 𝑎1 𝑢 1 + exp 𝑎0 + 𝑎1 𝑢 𝑎0, 𝑎1, 𝑎2 : detector-dependent parameters
- 17. ランドマーク識別器のstochastic model: multicandidate model Detector-derived likelihoods: 𝐮 = 𝑢1, 𝑢2, … , 𝑢 𝑆 The probability of each candidate 𝐜 𝑘 being true positive: 𝑝 𝐜 𝑘 ∈ 𝑅𝑡𝑟𝑢𝑒 𝐮 = 1 𝐶 ⋅ 1 − 𝑝0 𝑆 ⋅ 𝑟𝑝𝑟𝑖𝑜𝑟 −1 ⋅ 𝑝𝑡𝑟𝑢𝑒(𝑢 𝑘) 1 − 𝑝𝑡𝑟𝑢𝑒(𝑢 𝑘) The probability of all candidate 𝐜𝑖, ∀𝑖 being false positive: 𝑝 𝐜𝑖 ∉ 𝑅𝑡𝑟𝑢𝑒, ∀𝑖 𝐮 = 1 𝐶 ⋅ 𝑝0 18/96
- 18. Landmark point distribution model (L-PDM) 19/96 p(X) mean G covar. matrix V )()( GX pp prior probability distribution （multiple Gaussian distribution of G） * xm x1x2 x3 MM ji xx xx xx xx G 1 31 21 Inter-landmark distance vector G
- 19. MAP estimation 2.ランドマーク位置の 事前確率分布 (Based on distances between LMs) I1 I2 IL … 1.ランドマーク検出器 3. MAP 推定 ランドマーク位置の最適 組み合わせ X1 X2 XL … X1 X2 X3 X4 ˆ ˆ ˆ p(X) I I|maxargˆ Xx X p xˆ 20/96
- 20. Proposed two-stage sampling 21/96 1st sampling Estimated continuous distribution Landmark detector output Detector-derived candidates Pre-sampled artificial candidates Posteriorprobabilitycalculation Landmark PDM Sampled positions of other landmarks Detector-derived candidates with probabilities Artificial candidates with probabilities Iterative estimation Sampled position 2nd sampling Two-stage sampling algorithm Iteration
- 21. Results 23/96
- 22. Results 24/96 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 count error distance (mm) Histogram of error distances soft other pelvis spine 0 20 40 60 80 100 35 40 45 50 55 60 65 70 75 80 85 90 95 100 count
- 23. Results: vertebral centroid detection trial Glocker et al. Proposed Median Mean Std. Id. % Median Mean Std. Id. % All 8.8 12.4 11.2 70 7.5 14.6 28.8 70 Cervical 5.9 7.0 4.7 80 5.6 6.8 4.7 81 Thoracic 9.8 13.8 11.8 62 7.8 13.8 16.7 66 Lumbar 10.2 14.3 12.3 75 10.4 24.4 52.0 69 25/96
- 24. Results: vertebral centroid detection trial 26/96
- 26. 3. Automatic definition of anatomical landmark 28/96
- 27. • 基礎技術としてレジストレーションを用い、 • 巨大画像データベースから • 全自動で • 多数の人体ランドマークを • 定義する基礎手法の確立 目的： ランドマーク自動定義 29/96
- 29. 手法 – アウトライン • 完全自動で、“解剖学的”構造上にランドマークを 定義する • 多数（𝑁 = 50）の症例の体幹部CTデータセットを 使用 • 全ての症例ペアを非剛体位置合わせ • landmark-guided diffeomorphic demons algorithmを使 用 • すべての症例トリプレットについて、位置合わせの 一貫性(triangular consistency criterion; TCC)をボ クセル毎に評価 • TCCが小さい点を解剖学的ランドマークとして定義 31/96
- 30. TCC • 𝑀𝑖𝑗 𝐱 : 症例𝑖上の点𝐱に 対応する症例𝑗上の点（レ ジストレーション結果から 演算） 𝑇𝐶𝐶𝑖𝑗𝑘(𝐱) = 𝐱 − 𝑀 𝑘𝑖 𝑀𝑗𝑘 𝑀𝑖𝑗 𝐱 32/96
- 31. TCC • 𝑀𝑖𝑗 𝐱 : 症例𝑖上の点𝐱に 対応する症例𝑗上の点（レ ジストレーション結果から 演算） 𝑇𝐶𝐶𝑖𝑗𝑘(𝐱) = 𝐱 − 𝑀 𝑘𝑖 𝑀𝑗𝑘 𝑀𝑖𝑗 𝐱 レジストレーションが正確 ⇔ TCC小 レジストレーションに矛盾 ⇔ TCC大 33/96
- 32. TCCの例（右） 34/96
- 33. 実験設定 • 頚部~骨盤の単純CT画像50例を使用 • ボクセルサイズ0.977×0.977×1.250の画像を、2mmボクセルサイ ズにリサイズして使用 • すでにヒトにより定義された197点のランドマーク点を手入 力ずみ • 197点のランドマーク点座標位置を用いて、全ての症例ペ アを非剛体位置合わせ • landmark-guided diffeomorphic demons algorithmを使用 • 全ての50C2 = 1225ペアで位置あわせを施行 • 一つのランダムに選んだ症例𝑖について、ほかの2つの画 像ペアとのTCCを演算 • 49 ⋅ 48 = 2352個のTCC画像から、ランドマーク好適性𝑆𝑖 𝐱 を算出 36/96
- 34. 𝑆𝑖 𝐱 (右) 38/96
- 38. 結果: 自動定義ランドマーク例③ • 下大静脈と肝下面のな す角 42/96
- 39. 考察 • 自分で目視して、一意性・再現性がありそうなのは 少なめに見積もって27/48個 • ほかは曲面上の点など • ほぼ全ての点が体幹部内にあった • 腸管や膵には一つの点も得られなかった • 最も多かったのはやはり骨 • 肩甲骨や骨盤骨が最多 • ほかに筋と脂肪の境界や体表面上の点なども 43/96
- 40. 4. Multiatlas-based segmentation of the vertebral and pelvic bones 44/96
- 41. Segmentation of spine and pelvis • 以下の骨で構成される: • Spine 24個(第1頸椎～第5腰椎) • Pelvis 3個(仙骨、左右寛骨（=腸 骨+坐骨+恥骨）) • 悪性腫瘍の骨転移先として高 頻度 • ほかに肋骨、胸骨 45/96
- 42. Multi-atlas segmentation Multiple atlases Registration Registration Registration Label fusion (voxel-by- voxel voting) 46/96
- 43. 目的 • ランドマークによる位置合わ せとグレイスケール画像によ る位置合わせの同時実行 • Diffeomorphic demon’s algorithmをランドマーク情報を 利用できるように改変 • マルチアトラス法を用いた脊 柱+骨盤骨セグメンテーション 47/96
- 44. Diffeomorphism • 微分同相性(diffeomorphism) • 2つの微分可能な多様体の間の写像で、全単射であり、そ の写像関数とその逆関数が滑らかであるもの。(En: wikipedia) • 一対一、可逆、トポロジー保存な写像 • 変形場は一種の写像と見なせる。 ⇒その微分同相性の有無が問題となる。 http://d.hatena.ne.jp/Zellij/201210 48/96
- 45. 微分同相『ではない』変形場 • 3次元ユークリッド空間(≒医用画 像)同士の変形場が微分同相でな くなるのは、 • 変形場により画像が「折りたたまれ る」場合 （folding） • 変形場により画像（の有限領域）が1 点につぶれる場合 がある。 • 普通のdemon’s algorithmでは微 分同相性は保障されない。 49/96
- 46. 微小変形の合成 • 基本的な考え方は • 微小な変形は、つねにdiffeomorphicであ る† • Diffeomorphicな変形の合成は diffeomorphicである • 微小な変形の無数の合成は、やはり diffeomorphicである ⇒微小な変形の合成で、求めるべき変形を 表現する †正確には緩やかな仮定を置く必要がある 50/96
- 47. 変形場 • 変形場(deformation field)の定義はいくつかある： • ここでは、変形場𝑠を、画像𝐼(𝐱)を 𝐼(𝐱) ← 𝐼 𝐱 − 𝐬 𝐱 のように変換するベクトル場𝐬 𝐱 で定義する。 • 画像𝐼を変形場𝑠により変形したものを𝐼 ∘ 𝑠と表記する。すなわ ち、 𝐼 ∘ 𝑠 𝐱 = 𝐼 𝐱 − 𝐬 𝐱 −𝐬 𝐱 𝐱 𝐱 − 𝐬 𝐱 𝐱 𝑠 𝐼 𝐼 ∘ 𝑠 51/96
- 48. 変形場の合成 • 𝐼 ∘ 𝑠をもう一度変形場𝑠により変形することができ る • 𝐼(𝐱) ← 𝐼 𝐱 − 𝐬 𝐱 を2回かけるので、 𝐼 ∘ 𝑠 ∘ 𝑠 𝐱 = 𝐼 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 • 変形𝑠 ∘ 𝑠をベクトル場𝐱 − 𝐬 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 で定 義・演算できる • 何度でも変形場𝑠により変形できる 𝐼 ∘ 𝑠 ∘ 𝑠 ∘ 𝑠 𝐱 = 𝐼 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 − 𝐬 𝐱 • 𝑠が微小変形（∴diffeomorphic）であれば、 𝑠 ∘ 𝑠 ∘ 𝑠 ∘… もdiffeomorphic 52/96
- 49. 変形場のexponential (Vercauteren, 2009) 1. 元となる変形𝑢( 対応するベクトル場𝐮(𝐱) )を考え る。 2. 微小変形2−𝑁 𝑢を、𝐼 ∘ 2−𝑁 𝑢(𝐱) = 𝐼 𝐱 − 2−𝑁 ⋅ （現実には計算量O(N)で計算可能）53/96
- 51. Diffeomorphic demon (Vercauteren, 2009) 1. 変形場𝑠 ← 恒等変換𝐼𝑑 2. 画像からベクトル場（update field）𝐮を演算 𝐮 𝐱 = − Δ𝐼 𝐉 𝐱 2 + Δ𝐼 2 ⋅ 𝐉 𝐱 3. 𝐮をガウシアン平滑化 4. 変形場𝑐 ← 𝑠 ∘ exp(𝑢) 5. 𝐜をガウシアン平滑化 6. 𝑠 ←𝑐 7. goto 2. 55/96 𝐉 𝐱 : ヤコビヤン Δ𝐼 : 2つの画像 の画素値の差
- 53. landmark-guided demons Grayscale画像によるupdate field 𝑢の計算 (Log-domain demons) ランドマーク位置によるupdate field 𝑢 を計算し、 加算 update field 𝑢の平滑化 speed image 𝑣の更新 𝐯 ← 𝐯 + 𝐮 speed image 𝑣の平滑化 変形場 𝑠 = exp(𝐯) の演算 57/96
- 54. 提案手法 1. ランドマーク検出 2. hybrid demonによる位置合わせ アトラス 3. 局所ごとのhistogram matching 4. demonによるfine registration アトラス … アトラス 5. label fusion 58/96
- 55. 実装: • Log-domain demons algorithm + landmark guidance • NVIDIA CUDAによる実装 • Gaussian filterがもっとも時間がかかる ← shared memoryで 高速化 • ほかの部分は特に高速化の工夫なし • メモリ量の束縛により、512x512x512では動作せず • 変形場、update fieldだけでfloat(4byte)*3*2*512*512*512=3.2GB • 2mmボクセルサイズ、256x256x256では1サイクル1秒弱 • 多重解像度アプローチを使用 • 全40サイクルを演算、1分程度 59/96
- 56. 実験 • SpineWebデータセットのトレーニングデータ10例を 使ってハイパーパラメータチューニング • 同、テストデータ10例を使ってテスト • 50例のアトラスからアトラス選択により5例を選択 • 提案手法によりランドマーク検出、アトラス位置合わせ、 ボクセル毎の投票によるマルチアトラスセグメンテー ションを施行 • 評価基準はDice coefficient、平均誤差距離を使用 • ほかのstate-of-the-artの手法と比較 60/96
- 57. Result 61/96
- 58. 結果 62/96
- 59. 結果 0.47 1.09 0.38 0.37 0.56 0.690.64 1.80 5.36 0.82 0.86 1.30 0.00 1.00 2.00 3.00 4.00 5.00 6.00 Forsberg et al. [20] Seitel et al. [30] Hammernik et al. [31] Korez et al. [32] Castro-Mateos et al. [33] Proposed mean error distance (mm) Healthy Osteoporotic 63/96
- 60. 結果 64/96
- 61. 考察 • 性能は他のstate-of-the-artの手法とだいたい同一で あった。 • 同じMultiatlasの手法を使っているForsberg et al.に比べると、 やや性能が低かった。 • 比較的多くの症例で、細部の位置合わせが不安定な 傾向が見られた。 • アトラスの解像度(0.977x0.977x1.250mm)に比べて、今回対 象とした症例の解像度(0.4x0.4x1.0mm程度)がずっと高かっ たため？ • 病的症例でも、ランドマークの検出はおおむね安定し ていた。 • ただし、背側の突起の先端などはそれほどよい精度ではな かった。 65/96
- 62. まとめ • landmark-guided demons algorithmを開発した。 • これを用いたmultiatlas法による脊柱骨盤セグメン テーション手法を開発した。 • SpineWebデータセットを用いて提案手法の性能を 確認した。 • おおむねstate-of-the-artの手法と同等の性能を得 ることができた。 66/96
- 63. 5. HoTPiG: A novel geometrical feature for vessel morphometry and its application to cerebral aneurysm detection 67/96
- 64. 背景 • いわゆる脳ドックにおい て、MR angiographyによ る脳動脈瘤のスクリーニ ング検査が行われてい る • 小さな脳動脈瘤は見落 とされやすいため、CAD の対象となってきた
- 65. 先行研究 • Nomura et al. • 特徴量: • Shape index • 曲率 • Similarity of sphere • 輝度値の統計量 etc. • 識別器: • Madaboost • 性能: • 感度80% @ 3FP/case
- 66. 先行研究 (2) • Nomura et al. • 問題点: • 血管の分枝部をFPとして拾いやすい - 曲率やHessianベース の手法に共通する弱点 • 血管の分枝構造、空間的位置情報をまったく使っていない
- 67. 目的 • 脈管の構造を表現する特 徴量の新規作成 1. 注目ボクセルごとに特徴 量を算出 ⇔既存のグラフ構造特徴量 2. 細線化を経由しない 二値化画像から直接計算 3. トポロジー変化を連続量 のベクトルで表現 4. 既存の特徴量と相補的
- 75. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖
- 76. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖 𝑗 𝑘
- 77. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖 𝑗 𝑘 3つの画素間の距離 𝑖𝑗, 𝑖𝑘, 𝑗𝑘を求 める 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 = (2, 3, 1)
- 78. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖 𝑗 𝑘 3つの画素間の距離 𝑖𝑗, 𝑖𝑘, 𝑗𝑘を求 める 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 = (2, 3, 1) すべての近傍画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖について 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 を求め、3次元ヒストグラムを作成
- 79. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖 𝑗 𝑘 3つの画素間の距離 𝑖𝑗, 𝑖𝑘, 𝑗𝑘を求 める 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 = (1, 3, 2) すべての近傍画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖について 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 を求め、3次元ヒストグラムを作成
- 80. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖 𝑗 𝑘 3つの画素間の距離 𝑖𝑗, 𝑖𝑘, 𝑗𝑘を求 める 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 = (2, 3, 3) すべての近傍画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖について 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 を求め、3次元ヒストグラムを作成
- 81. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖 𝑗 𝑘 3つの画素間の距離 𝑖𝑗, 𝑖𝑘, 𝑗𝑘を求 める 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 = (2, 3, 2) = (1, 3, 2) = (2, 3, 3) ⋮ すべての近傍画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖について 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 を求め、3次元ヒストグラムを作成
- 82. グラフ構造特徴量 2値化3次元画像 18近傍の画素を枝でつないだグ ラフを作成 注目画素𝑖から、18近傍距離が 一定値以下の画素を列挙 列挙された近傍画素𝜘𝑖から 2つの画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖を選ぶ 𝑖 𝜘𝑖 𝑗 𝑘 3つの画素間の距離𝑑𝑖𝑗, 𝑑𝑖𝑘, 𝑑𝑗𝑘 を求める 𝑖𝑗, 𝑖𝑘, 𝑗𝑘 = (2, 3, 2) = (1, 3, 2) = (2, 3, 3) ⋮ すべての近傍画素𝑗 ∈ 𝜘𝑖, 𝑘 ∈ 𝜘𝑖について 𝑑𝑖𝑗, 𝑑𝑖𝑘, 𝑑𝑗𝑘 を求め、3次元ヒストグラムを作成
- 83. 特徴量の分布 ボクセルごとの特徴量ベクトルをk-meansでクラスタリングした結果. 解剖学的に同じ血管には似た特徴量が与えられる 分枝部、直線部にそれぞれ特有の特徴量の傾向がある 太さ情報も加味されている
- 84. 実験 • 症例: 300例(動脈瘤333個) • 病変サイズ2mm – 13mm • 動脈瘤の正解領域は手塗りで入力 • ボクセルサイズ: 約0.5mm • 正解基準: 正解領域の重心距離より3mm以内 • Cross validation: 3-fold
- 85. 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0 5 10 15 20 25 sensitivity #FP 結果 - FROC proposed Nomura et al. Yang et al. AUC = 7.78199199199 @ maxFP = 10 AUC = 90.4442042042 @ maxFP = 100 AUC = 920.173933934 @ maxFP = 1000 sensitivity = 0.3003003003 @ numFP = 1/8 sensitivity = 0.381381381381 @ numFP = 1/4 sensitivity = 0.51951951952 @ numFP = 1/2 sensitivity = 0.612612612613 @ numFP = 1 sensitivity = 0.72972972973 @ numFP = 2 sensitivity = 0.798798798799 @ numFP = 4 sensitivity = 0.858858858859 @ numFP = 8 anode score = 0.600171600172 FP数 3/caseで 従来手法の報告とほ ぼ匹敵
- 87. 考察 • 2値化画像から抽出したグラフ構造特徴量のみで、 従来手法と匹敵する性能が得られた。 • グラフ構造特徴量の利点として、 • 剛体・非剛体変形に対して非常に鈍感 • 細線化の副作用からフリー • 注目画素から比較的遠い構造まで織り込み可能 • トポロジー変化を連続量のベクトルとして表現 • さまざまな2値画像からそれぞれ特徴量を抽出可能 • 欠点としては、 • 2値画像の性質（特にトポロジー）に特徴量が大きく左右さ れる • コントラスト情報がすべて捨てられる • 特徴量の計算時間（1例5分程度）
- 89. Summary • 197個の解剖学的ランドマークを検出するシステム を開発した。 • その応用として、ランドマーク自動定義アルゴリズ ムを試作した。 • また、脊柱・骨盤骨のマルチアトラス法によるセグ メンテーション手法を開発した。 • 新たなHoTPiG特徴量を用いて、脳動脈瘤の自動 検出システムを作成した。 93/96
- 90. Future works • さらなるランドマークの拡充 • 特に膵、胃、腸管など変形の大きな臓器 • MRI画像への応用 • 解剖学的破格症例への応用 • 脊柱骨の数の破格 • HoTPiG特徴量の肺結節検出への応用 94/96
- 91. 業績一覧（学位論文に使用した もの） 1. Hanaoka S, Shimizu A, Nemoto M, Nomura Y, Miki S, Yoshikawa T, Hayashi N, Ohtomo K, Masutani Y. Automatic detection of over 100 anatomical landmarks in medical CT images: a framework with independent detectors and combinatorial optimization. Medical Image Analysis 35:192-214. （第2章） 2. Hanaoka S, Masutani Y, Nemoto M, Nomura Y, Miki S, Yoshikawa T, Hayashi N, Ohtomo K, Shimizu A. Landmark-guided diffeomorphic demons algorithm and its application to automatic segmentation of the whole spine and pelvis in CT images. International Journal of Computer Assisted Radiology and Surgery (accepted). (第4章) 3. Hanaoka S, Nomura Y, Nemoto M, Miki S, Yoshikawa T, Hayashi N, Ohtomo K, Shimizu A. Fully automatic definition of anatomical landmarks in medical images: a feasibility study. Int J CARS 11 (Suppl 1):S166-167, 2016. (第3章) 4. Hanaoka S, Nomura Y, Nemoto M, Miki S, Yoshikawa T, Hayashi N, Ohtomo K, Masutani Y, Shimizu A. HoTPiG: A novel geometrical feature for vessel morphometry and its application to cerebral aneurysm detection. Medical Image Computing and Computer- Assisted Intervention--MICCAI 2015. Springer International Publishing, 2015. 103-110. (第5章) 95/96
- 92. 業績一覧（その他） 1. Hanaoka S, Nomura Y, Nemoto M, Masutani Y, Maeda E, Yoshikawa T, Hayashi N, Yoshioka N, Ohtomo K. Automated segmentation method for spinal column based on a dual elliptic column model and its application for virtual spinal straightening. J Comput Assist Tomogr. 2010 Jan;34(1):156-62. 2. Hanaoka S, Fritscher K, Welk M, Nemoto M, Masutani Y, Hayashi N, Ohtomo K, Schubert R. 3-D graph cut segmentation with Riemannian metrics to avoid the shrinking problem. Med Image Comput Comput Assist Interv. 2011;14(Pt 3):554-61. 3. Hanaoka S, Fritscher KD, Schuler B, Masutani Y, Hayashi N, Ohtomo K, Schubert R. Whole vertebral bone segmentation method with a statistical intensity- shape model based approach. Medical Imaging 2011: Image Processing. Proceedings of the SPIE, Volume 7962, pp. 796242-796242-14 (2011). 4. Hanaoka S, Nomura Y, Nemoto M, Masutani Y, Yoshioka N, Yoshikawa T, Maeda E, Hayashi N, Ohtomo K. Automated segmentation method for spinal column based on parametric model and its application for curved MPR display. Present at Computer Assisted Radiology and Surgery, June 2008. Int J CARS (2008) 3 (Suppl 1):S398-399. 5. Hanaoka S, Masutani Y, Nomura Y, Nemoto M, Yoshikawa T, Hayashi N, Yoshioka N, Ohtomo K. Vertebral body segmentation algorithm for whole spine CT images with various pathological changes. Int J CARS (2010) 5 (Suppl 1):S84-86. 6. Hanaoka S, Masutani Y, Nemoto M, Nomura Y, Yoshikawa T, Hayashi N, Ohtomo K. An improved multiple anatomical landmark detection method with combinatorial optimization and Madaboost-based candidate likelihood determination. Int J CARS (2012) 7 (Suppl 1):S330-331 7. Hanaoka S, Masutani Y, Nemoto M, Nomura Y, Yoshikawa T, Hayashi N, Ohtomo K. Automatic Categorization of Anatomical Landmark-Local Appearances Based on Diffeomorphic Demons and Spectral Clustering for Constructing Detector Ensembles. Med Image Comput Comput Assist Interv. 2012; (Pt 2):106- 113. 8. Hanaoka S, Nomura Y, Nemoto M, Miki S, Yoshikawa T, Hayashi N, Ohtomo K, Shimizu A. Fully automatic definition of anatomical landmarks in medical images: a feasibility study. Int J CARS 11 (Suppl 1):S166-167, 2016 9. Hanaoka S, Masutani Y, Nemoto M, Nomura Y, Yoshikawa T, Hayashi N, Yoshioka N, Ohtomo K. Probabilistic Modeling of Landmark Distances and Structure for Anomaly-proof Landmark Detection. Proceedings of the Third International Workshop on Mathematical Foundations of Computational Anatomy - Geometrical and Statistical Methods for Modelling Biological Shape Variability (2011) 159-169 10. Hanaoka S, Masutani Y, Nemoto M, Nomura Y, Miki S, Yoshikawa T, Hayashi N, Yoshioka N, Ohtomo K. Sparse Gaussian graphical model estimation for spatial distribution of multiple anatomical landmarks in the human body - a GPGPU implementation of the graphical lasso algorithm and its application to automatic landmark detection system. Int J CARS (2013) 8 (Suppl 1):S288-289. 11. Hanaoka S, Masutani Y, Nemoto M, Nomura Y, Miki S, Yoshikawa T, Hayashi N, Yoshioka N, Ohtomo K. Sparse Gaussian graphical model on spatial distribution of multiple anatomical landmarks – model construction from training datasets with insufficient imaging ranges. Proceedings of the Third International Workshop on Mathematical Foundations of Computational Anatomy (2013) 107-116. 96/96