More Related Content Similar to バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版) Similar to バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版) (20) バイオイメージング研究のためのImageJによるデジタル画像解析入門(2011年6月版)2. 生命現象のスケールと画像
塩基配列
200 nm 2000 km
生体分子
超微細構造 オルガネラ 細胞 組織 器官 個体 地球環境
個体群
10 nm 10 m 10 mm 1 km 105 km
(10-8 m) (10-5 m) (10-2 m) 1m (103 m) (108 m)
0.1 nm
(10-10 m)
スケール
画像 (バイオイメージング)
電顕 衛星画像
顕微鏡
イメージング技術の進歩
画像データベースの整備
3. バイオイメージングの特徴とデジタル画像解析
多次元 (時間,立体,波長…) 多様性(生物種,部位,観察法…)
t, z,
データサイズ・枚数 (n) 多目的性 (何に着目するか)
100 ms/枚 位置・局在 濃度・電位 運動 数・形・長さ
1024*1024 pixel/枚
12 bits/pixel
→ 4 GiB / 5 分
自動化・計算機支援に向く 研究者(人間)の柔軟性が不可欠
デジタル画像解析 人と機械の協働
・ 多様な画像と目的をカバーできる適応性・汎用性
・ 数値化による客観性,自動化による高速性
4. 画像解析とは?
* 画像を解析すること.画像から何かを解析すること.
* 「視る」(「見る」「観る」「診る」「みる」) と 「測る」(「計る」「量る」).
「視る」をサポートするものでもあり,「測る」ことでもある.
* 画像からデータを得る? 「画像 = データ」ではないのか?
画像の中からデータを取り出す? データマイニング?
デジタル画像解析とは?
* コンピュータを使う画像解析.
* 現代では,撮影後のほぼ全ての工程に関与する.
* 作業としては,画像をいじったり,測ったり,分けたり.
画像→画像: 加工,除去,補正,抑制,軽減,強調…
画像→数値: 測定,定量,計数…
画像→ラベル: 分類,判別,判定,認識,抽出,検出…
5. シロイヌナズナ気孔
アクチン繊維
「画像→画像」の例
共焦点画像 高周波数成分の抽出 二値化像 細線化像
(繊維等の強調処理) (白黒画像)
「画像→数値」の例
気孔開閉の指標 アクチン繊維の配向の指標
短径 / 長径 長径 気孔に対する
アクチン繊維の角度
短径
気孔
灰色: 気孔領域 この場合, この場合,
黒色: アクチン繊維 短径 / 長径=0.47 アクチン繊維の角度=54.3°
6. 「画像→ラベル」の例
GFP-AtORF DBを対象としたGFP局在部位の自動判定
細胞質 核 核小体 細胞壁 その他
自動分類ソフトウェアの正解率
91.8% 83.6% 87.8% 96.7% 78.2%
当研究室の院生・スタッフ 4名の平均正解率
86.0% 78.1% 90.0% 95.6% 81.4%
画像の出典
http://data.jic.bbsrc.ac.uk/cgi-bin/gfp/
シロイヌナズナ培養細胞 Koroleva OA et al. (2005) Plant J 41: 162-174
7. 撮像過程と解析過程 (一つの見方)
? 真実
撮像系
データ
(数値や3次元モデル等)
光学系 解析対象
ボケや散乱
撮像過程 画像処理: n 解析過程
カメラ
標本化,量子化,ノイズ 画像処理: 2
原画像 画像処理: 1
画像解析は,我々が唯一得ることのできる「原画像」から,
撮像系の影響や注目していない領域の影響を除いていき,
注目する表現形質や現象だけを取り出し,
「データ」として表現する過程.
10. ImageJ と KBI plugins のインストール
http://hasezawa.ib.k.u-tokyo.ac.jp/zp/Kbi/ImageJTutForNaist
11. ImageJ の基本画面
← メニューバー
← ツールバー
← ステータスバー
← 画像タイトル
画像情報(サイズ等)
← 画像ウインドウ
タバコBY-2 液胞膜
赤い三角形の付く
アイコンは右クリック
で機能切り替え可.
ツールバー
赤い線: 頻用するもの.
青い線: selection (ROI).
http://rsb.info.nih.gov/ij/docs/tools.html
13. 画素と画素数
←画像情報: 159x153 pixels; 8-bit; 24K
画素数
159
153
(3200%) : 拡大・縮小率
画素, pixel (picture element)
dot とか point とも呼ばれる.
画像ウインドウ左上に青い枠が表示されている場合,
ウインドウに画像全域が収まっていない.
現在表示されている部位が,画像全域のどこに相当する
かを示している.
14. 座標系と画素と輝度
←画像情報: 159x153 pixels; 8-bit; 24K
x
(3, 0)
輝度30
(x,y) = (0, 0) (3, 2)
輝度 35 輝度 21
ImageJ では左上を原点(0, 0)とし,右に X 軸,下にY軸が伸びる.
y 各画素には輝度 (強度,intensity.明度 brightness ,信号強度等
とも) が割り当てられている.
15. 159 座標系と画素と輝度
153
x
x
(3, 0)
輝度30
(x,y) = (0, 0) (3, 2)
輝度 35 輝度 21
y 159列
表示を縮小
Excel で開いた例 153行
16. PowerPoint 等での強拡大に注意
PowerPoint
で拡大
(補間有り)
Photoshop や PowerPoint 等で補間を
ともなう"強拡大"をするとデジタル的
な解像度や分解能と関係なく擬似的
にズームしたようになるが,解像度や
分解能が上がる訳ではない.
データ解釈を誤らないよう注意.
17. Brightness & Contrast による表示上の"明るさ"の調整
真っ白
真っ黒
スライドバーを動かすことによる調整は,表示上の"明るさ"を
変えているに過ぎない.→ 輝度は変化しない.
8-bit 画像の場合はApply ボタンを押すことによって,その時の
表示範囲が0~255にスケールされる.→ 輝度が変化する.
20. 輝度のタイプ
輝度のデータ型.
ビット深度(bit depth), bits per pixel,
量子化ビット数等とも呼称.
グレイスケール画像, 濃淡画像
≠白黒画像
8-bit: 0~255 の整数(integer)
16-bit: 0~65535 の整数(integer)
32-bit: 浮動小数点数(float)
実数の近似値.±3.438 の範囲で
7桁位の精度.
(3, 0)
輝度30 カラー画像
8-bit Color: 使わない.
RGB Color: 赤緑青の3チャネルを
(0, 0) (3, 2)
重ねることによるカラー表現.
輝度 35 輝度 21
各チャネルのデータ型は8-bit,
16-bit, 32-bit のいずれかで,
チャネル間では統一されている.
21. 輝度のビット深度
グレイスケール画像, 濃淡画像
≠白黒画像
8-bit: 0~255 の整数(integer)
16-bit: 0~65535 の整数(integer)
32-bit: 浮動小数点数(float)
実数の近似値.±3.438 の範囲で
7桁位の精度.
原画像の bit 深度はカメラ(検出器)によって異なる.
8~16 bits/pixel が多い.
12 bits/pixel (212 , 0~4095) や 14 bits/pixel (214 , 0~16383)の
カメラで得た画像は 16 bits/pixel の画像フォーマットとして扱う
(大は小を兼ねる).
輝度には必ずノイズが混じるので,
bit 深度が大きい方が一概に高性能,というわけではない.
カタログスペック的なコケオドシに過ぎない場合もある.
22. 画像情報の確認 (スケール情報,画像タイプ)
シロイヌナズナ気孔 葉緑体
解析前には画像情報を確認する.
スケール情報は正しいか,画像タイプは適切か.
http://podb.nibb.ac.jp/Organellome/bin/browseImage.php?ID=Image-yoshioka_bio.nagoya-u.ac.jp-20060726164901
24. 手作業でのROI設定を介した形状解析: 長さ
Edit - Select All (Control-A) と
Edit - Copy (Control-C) でコピー.
Excel 等にペースト.
線分や曲線をマウスで引き, t キーで ROI Manager に登録,を繰返す.
ROI Manager の「Show All」をチェックしておくと作業しやすい.
Measure ボタンで登録済の ROI 全部をまとめて測定.
角度や長さ(画素単位)が得られる. Excel等でμmに変換し,統計処理.
25. 手作業でのROI設定を介した形状解析: 面積
or
測定対象領域をマウスで設定し, t キーで
ROI Manager に登録,を繰返す.
Measure ボタンで測定.
測定項目は Analyze - Set Measurements... から指定.
26. 二値化による領域抽出
二値画像
(白黒画像)
グレイスケール画像
(濃淡画像)
or
蛍光像の場合,「高い輝度の領域」が「測定対象領域」の
場合が多い.閾値となる輝度を決め,二値画像(白黒画像)
に変換することで,領域抽出(領域分割, segment)ができる.
原始的だが安定した閾値決定の方法として,目視による例を示す.
31. 自動的な2値化アルゴリズムの実装
in KBI ImageJ plugins
入力画像: 8-bit grayscale
スタックも可.スタックの場合,
スタック全体からひとつの閾値
を求めるか,スライスごとに閾値を
求めるか選択可能.
呼び出し: Kbi_Filter2d →
filter = thresholdOps →
thrMode = 右のいずれか
32. 最近の ImageJ は Threshold
コマンドの中に,いくつかの
自動的な2値化アルゴリズム
を実装している(以前は Iterative
Selection のみで,現在も Default
の名で残っている).
結果がインタクティブに表示
されるし,8-bit grayscale 以外
も処理できるのでこちらの方が
使いやすい.
ただどちらか一方にしか無い
アルゴリズムも存在する.
33. nuclear mask generation
(要は segmentation )
DAPI
iterative conditional
Watershed segmentation algorithm
De Vos WH et al. (2010) Cytometry 77A 64-75.
36. 入力画像 ノイズ抑制像
gradient inverse weighted smoothing (GIWS) によるノイズ抑制
※非線形なノイズ抑制フィルタであり,ボケを加えにくい.
giwsIter: ノイズ抑制の度合い.0以上.
大きければノイズをより抑えるが,細かな繊維の抽出ができなくなる.
小さければ細かな繊維が抽出できるが,ノイズも繊維として抽出する
恐れが高くなる.
Wang DCC, Vagnucci AH, Li CC (1981) Gradient inverse weighted
smoothing scheme and the evaluation of its performance.
Comp Graph Image Proc 15: 167-181.
37. ノイズ抑制像 線分強調像
MDNMS: multiple directional non-maximum suppression による
線分強調.
線分強調像における輝度は「線分らしさ」を示しており,
入力画像の輝度ではない.
mdnmsLen: 線分強調処理における直線部の長さを設定する.
Sun C, Vallotton P (2009) Fast linear feature detection using multiple
directional non-maximum suppression. J Microsc 234:147-157.
39. 線分強調像 高輝度領域
線分領域
高輝度領域を基点として,それに接続する線分強調像の非0領域を
抽出するステップ.前ステップとあわせて,ヒステリシス特性のある
二値化ともいえる.
高輝度領域は前述のように繊維を分断する場合があるため,
本ステップで,分断された線分をつなぎなおす.
41. 暫定的な線分 接続 穴埋め
切断をうけている線分を接続するステップと,
小さな穴を埋めるステップ.
44. Plugins → kbi → Kbi_Filter2d → filter=lineFilters → lineExtract
線分抽出により,
細胞骨格の
長さ,角度,密度,
本数,分岐の数,
分岐の角度,…
の測定が可能に
なる.
時系列画像の
各フレームについて
行なえば,これらの
時間変化を知る
こともできる.
46. スタック画像
時系列画像(動画像,動画,XYT)
や,焦点面を変えて撮影した連続
画像(立体画像,XYZ)はともに
スタック画像として操作できるが,
ZとTの区別が無いことに注意.
スタック画像を構成する2次元画像
をスライスとかフレームと呼ぶ.
ステータスバーの z=2 は
タバコ培養細胞
微小管プラス端 「Z座標の値が2」を示す
(0から数えている. 0-origin) .
画像情報欄の 3/10 は
表示中のスライスを変更 「全10枚中3枚目」を示す
(1から数えている.1-origin).
再生 (速度設定: Image - Stacks - Tools - Animation Options...)
49. 動き解析のための粒子追跡
輝度投影 1スライス目 10スライス目
(疑似色)
平均速度:
(pixel/slice) T: スライス数
50. 動き解析のためのカイモグラフ
最大輝度投影 1スライス目 10スライス目
Plugins - kbi - Kbi_DynProf - kymoStatic
位置
p
t 平均速度:
(pixel/slice)
時間
52. 動き解析のためのオプティカルフロー法
Plugins - kbi - Kbi_Flow
シロイヌナズナ胚軸表皮 小胞体
CSU, EM-CCD, 50 ms * 100 frame
Plugins - kbi - Kbi_DynProf - kymoStatic
位置
時間
54. 各種ミオシン変異体における小胞体流動 xik-2 mya1-1
GFP-h xik-2 xik-1 xik-2 mya1-1 xik-2 mya2-2 mya2-2
scale bar: 10 m
Ueda H et al. (2010)
PNAS 107: 6984-6899
56. マルチチャネル像からの局在解析(重ね合わせ)
Image - Color - Split Channels,
シロイヌナズナ根端 ペルオキシソーム Analyze - Set Scale...,
ROI設定, Crop
Image - Color - Merge Channels...
http://podb.nibb.ac.jp/Organellome/bin/browseImage.php?ID=Image-mano-20060517202055
57. 局在解析のための輝度プロファイル(チャネル毎)
Edit - Selection - Restore Selection (E キー), Analyze - Plot Profile (k キー)
Ch1
(GFP-PTS1)
Ch2
(PTS2-RFP)
59. 局在解析のための輝度プロファイル(マルチチャネル)
Edit - Options - Profile Plot Options... (Y軸範囲設定等), Analyze - Plot Profile,
Image - Lookup Tables - Red | Green, Image - Lookup Tables - Invert,
Image - Type - RGB Color, Process - Image Calculator - Add / 32-bit: false
Image - Color - Merge Channels..., Plugins - Macros - Run...
"マクロ"
Analyze - Plot Profile, List ボタンから Excel 等へ...
62. 局在解析のためのチャネル間の輝度の散布図
散布図
GFP-PTS1
0.98
PTS2-RFP
LON1-GFP
(ミトコンドリア)
0.36
相関係数:
Chl + MitoTracker
タバコ培養細胞ミトコンドリア+葉緑体
http://podb.nibb.ac.jp/Organellome/bin/browseImage.php?ID=Image-saka_rib.okayama-u.ac.jp-20061221151215
64. File メニュー: ファイルの読み込み・書き込み等
New: 新規作成.
System Clipboard で他アプリから画像の
読み込みができる.
Open...: 画像ファイル等を開く.
Import: 各種フォーマットの
画像ファイル等を開く.
Close: 画像ウインドウを閉じる.
Save: 画像ウインドウの内容をファイルに
保存する.
※ Save しない限り,ファイルは書き
変わらない.
Quit: ImageJ を終了する.
65. Edit メニュー: 画像の切り貼り,描画
Undo: 直前の作業の取消し.
1ステップ限定かつ
一部のみ対応.
Cut, Copy, Paste:
画像の切り貼り.
対象は画像全域かROI .
Copy to System:
他アプリへのコピー.
Clear, Fill, Draw: 単色描画.実際の色は
Color Pickerで色は設定.
Selection: ROI の制御.
(Selection = ROI)
Add To Manager:
複数のROI を管理.
66. Image メニュー: 種別,色,スタック,変形,複製等,色々
Type: 輝度タイプの変換.
8-bit, 16-bit, 32-bit, RGB color...
Adjust: 表示上の明るさの調整や二値化等.
Color: グレイスケール画像とカラー画像の
変換等.
Stacks: 時系列画像(動画像),立体画像の
処理.輝度投影,スライス一覧(montage)
の作成等.
Crop: ROI 部分の切り出し.
Duplicate: 画像ウインドウの複製.
Rename: 画像ウインドウのタイトル変更.
Scale: 画像解像度の変更.つまり画像サイズ
の拡大・縮小.
※表示の拡大・縮小と混同しないよう注意.
67. Process メニュー: 基礎的な画像処理(フィルタ等)
Find Edges: 輪郭強調.
Binary: 2値画像(白黒画像)処理.
Math: 加減乗除等による
各画素の輝度変更.
Filters: ノイズ抑制等のフィルタ.
Image Calculator:
画像と画像の間
の演算.
加減乗除等.
68. Analyze メニュー: 測定やグラフ関係
Measure: ROI 部分の諸パラメタの測定.
Analyze Particles...: 粒子解析.
Set Measurements...: 'Measure' で測定する
パラメタの選択.
Set Scale...: 1画素が何 m かを設定する.
Histogram: 輝度ヒストグラムの表示.
Plot Profile: 輝度プロファイルの表示.
他のメニュー
Plugins: プラグイン,マクロ,ショートカット
キー設定等.
Window: 画像ウインドウ,ログウインドウ等
の一覧や並び換え.
Help:ブラウザにウェブ上のマニュアルを
表示する等.
70. なぜ画像解析をするのか?
* 撮影した画像をどのように扱うか,という問題.
典型的な何枚かを原稿に貼り付け,legend を書いて終わり?
定量性,そして客観性.
同じ画像から,解析次第で様々な情報が引き出せる.
* 何のために可視化したり撮影するのか,という問題.
可視化,撮像,解析までトータルに考えて実験計画を立てる.
研究者のツールとしての画像解析,という段階へ.
71. もう少し詳しく学ぶには
省略したがバイオイメージングで重要な事項
* blur (ボケ) と PSF(点像分布関数, point-spread function).
蛍光ビーズによるPSF測定.blur の影響と対策.
* ノイズ,とくにGaussノイズとショットノイズ.
撮像法との関係と,ノイズ抑制の手法.
* 背景 (background) 輝度の高さと分布の扱い.
参考になる本
田村秀行 (2002) コンピュータ画像処理
オーム社,ISBN-13: 978-4274132643
Burger W & Burge MJ (2007) Digital Image Processing:
An Algorithmic Introduction using Java
Springer, ISBN-13: 978-1846283796
※ ImageJ 本.バイオ指向.プラグインの作例が豊富.
参考になるサイト
英語なら ImageJ 公式サイトを起点に充実.翻訳??
72. 謝辞
* Plant Organelles Database2 で公開されている画像を例として一部で
用いました.
Mano S et al. (2008) Nucleic Acids Res 36: D929-D937.
http://podb.nibb.ac.jp/Organellome/
* 小胞体流動の画像提供と KbiFlow 開発への協力を
下記グループからいただきました.
京都大 理学研究科
西村いくこ先生,嶋田知生先生,田村謙太郎先生,上田晴子先生