Diet networks thin parameters for fat genomic
•Download as PPTX, PDF•
0 likes•2,100 views
This is the presentation document for the paper sharing meeting. Diet Networks: Thin Parameters for Fat Genomic.
Recommended
Recommended
More Related Content
What's hot
What's hot (7)
Viewers also liked
Viewers also liked (20)
Similar to Diet networks thin parameters for fat genomic
Similar to Diet networks thin parameters for fat genomic (20)
Diet networks thin parameters for fat genomic
- 1. Romero, Adriana, et al. "Diet Networks: Thin Parameters for Fat Genomic." arXiv preprint arXiv:1611.09340 (2016). @St_Hakky
- 2. 本論文の概要 • Bengio先生の研究グループによる研究。 • ICLR 2017で採択された • 「変数の数>>データ数」によるDeep Learningの 学習パラメーターの数が大きくなる問題を解決 した – 遺伝子関係のデータではよくある状況 – SNPから遺伝的系統をDeepLearningを用いて予測する のは初めての試み – 今回の研究対象はバイオであり、 SNPを扱う
- 3. Deep Learningのバイオデータでの活躍 • Deep Learningを生物データに適用させて成功し た研究は既にある – Using Convolutional Neural Networks (CNNs) to learn the functional activity of DNA sequences (Basset package, Kelley et al. (2016) – Predicting effects of noncoding DNA (DeepSEA, Zhou & Troyanskaya (2015)) – Investigating the regulatory role of RNA binding proteins in alternative splicing (Alipanahi et al., 2015) • こういった研究はシーケンスデータ対象であり、 CNNやRNNが適用しやすい
- 4. SNPとは • SNPは、DNAの中の１つの塩基が別の塩基に置 き換わったもの – 人間の遺伝的変異を表す – 個々人の病気や体質の違いを生む要因と言われている – ヒトゲノムでは約300～500万個あると言われている • このSNPデータにDeep Learningを適用すること で、個々人の薬のリスク等を特定する – しかし、 SNPは遺伝的変異に着目しているため、 シーケンスなコンテキストを利用できない、高次元 なデータである
- 5. SNPデータの問題点 • シーケンスでないデータはCNNなどの手法は利 用できない • 変数の数 ≫ データ数 – 患者特有の特徴を捉える時に高次元の変数を使いた い時がある – この時、過学習の問題はもちろんのこと、学習をう まく行うこと自体が難しい – このようなデータに対して、Deep Learningを使う時、 パラメーター数が多くなり、問題になる
- 6. Problem 目的 • SNPから個々人の遺伝的系統を予測することを行いたい 問題点 • シーケンスデータでないので、CNNなどの手法が使えない • 「変数の数 ≫ データ数」な時のNeural Networkにおける問 題点 • 第一層目のパラメーターの数が異常なまでに多くなる • 学習するパラメータ数が多すぎて過学習が発生する上に、 学習速度も遅くなる 提案手法 • Diet Networksを用いて、パラメーター数を圧倒的に削減する
- 7. Method：Diet Network • 入力が超高次元で且つデータ数よりも次元の オーダーが大きい場合に、パラメーターの数を 劇的に減らし学習する方法を提案 記号 意味 𝑁 サンプル数 𝑁 𝑑 次元数 𝑁 ≪ 𝑁 𝑑 サンプル数が次元数よりも圧倒的に小さい 𝑋 ∈ 𝑅 𝑁×𝑁 𝑑 データ 𝑌 予測した値(出力) 𝑋 次元圧縮後、復元した値
- 8. Fat Hidden/Reconstruction Layer • 高次元のデータの場合、最初の隠れ層と最後の 隠れ層のパラメーター数が非常に大きくなる – 例：𝑁𝑑 = 300𝐾で、 最初の層のノード数が100だと、 パラメーター数は30M – 最初の隠れ層をFat Hidden Layerと言う – 最後の隠れ層をFat Reconstruction Layerと言う この重みが非常に大きくなる。
- 9. Modelの工夫点 • Fat Hidden/Reconstruction Layerのパラメーター 数を減らすためにModelを工夫する – 工夫点１：重み学習する補助Networkを導入 – 工夫点２：入力を転置 – 工夫点３：Embedding表現 – 工夫点４：目的関数の工夫
- 10. 工夫点１：Base Network / Auxiliary Network • パラメーター数を減らすため、次の2つの Networkを導入する – Base Network(図：a) – Auxiliary(補助) Network (図：b, c) MLP：Multi Layer Perceptron
- 11. 工夫点１：Base Network / Auxiliary Network • (b)のネットワークは最初の隠れ層のパラメー ターを予測するNetwork
- 12. 工夫点１：Base Network / Auxiliary Network • (c)のネットワークはデータの復元を行う層のパ ラメーターを予測するNetwork
- 15. 工夫３：Embedding表現 • 補助ネットワークで使われるEmbeddingは、事 前に計算しておくかオフラインで学習が出来る • 理論上はどのような種類のEmbeddingを用いて も良い – もちろん、当初の目的であるパラメーターを削減す るということを忘れなければ大丈夫
- 16. Embeddingの種類 • 次の4種類が論文では紹介されていた。 – Random projection – Per class histogram – SNPtoVec – Embedding learnt end-to-end from raw data
- 17. Random projection • MLPを使用 – ただし、学習するわけではなくて、ランダムに初期 化したものをそのまま使用する • 学習すると、それはそれでまたパラメーターが増えるので – 普通にデータをそのまま利用するよりは、Random Projectionでもまだ扱えるレベルの次元に落とす
- 18. Per class histogram • SNPデータに対して、ヒストグラムを作成 • 正規化した後、SNPは３つの値に割り振られる – しかし、この方法では粗すぎることがわかった • 代わりに、今回使用する1000 Genome datasetで は、26のクラスを考え、それぞれで3つの値に分 けるようにした – そのため、各特徴量は78次元にまで落とせる – 𝑋 𝑇の次元が、𝑁𝑑 × 78まで落とせる(凄い)
- 19. SNPtoVec • Mikolovらの研究(2013)により、Neural Networkによる単 語の分脈の再現を精度良く可能にした単語の特徴の埋め 込み方法が提案された • SNPは文章ほど良い位置的な分脈を持たない – SNPはほぼ独立な位置関係 • そのため、𝑋 から学習したDenoising AutoEncoder(DAE) を用いて特徴の埋め込みを獲得することにした – DAEの一つの特徴のInputによるautoencoderの隠れ層の表現が補 助ネットワークのEmbeddingとして用いられる
- 20. Embedding learnt end-to-end from raw data • 普通にMLPを使用するというもの • これは補助ネットワークのMLPと完全に同一の ものになる
- 22. 工夫点４：目的関数の工夫 目的関数 目的関数にReconstruction Errorを入れる クロスエントロピー Reconstruction Error 𝛾はハイパーパラメーター
- 23. Modelの工夫点のまとめ • 以上のような工夫を行い、高次元の入力による パラメーター数の増加に対応する。 – 工夫点１：重み学習する補助Networkを導入 – 工夫点２：入力を転置 – 工夫点３：Embedding表現 – 工夫点４：目的関数の工夫
- 24. Data : The 1000 Genomes Project • 1000 Genomes Projectは世界中の人種の、多くの 人のシーケンスデータを集めるプロジェクト – 人間の遺伝的変異のカタログの中では最も大きいパ ブリックデータを生み出した – 26人種、5地域からのデータを取得
- 25. Data : The 1000 Genomes Project • (a) : 1000のGenome Dataを人種ごとに分けたヒ ストグラム • (b) : 地域ごとの人数
- 27. Model Architecture • 基本のNetwork – 隠れ層2つ – 活性化関数はsoftmax • 補助ネットワーク – 紹介したEmbeddingを用いつつ、MLPをその上に載せる形 – 中間層のノード数は100 • 実験における学習 – 補助ネットワークありとなしの両方で学習 – Adaptive learning rate ありのSGDで勾配更新 – 𝛾 : 0，10 – Dropoutを使用 – 1に重みを正規化 and/or 重み減衰を使用
- 28. 実験方法 • 5-foldクロスバリデーション適用 – 1つはテスト用 – 3つは学習用 – 1つはバリデーション用 • 5回繰り返し、平均と標準偏差を取得した
- 30. • Reconstruction Errorを入れたほうが精度が良い • 平均はもちろん、標準偏差の値を小さい傾向が ある • ロバストな結果を得れていることがわかる
- 31. • Reconstruction Errorを入れたほうが精度が良い • 平均はもちろん、標準偏差の値を小さい傾向が ある • ロバストな結果を得れていることがわかる
- 33. Experiments : Results • 最も良いモデルでの結果(Histgram Embeddingを 使用)
- 34. Experiments : Results • 今回の実験結果をまとめる – Reconstruction Errorを入れたほうが精度が良い • 平均はもちろん、標準偏差の値を小さい傾向がある – これから、ロバストな結果を得れていることがわかる – Embeddingで、より少ないエラーを獲得できている傾向がある • これにより、パラメーター数も少なくなっている • また、Random projectionが良い結果を示している – これは学習するパラメータの数が少ない形で住むことを示している • SNP2Vecは、SNP間の類似度や共起性を抽出することを学習する – これはrandom projectionよりも少し性能が良い – Reconstruction Errorをいれることで平均的な精度はかわっていないが、標準偏差 が低くなっている • Reconstruction Error込みのPer class histogram encodingが単純でありな がら、良い精度を出している – これがもっとも自由パラメーターとしては少ない – 誤りを起こしているところも似たような民族性を持つところが多い » BritishはEngland,やScotlandから来ている人が多いなど – 5つの地域的な分類を行うときはほぼ100％の精度を出している – PCAとも比較した • Linear classifierを主成分のトップ10と50, 100, 200のそれぞれで学習した
- 35. Conclusion • 今回、Diet Networkというものを提案した • 圧倒的にパラメーターを削減できた • Embeddingというのが良い効果をもたらす
- 36. Fin