2018/12/7 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
マテリアルズインフォマティクスにおける深層学習の応用
Kensuke Wakasugi, Panasonic Corporation.

2. マテリアルズインフォマティクス（MI）について研究の中で，
1. 計算科学と深層学習に関連した論文
2. NIPS Workshopで発表予定の論文
について論文を調査．その概要を発表します．
発表内容
Wakasugi, Panasonic Corp.
2

3. 材料の研究開発に情報科学の技術を応用し，研究開発を加速
マテリアルズインフォマティクスとは
Wakasugi, Panasonic Corp.
3
1. 材料の特性予測
- 実験前にスクリーニングすることで，実験回数を軽減
2. 所望特性の材料生成
- 特定の特性を持つ材料を教えてくれる
3. 物理現象の解析・理解
- 材料系を限定して解析．性能に寄与するパラメータを抽出
材料開発において必要となる技術

4. 猫
One-hot vector
MI
画像認識
電気伝導率
σ [S/m]
入出力を定義し，画像認識と同様に機械学習/深層学習を適用
画像認識との比較
Wakasugi, Panasonic Corp.
4
予測
予測
画像
組成式 結晶構造
機械学習/深層学習
機械学習/深層学習

5. MIでは多様なパラメータを扱う．利用可能なDBは限定的
ICSD
（無機結晶DB）
MP，QM9
（計算DB）
レビュー論文等における
収集データ
数百数十万～数万件数十万件
実験前に得られるパラメータ 実験後に得られるパラメータ
実験前のパラメータから実験後のパラメータを予測したいが，後者のDBが不足．
現状では，少数の実験データを使うか，数値計算特性を予測する取り組みが多い
MIで扱われるデータ
Wakasugi, Panasonic Corp.
5
組成式
原子配置結晶構造
数値計算特性
（低精度）
数値計算特性
（高精度）
材料特性データ
（電気・熱・力学的特性）
デバイス特性
（電気伝導，熱伝導etc.）
結晶性
（XRD，SEM，TEM：1-3次元画像）

6. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
(NIPS 2018 Workshop)
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
(NIPS 2018 Workshop)
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
紹介論文
Wakasugi, Panasonic Corp.
6

7. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
(NIPS 2018 Workshop)
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
(NIPS 2018 Workshop)
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
紹介論文
Wakasugi, Panasonic Corp.
7

8. タイトル：
“Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and
Machine Learning”
出展：
Journal of the American Chemical Society，Impact Factor：14.357
論文１
Wakasugi, Panasonic Corp.
8
25万個の数値計算データを用いて，ペロブスカイト系材料の熱力学的安定性を予測
 A，B，Xの各配置に各元素を置いたとき
の安定性を予測．
 入力：Pymatgenで作成(119次元)
→重要度解析し，11個を選択
3元素で合計33次元．
 出力：安定性
 データ：25万個の計算データ
Xに各元素を置いたときの安定構造の数を色で表現

9. 論文１
Wakasugi, Panasonic Corp.
9
リッジ回帰，NN，Random Forest，Extremely Random Treesを比較

10. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
(NIPS 2018 Workshop)
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
(NIPS 2018 Workshop)
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
紹介論文
Wakasugi, Panasonic Corp.
10

11. タイトル：
“Predicting thermoelectric properties from crystal graphs and material descriptors - first
application for functional materials”
出展：
NIPS 2018 Workshop
論文２
Wakasugi, Panasonic Corp.
11
Data Augmentationした約300万個の数値計算データからPower Factorを予測
従来（計算科学）
課題：計算コストが高い
提案法(深層学習）
入力にDFT記述子(低精度，低計算コスト)を利用
DFT記述子の代わりにCGCNN（結晶性を考慮したCNN）を利用

12. 論文２
Wakasugi, Panasonic Corp.
12
1～10層のCGCNN/FCNNで検証．FCNNが最良

13. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
(NIPS 2018 Workshop)
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
(NIPS 2018 Workshop)
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
紹介論文
Wakasugi, Panasonic Corp.
13

14. タイトル：“A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
出展： Scientific Reports，Impact Factor：4.122
論文３
Wakasugi, Panasonic Corp.
14
波数空間で表現した電子密度に対して3DCNNを適用し，エネルギーを予測
 電気的，熱的特性に関与する電子密度を波数空間で表現
 ３DCNNによって特徴抽出し，エネルギーを予測

15. 論文３
Wakasugi, Panasonic Corp.
15
大きく性能向上するタスクもあるが，性能が悪いものも複数
データ数および特性値に応じた性能評価
提案法は赤色

16. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
(NIPS 2018 Workshop)
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
(NIPS 2018 Workshop)
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
紹介論文
Wakasugi, Panasonic Corp.
16

17. タイトル：“Powerful, transferable representations for molecules through intelligent task selection in
deep multitask networks”
出展：NIPS 2018 Workshop
論文４
Wakasugi, Panasonic Corp.
17
タスク間の関連度をスコア化し，サポートタスクを自動抽出．
 有機分子の特性予測タスクにおいて，関連タスクを自動抽出
 サポートタスクとして転移学習することで性能を向上

18. 論文４
Wakasugi, Panasonic Corp.
18
従来法（Morgan FP）に比べ，提案法(WSTS)によって性能向上
 WSTS：
weave/set-to-set．原子と原子間結合の特徴を織り交ぜる
構造と，LSTMを使った特徴変換（可変長→固定長）による
手法
 architecture
 タスク間の関連度を測るために，NNベースの手法を用いるこ
とで，マルチタスク時の性能が向上

19. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
(NIPS 2018 Workshop)
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
(NIPS 2018 Workshop)
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
紹介論文
Wakasugi, Panasonic Corp.
19

20. タイトル：“Incomplete Conditional Density Estimation for Fast Materials Discovery”
出展：NIPS 2018 Workshop
論文５
Wakasugi, Panasonic Corp.
20
Conditional VAE，Conditional GANにより，所望の特性を持つ材料を生成
 特定の性質を満たす材料
をVAEで生成
 GANの試したが，VAEの
方が良い．
 データ：Al（アルミ）を
中心に， Cr, Cu, Mg, Ti,
Zn, Zr, Mn, Si, Niを加え
た材料15000個を利用

21. 論文５
Wakasugi, Panasonic Corp.
21
特定の相図を持つ材料の組成をGAN/VAE，RFで生成
 CVAE-MDNで最良．所望の相図を持つ組成式を生成可能．

22. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
(NIPS 2018 Workshop)
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
(NIPS 2018 Workshop)
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
紹介論文
Wakasugi, Panasonic Corp.
22

23. タイトル：“Representations in neural network based empirical potentials”
出展：The Journal of Chemical Physics， Impact Factor：2.843
論文６
Wakasugi, Panasonic Corp.
23
Si結晶系のエネルギー予測において，NNにおける情報処理過程を解析
 様々なSi配位に対し，対
称関数で特徴量化．
 NNによってエネルギーを
予測．

24. 論文６
Wakasugi, Panasonic Corp.
24
隠れ層の値を可視化． Physical Insightを導出
 PCA（左図），t-SNE（右図）に
よる可視化．
 層を経る毎に，既知のクラスター
が分離することに加え，サブクラ
スターも形成．
 相転移可能な類似構造ではあるが，
エネルギー障壁の大きい構造が見
られる．

25. 1. “Predicting the Thermodynamic Stability of Solids Combining Density
Functional Theory and Machine Learning”
25万個の数値計算データを用いて，ペロブスカイト系材料の熱力学的安定性を予測
2. “Predicting thermoelectric properties from crystal graphs and material
descriptors - first application for functional materials”
Data Augmentationした約300万個の数値計算データからPower Factorを予測
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep
Convolutional Neural Networks”
波数空間で表現した電子密度に対して3DCNNを適用し，エネルギーを予測
4. “Powerful, transferable representations for molecules through intelligent task
selection in deep multitask networks”
タスク間の関連度をスコア化し，サポートタスクを自動抽出．
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
Conditional VAE，Conditional GANにより，所望の特性を持つ材料を生成
6. “Representations in neural network based empirical potentials”
Si結晶系のエネルギー予測において，NNにおける情報処理過程を解析
論文概要まとめ
Wakasugi, Panasonic Corp.
25

26. まとめ
Wakasugi, Panasonic Corp.
26
• 特性の予測，材料の生成，データの少なさへの対処，特性値に寄与する
特徴量の解析など，研究開発の様々なステップへ機械学習，深層学習の適用が進む．
• しかしながら，実験データの少なさから，数値計算によるデータについての研究が中心．
• 深層学習としては，分子構造，結晶構造の性質に合わせたＮＮの構造の研究が進みそう．

27. • ご清聴ありがとうございました．
Wakasugi, Panasonic Corp.
27

28. 1. “Predicting the Thermodynamic Stability of Solids Combining Density Functional Theory and Machine Learning”
(Journal of the American Chemical Society，Impact Factor：14.357)
https://pubs.acs.org/doi/abs/10.1021/acs.chemmater.7b00156
2. “Predicting thermoelectric properties from crystal graphs and material descriptors - first application for functional
materials”
(NIPS 2018 Workshop)
https://arxiv.org/abs/1811.06219
3. “A Universal 3D Voxel Descriptor for Solid-State Material Informatics with Deep Convolutional Neural Networks”
(Scientific Reports，Impact Factor：4.122)
https://www.nature.com/articles/s41598-017-17299-w
4. “Powerful, transferable representations for molecules through intelligent task selection in deep multitask
networks”
(NIPS 2018 Workshop)
https://arxiv.org/abs/1809.06334
5. “Incomplete Conditional Density Estimation for Fast Materials Discovery”
(NIPS 2018 Workshop)
https://truyentran.github.io/papers/incomplete-alloy.pdf
6. “Representations in neural network based empirical potentials”
(The Journal of Chemical Physics， Impact Factor：2.843)
https://aip.scitation.org/doi/10.1063/1.4990503
紹介論文
Wakasugi, Panasonic Corp.
28