18. 自然言語処理 (NLP) 分野でのDeep learningの発展
• Transformer – “Attention Is All You Need” という論文で提案された
– Attention (注意機構) を入れることにより入力文章の計算を並列化
– 文章に対しても高速にDeep Neural Networkの学習ができるようになった
18
https://qiita.com/omiita/items/07e69aef6c156d23c538
“Attention Is All You Need”
https://arxiv.org/abs/1706.03762
19. 自然言語処理 (NLP) 分野でのDeep learningの発展
• Attention (注意機構)
– それぞれの単語に対し、 “関連度合い” を表現
– “its” に対して、それを指す “Law” へのAttention が大きくなっている。
19
“Attention Is All You Need”
https://arxiv.org/abs/1706.03762
20. 自然言語処理 (NLP) 分野でのDeep learningの発展
• Transformerをベースに BERT, Open GPT 3 といったNetworkが開発されていった
– 超大規模データに対して事前学習 → 他のタスクに対して適用する
– 画像分野のCNN同様、データ数をとにかく大きくして学習する流れへ
20
https://recruit.gmo.jp/engineer/jisedai/blog/nlp_bert_news_impact_prediction/
“BERT: Pre-training of Deep Bidirectional Transformers for
Language Understanding” https://arxiv.org/pdf/1810.04805.pdf
21. GNNの発展
• Graph Neural Network:グラフを入力でき、データの “つながり” の情報を学習
• グラフとは:頂点 x と辺 e で構成
– Social Network(SNSの結びつきグラフ)、Citation Network(論文の引用を示すグラフ)
– 商品Network(同時購入された商品を結ぶグラフ)
– Protein-Protein Association Network
– 有機分子 etc…
21
𝒙𝟎
𝒙𝟏
𝒙𝟐
𝒙𝟒
𝒙𝟑
𝑒)! 𝑒!"
𝑒"*
𝑒#*
𝑒"#
様々な分野でグラフが現れる
応用例が広い!
35. 自然言語処理アプローチで順合成・逆合成予測
• 入力SMILES → 出力SMILES を機械翻訳タスクと考えると、
NLP業界で発展したモデル(Transformerなど)がそのまま使える
– 順合成:Reactants SMILESを入力、Product SMILESを出力
– 逆合成:Product SMILESを入力、Reactants SMILESを出力
35
“Linking the Neural Machine Translation and the
Prediction of Organic Chemistry Reactions”
https://arxiv.org/pdf/1612.09529.pdf
This is a book → これ は 本 です
CCCCBr.CCONa>CCO>CCCCOCC
50. 自然言語モデルを用いたその他の応用例、、、
• 例:Philippe Schwaller 2020年だけで12本の論文
– 位置選択性(regio)・立体選択性(stereo)を考慮した化学反応予測への応用
“Transfer learning enables the molecular transformer to predict regio-and stereoselective reactions on carbohydrates”
– 化学反応の2次元Mapping
“Transfer learning enables the molecular transformer to predict regio-and stereoselective reactions on carbohydrates”
– 酵素反応への応用
“Predicting Enzymatic Reactions with a Molecular Transformer”
– 収率予測
“Prediction of chemical reaction yields using deep learning”
– Atom-to-Atom Mappingの教師なし学習
“Unsupervised attention-guided atom-mapping”
– 実験手順を論文から抽出
“Automated extraction of chemical synthesis actions from experimental procedures”
“Inferring experimental procedures from text-based representations of chemical reactions”
etc…
50
自然言語モデルをどういうデータに対して、どう応用するか?
多数の研究がすごいスピードで進んでいる