【論文紹介】Natural Language Processing Advancements By Deep Learning: A Survey
•
0 likes•166 views
社内で定期開催している「自然言語処理勉強会」発表資料の公開版です。 Torfi, Amirsina, et al. "Natural Language Processing Advancements By Deep Learning: A Survey." arXiv preprint arXiv:2003.01200 (2020). https://arxiv.org/abs/2003.01200
Recommended
More Related Content
Recently uploaded
Recently uploaded (20)
Featured
Featured (20)
【論文紹介】Natural Language Processing Advancements By Deep Learning: A Survey
- 2. イントロダクション • 包括的な⾃然⾔語処理のサーベイ論⽂の紹介です • 初⼼者向けに基礎技術をざっくり俯瞰します • あまり技術に深く踏み込まないので気軽に聞いてください
- 3. 【参考】NLP×DeepLearningの主な出来事 2018 GoogleがBERTを発表 202020152010 2012 IBM社Watsonがクイズで⼈間を破る 2013 Word2Vecが登場 2017 GoogleがTransformerを発表 “Attention is All You Need” 2018 AllenNLPがELMoを発表 2011 iPhone4SにSiriが搭載される 2016 Google翻訳がDNNベースに 2014 Seq2Seqが登場 2019 WaveNetが登場 DeepLearning 以前 Word2Vec/Seq2Seq/Attention/ … BERT 2016 GoogleがTPU発表
- 5. 論⽂紹介 • Natural Language Processing Advancements By Deep Learning: A Survey • https://arxiv.org/pdf/2003.01200.pdf • 2020/03/02 arXiv • 著者 Amirsina Torfi et.al. • ⽶バージニア⼤の博⼠学⽣ • DeepLearning関連のNLP技術のサーベイ論⽂ • 基礎から応⽤まで幅広く調査 • データセットや各タスクのSOTAモデルなど ※資料中の図で特に注釈のないものは本論⽂から引⽤しています
- 6. 【準備】⾃然⾔語処理の基礎技術 • Feature Representation • 単語の分散表現を得る技術 • Seq2Seq Framework • Encoder-Decoder構成の教師あり学習 • Reinforcement Learning in NLP • 強化学習によるSeq2Seqの改善 昨年の勉強会でツッコミとボケを可視化した例
- 7. ⾃然⾔語処理技術マップ • 構⽂ (Syntax) • 形態素解析など • 意味 (Semantics) • 機械翻訳/QAタスクなど • ⽂脈 (Discourse) • 要約など • 発話 (Speech) • 対話システム
- 8. ①基礎的なタスク（Basic Tasks） ⾃然⾔語処理の基礎となるタスク • Part-Of-Speech Tagging（品詞タグ付け） • [頭、が、⾚い、⿂、を、⾷べる、猫] → [名詞、助詞、形容詞、名詞、助詞、動詞、名詞] • Parsing（構⽂解析） • ⽂字列を構造化する • Semantic Role Labeling（意味解析） • 5W1Hを特定する • 主語/述語など（頭が⾚い︖頭が猫︖）
- 9. ②テキスト分類（Text Classification） テキストに対して事前定義したカテゴリを割り当てるタスク • CNNベースのテキスト分類 • ⽂章の意味モデリングで効果を発揮 • RNNベースのテキスト分類 • Web検索などの⽂埋め込みに利⽤される • Attentionによる⽂の構造化など ※ CNN/RNNを併⽤したもの提案されている スパム検知の様⼦ https://qiita.com/dcm_chida/items/0b687fe42b932e090a36
- 10. ③情報抽出 (Information Extraction) • Named Entity Recognition（固有表現抽出） • ⼈名や地名などを抽出する技術 • Relation Extraction（関係抽出） • 物事の関係性を抽出・分類する技術 • Coreference Resolution（照応解析・共参照解析） • 同じものを指す表現を抽出する技術 • Event Extraction（イベント情報抽出） • トリガーワードを抽出し、イベントを分類する技術 ⾮構造なテキストを構造化された表現に変換するタスク https://qiita.com/dcm_shiramizu/items/cc64cb666cc08d1a9e12 Wikipediaからの関係抽出
- 11. ④感情分析（Sentiment Analysis） テキストの⽂脈から主観的な情報（意⾒や感情など）を抽出するタスク • Document-level Sentiment Analysis • ⽂書全体でポジティブ/ネガティブを分析する • Sentence-level Sentiment Analysis • ⽂全体でポジティブ/ネガティブ/中⽴かを分析する • Aspect-level Sentiment Analysis • 何に対するポジティブ/ネガティブなのかを分析する Yahoo! リアルタイム検索より
- 12. ⑤機械翻訳（Machine Translation） ある⾔語を別の⾔語に変換するタスク • Traditional Machine Translation（ DeepLearning以前） • 1954年 ロシア語→英語への世界初の機械翻訳が⾏われる • 2002年 BLEUスコアによる評価が導⼊される • Neural Machine Translation • 2013年 画像でのDLの成功を受けて機械翻訳への導⼊が始まる • 2014年 Attentionを利⽤した機械翻訳が登場
- 13. ⑥QAタスク（Question Answering） 与えられた⽂書で⽰唆されている答えを⾒つけるタスク • Rule-based Question Answering • データベースなどから答えを検索するQAシステム • Question answering in the era of deep learning • SiriやAlexaなどのDeepLearningを⽤いたQAシステム • Visual Question Answering • 与えられた画像と問いに解答するシステム
- 14. ⑦⽂書要約（Document Summarization） 与えられた⽂書から要約⽂を⽣成するタスク • Extractive Summarization（抜粋による要約） • ⽂書内の最も顕著な部分を抜き出して要約する • Abstractive Summarization（抽象化による要約） • ⽂書中にない⾔葉も含めてゼロから要約を⽣成する
- 15. ⑧対話システム（Dialogue Systems） ⾔語を理解・⽣成し対話するシステム • Task-based Systems • ⾔語理解→対話管理→⾔語⽣成で対話するシステム • 強化学習を利⽤したシステムも現れている • Non-task-based Systems • ⼈間らしい会話を強化するシステム • 検索ベース: 事前定義した選択肢から応答を返す • ⽣成ベース: 機械学習などで⽣成した応答を返す ※AlexaもSiriもいまだに⼿作業で特徴量⽣成をしている →データドリブンな対話システムはまだまだ難しい
- 16. まとめ • ⾃然⾔語処理技術はDeepLearningによって⼤きく進化 • 特に2018年のBERTは重要なのでここを理解すること • ⾃然⾔語処理技術の応⽤範囲は広い • Syntax/Semantics/Discourse/Speechの4フェーズで整理される • ⾃然⾔語処理技術の研究はまだまだ続く… • マルチモーダル対応や対話システムの特徴量⽣成など課題は多い
- 17. ⾃然⾔語処理お役⽴ちリンク集 • 初⼼者向け • ⾃然⾔語処理を独習したい⼈のために - 東京都⽴⼤学 ⾃然⾔語処理研究室（⼩町研） • http://cl.sd.tmu.ac.jp/prospective/prerequisite • ⾔語処理100本ノック 2020 - NLP100 2020 • https://nlp100.github.io/ja/ • PythonDataScienceHandbook(Google Colab) • https://colab.research.google.com/github/jakevdp/PythonDataScienceHandbook/blob/master/notebooks/Index.ipynb • 学会、コミュニティなど • ACL Anthology - ACL Anthology • https://www.aclweb.org/anthology/ • ⾔語処理学会 • https://anlp.jp/index.html • nlpaper.challenge – connpass • https://nlpaper-challenge.connpass.com/
- 18. ⾃然⾔語処理お役⽴ちリンク集 • Awesomeシリーズ • Awesome Python • https://awesome-python.com/#natural-language-processing • Awesome NLP • https://github.com/dparlevliet/awesome-nlp • https://github.com/keon/awesome-nlp • データセット • NLP Datasets • https://github.com/niderhoff/nlp-datasets • ソースコード • Paper With Code • https://paperswithcode.com/area/natural-language-processing
- 19. ⾃然⾔語オススメ資料 • マジメ枠 • ⼤規模データ時代に求められる⾃然⾔語処理 • https://www.slideshare.net/pfi/ss-11474303 • 事前学習⾔語モデルの動向 / Survey of Pretrained Language Models • https://speakerdeck.com/kyoun/survey-of-pretrained-language-models • BERT以降の研究動向のまとめです • 深層学習による⾃然⾔語処理の発展の歴史を振り返る︕包括的なサーベイ論⽂の紹 介︕ | AI-SCHOLAR.TECH • https://ai-scholar.tech/articles/natural-language-processing/natural-language-processing- survey-bert-lstm-rnn • この論⽂を知ったきっかけのWEBページです • ネタ枠 • 「⽶津⽞師どこにも⾏けない説」をword2vecと歌詞を駆使して「どこへ⾏きたい」 か探ってみた – Qiita • https://qiita.com/k_eita/items/456895942c3dda4dc059