イベント https://haim.connpass.com/event/173785/ ハンズオン https://colab.research.google.com/github/ydaigo/BERT_HANDSON/blob/master/BERT_HANDS_ON.ipynb#scrollTo=U3LfNzvnQM09

1. 汎用性の高い
自然言語処理モデルとは？
2020/05/02 HAIM ( 北陸AI&MeetUp )

2. タイムスケジュール
20:00～20:05 HAIMの紹介 Saegusa様
20:05～20:10 協賛企業であるForkwell様
20:10～20:30 自然言語処理、BERTの紹介
20:30～20:50 BERTのハンズオン
20:50～ 質問タイム＆雑談

3. HAIMとは？
北陸AI&Meetup

4. 自己紹介
• 山本大悟 (先週で２３歳！)
•住んでいる場所：富山県
• 興味：データ分析コンペ
• twitter:@161abcd

5. この勉強会の目的

6. １.初学者が自然言語処理を
学ぶきっかけになってもらうこと
２.Googleが開発したモデルの
BERTの概要を理解すること

7. 自然言語処理とは？
コンピュータが自然言語を理解することです。
自然言語 英語や日本語のような
人が日常的に使う言葉

8. 自然言語処理で何ができる？
文章生成
感情判定
文章要約
ハンズオンで扱う

9. 感情判定とは？
私はノートパソコンを壊した。
私はノートパソコンを購入した。

10. 日本語と英語の自然言語処理
の違い

11. 英語の場合
I am Engineer in Japan.
I am Engineer in Japan
単語ごとに唯一の数字を割り当てる

12. 日本語の場合
私はエンジニアである。
形態素解析
単語ごとに唯一の数字を割り当てる

13. 自然言語処理の２種類のモデル

14. RNN(リカレントニューラルネットワーク)

15. 文章を一方向から理解(RNN)
I am Engineer in Japan OR
順番に認識

16. RNNの問題点
学習時間が長い
逐次処理であるため…

17. BERT

18. 文章を双方向から理解(BERT)
I am Engineer in Japan
OR

19. Transformer
注意(Attention)が大切！

20. Transformerとは
Attentionを用いたモデル
transformer ベース BERT

21. Attentionはどの単語と関係性が深いか
国語 数学 モノづくり パソコン 犬

22. BERTについて
• 学習データ
• Wikipedia + BookCorpus
• 教師なし学習
• 文脈を理解できる
• できること
• 固有表現抽出
• 感情判定
• 質問回答

23. BERTの学習は２種類
•単語の予測
•文のつながりの予測

24. [BERTの学習]単語の予測
•男は？？に行った。
•彼は？？牛乳を購入した。
パック
お店

25. [BERTの学習]文章のつながりの予測
• 男はお店に行った。
• 彼はパック牛乳を購入した。
• ラベル：つながりあり

26. [BERTの学習]図で説明すると？
BERT
男は？？に行った。 彼は？？牛乳を購入した。
単語ごとに一意の数字に変換
つながりあり お店 パック

27. [BERTの微調整]文章のクラス分類
BERT
私は幸せだ。
単語ごとに一意の数字に変換
クラスラベル：ポジティブ

28. [BERTの微調整]質問回答
BERT
私の職業はエンジニアである。
単語ごとに一意の数字に変換
あなたの職業は何ですか？[SEP]エンジニア
あなたの職業は何ですか？

29. ハンズオンで使うライブラり紹介

30. Transformersの特徴
•フレームワーク
• pytorch,tensorflow
•100以上の自然言語処理モデルを提供
•学習済みモデルの共有

31. 参考資料
• ゼロから作るDeep Learning ❷ ―自然言語処理編 (日本語)
• つくりながら学ぶ! PyTorchによる発展ディープラーニング
• https://huggingface.co/transformers/
• https://github.com/huggingface/transformers
• http://jalammar.github.io/illustrated-transformer/

32. ハンズオンへGO