Recommended
Recommended
More Related Content
Similar to nlp_cv.paper.challenge合同勉強会(公開用)
Similar to nlp_cv.paper.challenge合同勉強会(公開用) (20)
nlp_cv.paper.challenge合同勉強会(公開用)
- 4. 自己紹介 ● 萩行 正嗣(はんぎょう まさつぐ) ○ 2014年3月: 京都大学黒橋・河原研で博士 (情報学)取得 ■ 日本語のゼロ照応解析を研究 ○ 2014年4月: 株式会社ウェザーニューズ入社 ○ 2016-2017年: YANS運営委員 ● EMNLPを1回通した程度の能力 ● Twitter: @mhangyo ○ 今日の話は普段Twitterで話していることが多く含まれます ● 自然言語処理の沼へようこそというスライドを公開しています
- 5. YANSとは？(宣伝) ● NLP若手の会(Young Researcher Association for NLP Studies) ● YANSシンポジウム (8月末-9月) ○ 若手研究者(40歳未満くらい)が交流する参加者の相互成長の場 ■ ただし、本人が若手と思えば年齢は関係なし ○ 学生やエンジニアの参加、 NLP以外の分野からの参加も歓迎 ○ 2泊3日の合宿形式 ○ 2018年は約150人参加、スポンサーは 17社 ● YANS懇(3月) ○ 言語処理学会全国大会期間中に懇親会をします (今年は3/14(仮)) ○ 単なる飲み会 ○ 2018年は約150人参加 ❖ ちなみに、言語処理学会中のイベント(含む非公式)はNLP2019期間中のイベント 一覧(中澤さん作)をご覧ください
- 7. NLPにおける1st tier ● ACL: Annual Meeting of the Association for Computational Linguistics ● EMNLP: Conference on Empirical Methods in Natural Language Processing ● NAACL: Annual Conference of the North American Chapter of the Association for Computational Linguistics ❖ 参考: Qiita記事 [自然言語処理系の国際会議を雑に説明してみる(修正あり)] ➢ AACLとか出てきたので、誰か修正版を。。。
- 8. ACL Anthology ● 自然言語処理系の論文は、基本このサイトを見に行けばOK(だった) ● NLPの主要会議(3rd tierぐらいまで)は大体置いてある ● arXivよりは信頼がおける ● 太古の昔(80年代)の論文もあるので、D論書くときにはお世話になるはず (そもそもD論書くぐらいだとお世話になりまくりだけど)
- 9. 巨人の肩を見る実力をつける ● 1st tierの最新の論文だけを読んでも駄目 ● 引用されている論文を積極的に読んでいく ○ どの論文を読むべきか、の手掛かりに 1st tierの論文を使う ■ サマリも書いてあるので、闇雲に読むよりは読みやすい ○ 1st tier以外でも重要そうなら積極的に読む ■ コーパス作成やタスク設定は 2nd tierやworkshopの論文であることも多い ○ 自分が論文を書く時の参考になる ■ 論文のサマリの書き方 ■ 先行研究との位置付けの書き方 ● 論文に限らず、必要な知識は身に付ける ○ タスク設定、評価指標は特に重要 ● 自分の分野については「あー、そーゆーことね、完全に理解した」と言えるようにな ろう
- 10. 2019 2018 2017 2016 ACL ACL EMNLP LREC ACL ACL EMNLP 上から入って読むべき論文を決める TOP会議の論文で、 「現在の研究シーンには」 寄与が小さいものもあるので、 それを見抜く ACL ACL ACL NAACL Coling 教科書
- 11. 精読の読み会もやろう ● その論文で分からないことはない、ぐらいの勢いが大事 ○ 全文訳するぐらいの気持ちで ○ 主要な関連研究も読破 ● なぜその論文を選んで読んだのかも大事 ● 参加者は積極的に質問しよう ❖ 著者に近いレベルで論文を紹介する+質問を受ける ➢ 周りの人が論文を読む /評価する時のポイントが分かる ➢ 著者として突っ込まれたくないポイントがクリアに ❖ 研究室の論文紹介はこんな感じのところが多い？
- 12. 個人的に好きな教科書
- 13. 英語が苦手なら ● Top会議と同じ内容が言語処理学会の年次大会で発表されていたり、論文誌に投 稿されているケースあり ● 英語で書かれた内容を理解する練習として、日本語論文を参考にするのはあり ● 言語処理学会の年次大会の内容を多読する必要があるか？ ○ NO: ただし、それぐらい読める実力は必須なので、腕試しにやるのはいいんじゃないかと ❖ この辺の考え方は個人差が大きいと思います
- 14. 乗れる巨人の肩を探す ● 定量的な側面 ○ どういったコーパスで評価しているか？ ○ 手法のどういった要素が効いているのか？ (baselineや提案モデル内の比較とか ) ○ 精度は本当に妥当なのか？ ■ 論文に載っていない数字との比較 ■ 結果の例と整合性がとれているか ● 定性的な側面 ○ 何故その問題に取り組むのか ? ○ 手法が何故有効なのか ? ○ 実験設定に不自然な点はないか ? SOTA
- 17. 問題を深堀りする(1):既知の問題を拡張 ● Japanese Zero Reference Resolution Considering Exophora and Author/Reader Mentions [Hangyo+ EMNLP 2013] ● ゼロ照応解析に外界照応(著者、読者等)を導入 ● 既存のコーパスでもタグ付けはされていたが、無視されていた (新聞を対象にした研究では影響が少なかった) ● Webコーパスのアノテーションで、外界照応の付与基準でブレることが多かったこと から問題を発見 ❖ 自分の対象となるデータセットと真剣に向かい合うことが大事 ❖ アノテーションをウォーターフォール的に、仕様の定義 → 外注とやっていては、問 題に気付かなかった
- 19. 問題を深堀りする(2): 既存の手法に逆行する ● A Multi-Pass Sieve for Coreference Resolution [Raghunathan+ EMNLP 2010] ● 機械学習が主流だった共参照解析でルールベースでSOTAを達成 ❖ 冷静に考えれば、共参照の多くはSyntacticに、つまりルールベースで解ける ❖ データセットを真剣に眺めての結論ではないだろうか ❖ 流行の手法だけでなく、的確にゴールに近付く工学的なアプローチ
- 20. 新しい問題を生み出す ● Beyond NomBank: A Study of Implicit Arguments for Nominal Predicates [Gerber & Chai ACL 2010] ● 英語には省略がない？そんなことはない ● Participants will be able to transfer money to other investment funds. The investment choices are limited to a stock fund and a money-market fund. ● Syntacticにはないと無視さていただけで、semanticには存在していた ❖ 言語理解に真剣に取り組むと、既存無視されていた現象が見えてくる ❖ 一単語一単語の意味をどう考えるか(手法ではなく)
- 22. 手法を他の研究から持ってくる ● 違う言語でやったら上手くいきました、はTOP会議は厳しい ● 定式化を変えずに同じ分野から持ってくるのは、激戦区 ○ スピード勝負になりがち ○ Top会議に通すには、徹底的な精度検証などが肝？ ● 定式化から手を入れるとチャンス大 ○ 問題設定の深い理解が重要 ● 他分野から持ってくるのは、業界を変えるインパクトの場合も ○ Bag of Features (NLP/IR → CV) ○ Attention (Caption生成 → 要約) ● 深層学習で分野間の手法の壁が下がってきている ○ 他分野に打って出るチャンスかも ○ 他分野のデータの構造の理解が重要 ■ 数値予報マップからの天気予報コメントの自動生成 [村上+ 2017]
- 23. Copyright©Weathernews Inc. “Confidential” 明日も晴れて日差しタップリ。夏を感じるような暑さが続きます。お出かけの際はＵＶ対策やこ まめな水分補給で熱中症対策を忘れずにおこなって下さい。 今日は日差しが降り注いでお出かけ日和です。寒さが和らいで花粉が飛散しやすくなるた め、対策をしっかりとして下さい。 23 Deep Learningによる予報コメント生成 Deep Learning 数値シミュレーション ピンポイントコメント 明日も日差しが届いて蒸し暑くなります。うだるような暑さが続いて体がバテてしまわないよ う、しっかり栄養や睡眠をとって体調管理にご注意下さい。 明日も晴れて日差しタップリ。夏を感じるような暑さが続きます。 お出かけの際はＵＶ対策やこ まめな水分補給で熱中症対策を忘れずにおこなって下さい。 今日は晴れてお出かけを楽しめる天気です。昼間は暖かく、春物のコートが活躍。花粉の飛 散に備え、対策を万全にしてお出かけください。 今日は日差しが降り注いでお出かけ日和です。寒さが和らいで 花粉が飛散しやすくなる た め、対策をしっかりとして下さい。 リスク/対応策コメント
- 24. 分野横断的なタスクを作る ● Caption生成の大成功が典型的な事例 ● 他分野をただ繋げるだけは厳しくなってくる？ ○ 分野の数にも限界があるし ● 分野のANDからORへはまだまだ？ 言語 画像 caption生成がANDの領域
- 25. Copyright©Weathernews Inc. “Confidential” 25 リアルタイム冠水判定 びっくりしてます。家の廻りは、 冠水です。こんなのは、65年以 上も人生で初めてです。 今は雨が降っていませんが、 ま だ冠水しています ポツパラ雨が降ってます。写真に は写ってませんが、昨日 冠水して いた道路は大分乾きました。 それ では良き午後を。 … 市街地の道路は、大きな水溜まりは出来 てますが、冠水は今のところ見られてませ ん。… AIが冠水有りと判定 AIが冠水なしと判定 平成30年7月豪雨の事例 周りは冠水して身動き取れず。 事前/事中 事後 今は言語だけで判定している が、画像と両方使いたい
- 26. 言語にしか出来ないこと、画像にしか出来ないこと ● 言語: ○ 目に見えないもの(音など)の表現 ○ 気持ちの表現 ○ 否定表現、仮定表現 ● 画像: ○ 物体の正確な表現 ○ 目の前の現象の全ての描写 (言語は一部を切り取ることしか出来ない )
- 27. SyntacticそしてSemanticへ ● Surface: ○ 見れば大体分かるもの (POS tag, Object detection) ● Syntactic: ○ 隠れた構造、表層からおおむね分かる (Parsing, Semantic segmentation) ● Semantic: ○ 入力(文、画像)から絞り取れる、連続的な何か、情報？ ○ 入力だけでなく、様々な情報 /経験との統合処理 ○ 形式的にSemanticを定義することは出来るが、あくまで捨象した何か ■ 語の語義数を定義すること ■ Semantic Roleを定義すること ○ 言語、画像にしか出来ないことの探求が semanticへの近道？
- 29. ● 論文を読んで、まとめを公開することを目的にしない ○ まずは自分が論文を通せる力を ○ その後は仲間を助けられるように ○ サーベイ集団から研究集団 (by 片岡さん) ● 研究対象に深く目を向けよう ○ cv/nlpなら画像や言語への深い洞察、日々見たもの、聞いたものが最大のデータセット ■ 機械学習がいいんだっていうなら ML系という手もある ○ 詳細な実験結果を見られるのは、研究してる本人の特権 ❖ 健全な研究は、健全な精神/肉体から ❖ 博士持ちの待遇もだけど、道を外れることへのセーフティーネットがない ❖ WNIは博士中退でも全然大丈夫 (学歴ではなく、実力で評価します(入社時も、入社後も)) まとめ