Submit Search
Upload
Encoder-decoder 翻訳 (TISハンズオン資料)
•
19 likes
•
10,779 views
Yusuke Oda
Follow
TIS株式会社のハンズオンで使用した講義資料です。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 16
Download now
Download to read offline
Recommended
BERT+XLNet+RoBERTa
BERT+XLNet+RoBERTa
禎晃 山崎
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
最適輸送の解き方
最適輸送の解き方
joisino
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
Deep Learning JP
SHAP値の考え方を理解する(木構造編)
SHAP値の考え方を理解する(木構造編)
Kazuyuki Wakasugi
Recommended
BERT+XLNet+RoBERTa
BERT+XLNet+RoBERTa
禎晃 山崎
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
【DL輪読会】SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021)
Deep Learning JP
最適輸送の解き方
最適輸送の解き方
joisino
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
分散深層学習 @ NIPS'17
分散深層学習 @ NIPS'17
Takuya Akiba
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
Deep Learning JP
SHAP値の考え方を理解する(木構造編)
SHAP値の考え方を理解する(木構造編)
Kazuyuki Wakasugi
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
【DL輪読会】Responsive Safety in Reinforcement Learning by PID Lagrangian Methods...
【DL輪読会】Responsive Safety in Reinforcement Learning by PID Lagrangian Methods...
Deep Learning JP
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
データサイエンティストのつくり方
データサイエンティストのつくり方
Shohei Hido
最適輸送入門
最適輸送入門
joisino
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
大規模言語モデルとChatGPT
大規模言語モデルとChatGPT
nlab_utokyo
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
Yoshitaka Ushiku
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
Deep Learning JP
モデル高速化百選
モデル高速化百選
Yusuke Uchida
RNN-based Translation Models (Japanese)
RNN-based Translation Models (Japanese)
NAIST Machine Translation Study Group
不完全な文の構文解析に基づく同時音声翻訳
不完全な文の構文解析に基づく同時音声翻訳
奈良先端大 情報科学研究科
More Related Content
What's hot
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
研究効率化Tips Ver.2
研究効率化Tips Ver.2
cvpaper. challenge
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
【DL輪読会】Responsive Safety in Reinforcement Learning by PID Lagrangian Methods...
【DL輪読会】Responsive Safety in Reinforcement Learning by PID Lagrangian Methods...
Deep Learning JP
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
joisino
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII
データサイエンティストのつくり方
データサイエンティストのつくり方
Shohei Hido
最適輸送入門
最適輸送入門
joisino
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
Deep Learning JP
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
Deep Learning JP
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
Yahoo!デベロッパーネットワーク
大規模言語モデルとChatGPT
大規模言語モデルとChatGPT
nlab_utokyo
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
Yoshitaka Ushiku
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
Deep Learning JP
モデル高速化百選
モデル高速化百選
Yusuke Uchida
What's hot
(20)
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
研究効率化Tips Ver.2
研究効率化Tips Ver.2
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Responsive Safety in Reinforcement Learning by PID Lagrangian Methods...
【DL輪読会】Responsive Safety in Reinforcement Learning by PID Lagrangian Methods...
グラフニューラルネットワークとグラフ組合せ問題
グラフニューラルネットワークとグラフ組合せ問題
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか?〜
データサイエンティストのつくり方
データサイエンティストのつくり方
最適輸送入門
最適輸送入門
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
大規模言語モデルとChatGPT
大規模言語モデルとChatGPT
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
SSII2022 [TS1] Transformerの最前線〜 畳込みニューラルネットワークの先へ 〜
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
モデル高速化百選
モデル高速化百選
Similar to Encoder-decoder 翻訳 (TISハンズオン資料)
RNN-based Translation Models (Japanese)
RNN-based Translation Models (Japanese)
NAIST Machine Translation Study Group
不完全な文の構文解析に基づく同時音声翻訳
不完全な文の構文解析に基づく同時音声翻訳
奈良先端大 情報科学研究科
ChainerによるRNN翻訳モデルの実装+@
ChainerによるRNN翻訳モデルの実装+@
Yusuke Oda
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
Yoshitaka Ushiku
A Chainer MeetUp Talk
A Chainer MeetUp Talk
Yusuke Oda
Spring 5に備えるリアクティブプログラミング入門
Spring 5に備えるリアクティブプログラミング入門
Takuya Iwatsuka
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
Yuta Kikuchi
ICASSP2019音声&音響論文読み会 論文紹介(認識系)
ICASSP2019音声&音響論文読み会 論文紹介(認識系)
貴史 益子
国際DVTS転送におけるネットワーク技術の使い方 -日伊間双方向DVTS送信を通じて-
国際DVTS転送におけるネットワーク技術の使い方 -日伊間双方向DVTS送信を通じて-
Shinsuke SUZUKI
Deep Learningの基礎と応用
Deep Learningの基礎と応用
Seiya Tokui
Spring I/O 2017 報告 ThymeleafのWebFlux対応
Spring I/O 2017 報告 ThymeleafのWebFlux対応
Takuya Iwatsuka
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
株式会社メタップスホールディングス
Orb dlt technical_overview(特許情報なし)
Orb dlt technical_overview(特許情報なし)
Wataru Fukatsu
メタデータを用いたEnOceanプロトコルの汎用変換
メタデータを用いたEnOceanプロトコルの汎用変換
Hiroyuki Maeomichi
Spring I/O 2016 報告 Test / Cloud / Other Popular Sessions
Spring I/O 2016 報告 Test / Cloud / Other Popular Sessions
Takuya Iwatsuka
第3回アジア翻訳ワークショップの人手評価結果の分析
第3回アジア翻訳ワークショップの人手評価結果の分析
Toshiaki Nakazawa
機械学習を民主化する取り組み
機械学習を民主化する取り組み
Yoshitaka Ushiku
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Yuya Unno
コンピュータビジョンの研究開発状況
コンピュータビジョンの研究開発状況
cvpaper. challenge
ION Tokyo: Keynote Presentation -- "Can we go back to the original? A Return ...
ION Tokyo: Keynote Presentation -- "Can we go back to the original? A Return ...
Deploy360 Programme (Internet Society)
Similar to Encoder-decoder 翻訳 (TISハンズオン資料)
(20)
RNN-based Translation Models (Japanese)
RNN-based Translation Models (Japanese)
不完全な文の構文解析に基づく同時音声翻訳
不完全な文の構文解析に基づく同時音声翻訳
ChainerによるRNN翻訳モデルの実装+@
ChainerによるRNN翻訳モデルの実装+@
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
CVPR 2015 論文紹介(NTT研究所内勉強会用資料)
A Chainer MeetUp Talk
A Chainer MeetUp Talk
Spring 5に備えるリアクティブプログラミング入門
Spring 5に備えるリアクティブプログラミング入門
最近のDeep Learning (NLP) 界隈におけるAttention事情
最近のDeep Learning (NLP) 界隈におけるAttention事情
ICASSP2019音声&音響論文読み会 論文紹介(認識系)
ICASSP2019音声&音響論文読み会 論文紹介(認識系)
国際DVTS転送におけるネットワーク技術の使い方 -日伊間双方向DVTS送信を通じて-
国際DVTS転送におけるネットワーク技術の使い方 -日伊間双方向DVTS送信を通じて-
Deep Learningの基礎と応用
Deep Learningの基礎と応用
Spring I/O 2017 報告 ThymeleafのWebFlux対応
Spring I/O 2017 報告 ThymeleafのWebFlux対応
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Orb dlt technical_overview(特許情報なし)
Orb dlt technical_overview(特許情報なし)
メタデータを用いたEnOceanプロトコルの汎用変換
メタデータを用いたEnOceanプロトコルの汎用変換
Spring I/O 2016 報告 Test / Cloud / Other Popular Sessions
Spring I/O 2016 報告 Test / Cloud / Other Popular Sessions
第3回アジア翻訳ワークショップの人手評価結果の分析
第3回アジア翻訳ワークショップの人手評価結果の分析
機械学習を民主化する取り組み
機械学習を民主化する取り組み
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
Jubatusのリアルタイム分散レコメンデーション@TokyoNLP#9
コンピュータビジョンの研究開発状況
コンピュータビジョンの研究開発状況
ION Tokyo: Keynote Presentation -- "Can we go back to the original? A Return ...
ION Tokyo: Keynote Presentation -- "Can we go back to the original? A Return ...
More from Yusuke Oda
primitiv: Neural Network Toolkit
primitiv: Neural Network Toolkit
Yusuke Oda
Neural Machine Translation via Binary Code Prediction
Neural Machine Translation via Binary Code Prediction
Yusuke Oda
複数の事前並べ替え候補を用いた句に基づく統計的機械翻訳
複数の事前並べ替え候補を用いた句に基づく統計的機械翻訳
Yusuke Oda
Learning to Generate Pseudo-code from Source Code using Statistical Machine T...
Learning to Generate Pseudo-code from Source Code using Statistical Machine T...
Yusuke Oda
PCFG構文解析法
PCFG構文解析法
Yusuke Oda
Syntax-based Simultaneous Translation through Prediction of Unseen Syntactic ...
Syntax-based Simultaneous Translation through Prediction of Unseen Syntactic ...
Yusuke Oda
ACL Reading @NAIST: Fast and Robust Neural Network Joint Model for Statistica...
ACL Reading @NAIST: Fast and Robust Neural Network Joint Model for Statistica...
Yusuke Oda
Tree-based Translation Models (『機械翻訳』§6.2-6.3)
Tree-based Translation Models (『機械翻訳』§6.2-6.3)
Yusuke Oda
翻訳精度の最大化による同時音声翻訳のための文分割法 (NLP2014)
翻訳精度の最大化による同時音声翻訳のための文分割法 (NLP2014)
Yusuke Oda
Pattern Recognition and Machine Learning: Section 3.3
Pattern Recognition and Machine Learning: Section 3.3
Yusuke Oda
Test
Test
Yusuke Oda
More from Yusuke Oda
(11)
primitiv: Neural Network Toolkit
primitiv: Neural Network Toolkit
Neural Machine Translation via Binary Code Prediction
Neural Machine Translation via Binary Code Prediction
複数の事前並べ替え候補を用いた句に基づく統計的機械翻訳
複数の事前並べ替え候補を用いた句に基づく統計的機械翻訳
Learning to Generate Pseudo-code from Source Code using Statistical Machine T...
Learning to Generate Pseudo-code from Source Code using Statistical Machine T...
PCFG構文解析法
PCFG構文解析法
Syntax-based Simultaneous Translation through Prediction of Unseen Syntactic ...
Syntax-based Simultaneous Translation through Prediction of Unseen Syntactic ...
ACL Reading @NAIST: Fast and Robust Neural Network Joint Model for Statistica...
ACL Reading @NAIST: Fast and Robust Neural Network Joint Model for Statistica...
Tree-based Translation Models (『機械翻訳』§6.2-6.3)
Tree-based Translation Models (『機械翻訳』§6.2-6.3)
翻訳精度の最大化による同時音声翻訳のための文分割法 (NLP2014)
翻訳精度の最大化による同時音声翻訳のための文分割法 (NLP2014)
Pattern Recognition and Machine Learning: Section 3.3
Pattern Recognition and Machine Learning: Section 3.3
Test
Test
Encoder-decoder 翻訳 (TISハンズオン資料)
1.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 1 Encoder-decoder 翻訳 Yusuke Oda (NAIST) @odashi_t 2015/12/10 TIS Hands-On
2.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 2 機械翻訳 ● 機械翻訳 (Mahcine Translation: MT) – ある言語の文を、計算機で別の言語の文に変換 – 使用する情報やアルゴリズムによって色々な手法が存在 ● ルールベース翻訳 … 人間が書いた変換ルールを使用 ● 用例翻訳 … 登録された文の単語を置き換えて翻訳 ● 統計的機械翻訳 彼 は 望遠鏡 で 女の子 を 見た He saw a girl with a telescope
3.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 3 統計的機械翻訳 ● 統計的機械翻訳 (Statistical Machine Translation: SMT) – 大量の対訳文から翻訳に必要な情報を自動的に学習 原言語文原言語文原言語文目的言語文 原言語文原言語文原言語文原言語文 翻訳 アルゴリズム 学習 – フレーズ翻訳 … 原言語の単語列を使用 – 構文翻訳 … 原言語の構文木を使用 – Seq-to-seq 翻訳 … 原言語の意味表現を使用 直訳 意訳
4.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 4 フレーズ翻訳 ● 単語列をグループ化、変換、並べ替え – 現在主流の手法 彼 は 望遠鏡 で 女の子 を 見た He sawa girlwitha telescope He saw a girl with a telescope
5.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 6 Sequence-to-sequence 翻訳 ● 部分的な変換ルールは学習せず、文全体の情報を用いて翻訳 直訳手法 原言語 目的 言語 理解 原言語を解析 分解 細かいルールに分割 再構築 ルールを結合 原言語 目的 言語 理解 原言語の 意味を抽出 再構築 意味表現から 直接単語を生成 Sequence-to-sequence 意味表現
6.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 7 ニューラルネット翻訳 ● Sequence-to-sequence 翻訳の一種 ● 意味の解析・単語の生成にニューラルネットを使用 – 複雑さ: 従来の翻訳アルゴリズムよりも圧倒的に単純 – 翻訳精度: 設定次第で従来手法に匹敵・凌駕 原言語 目的 言語 ニューラル ネット (単語生成) ニューラル ネット (意味解析) 意 味 表 現 ● Encoder-decoder 翻訳モデル – 最も簡単な sequence-to-sequence 翻訳モデル – リカレントニューラルネットを使用
7.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 8 リカレントニューラルネット (1) ● リカレントニューラルネット (Recurrent Neural Network: RNN) – フィードバック付きのニューラルネット – 時系列データの解析によく用いられる
8.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 9 リカレントニューラルネット (2) ● 時間方向に伸展したRNN – 中間層には入力の種類と順序に関する情報が蓄積される データ1 データ2 データ3 データ1 データ1 →データ2 データ1 →データ2 →データ3
9.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 10 Encoder-decoder 翻訳モデル (1) ● 原言語側と目的言語側の2本のRNNを結合 – 原言語側 … 入力単語の情報を蓄積 – 目的言語側 … 蓄積された情報を取り出しながら単語を生成 END runs he 走る は 彼 Encoder Decoder
10.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 11 Encoder-decoder 翻訳モデル (2) END runs he 走る は 彼 ● 埋め込み層 (embedding layer) – 特定の単語の意味をベクトルで表現
11.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 12 Encoder-decoder 翻訳モデル (3) END runs he 走る は 彼 ● 隠れ層 (hidden layer) – 単語の意味の蓄積・放出
12.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 13 Encoder-decoder 翻訳モデル (4) END runs he 走る は 彼 ● 出力層 (softmax) – 次に生成する単語の確率を推定
13.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 14 HANDS ON
14.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 15 Chainer で Encoder-decoder 翻訳 ● Chainer - http://chainer.org/ – ニューラルネットのフレームワーク – ソースコードの計算式がそのままニューラルネットの構造になる ● 複雑な形状のニューラルネットを記述するのに最適 は (一例、他の定式化も可能)
15.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 16 Chainer で Encoder-decoder 翻訳 ● Chainer - http://chainer.org/ – ニューラルネットのフレームワーク – ソースコードの計算式がそのままニューラルネットの構造になる ● 複雑な形状のニューラルネットを記述するのに最適 import numpy as np import chainer.functions as F from chainer import Variable W_xi = F.EmbedID(VOCAB, EMBED) W_ip = F.Linear(VOCAB, HIDDEN) W_pp = F.Linear(HIDDEN, HIDDEN) ... x = Variable(np.array([[w]], dtype=np.float32)) i = F.tanh(W_xi(x)) p = F.tanh(W_ip(i) + W_pp(p)) は
16.
15/12/10 Copyright (C)
2015 by Yusuke Oda, AHC-Lab, IS, NAIST 17 See Also ● ChainerとRNNと機械翻訳 - Qiita – http://qiita.com/odashi_t/items/a1be7c4964fbea6a116e ● スタンドアロンで動くニューラル翻訳 – https://github.com/odashi/chainer_examples – 現在Chainer1.4以前で対応 ● サンプルデータ – https://drive.google.com/open?id=0B3O7bgd3mym6VG9OVHRmRlBLbkk
Download now