Recommended
More Related Content
What's hot
What's hot (20)
More from Akinori Ito
音声の認識と合成
- 1. 1 音声認識・合成
- 2. 2 音声の認識 入力された音声を文字列に変換する (Speech-to-Text) 概要 – 特徴抽出(MFCC) – 音響モデル(HMM) – 言語モデル(FSG, N-gram) – デコーダ
- 5. 5 確率的音声認識の原理 事後確率最大となる確率的推定問題 W = arg max W PW∣X = arg max W p X∣W PW p X = arg max W p X∣W PW
- 6. 6 特徴量の抽出 スペクトルの概形を表すパラメータを 使う – スペクトルの概形⇔声道伝達関数⇔音韻 – スペクトルの微細構造(⇔ピッチ)は使わな い 概形自体は冗長⇒よりコンパクトな特徴 – ケプストラム 時間構造の利用 – Δケプストラム，ΔΔケプストラム
- 8. 8 スペクトルとケプストラム FFTケプストラム：対数パワースペク トルのフーリエ変換 – 低次のケプストラム係数が対数スペクトル の概形に対応→音声認識に利用 – 高次のケプストラムのピークが基本周波数 に対応→ピッチ抽出に利用 C =F [log∣X ∣ 2 ]
- 12. 12 ケプストラムの仲間たち(2) メル周波数軸上のケプストラム – LPCメルケプストラム • LPCケプストラム係数を変換 – メルLPCケプストラム • 音声波形をフィルタでメル周波数変換してLPC分 析 – MFCC (Mel Frequency Cepstral Coefficients) • メル周波数間隔のバンドパスフィルタ出力のコサ イン変換
- 14. 14 音響モデル 記号(音素，単語など) W が特徴量系列 X に対応する確率 p(X|W)を計算する – どうやって確率をつけるか？ – XもWも可変長⇒どう対応付けるか？ 隠れマルコフモデル(HMM)によるモデ ル化 – 特徴量系列を，特定の確率分布に従う系列 の連続としてモデル化
- 15. 15 HMM:隠れマルコフモデル HMMは特徴量系列を生成するモデル – 非決定性有限状態オートマトン – 「現在の状態」が確率的に変わりながら， 確率的に特徴ベクトルを生成する 状態iからjへの遷移 確率 状態iでの特徴ベク トルxの出力確率密 度 状態iの初期確率 i ai j bi x 多次元混合正規分布がよく用い られる
- 16. 16 HMMの特徴 生成モデルである (vs. 識別モデル) – 音声の特徴量系列が出力される「確率密度」を計算する ことができる 任意の長さの系列が生成できる – 伸び縮みする系列を扱うのに適している – 系列と状態を対応付ける方法が確率している(ビタビアル ゴリズム) 学習によってパラメータが推定できる – サンプルを与えることで，そのサンプルを生成する確率 が高いHMMを推定することができる (Baum-Welch のア ルゴリズム)
- 18. 18 HMMによる認識(1) 入力系列XがHMM ηで生成される確率 密度 p(X|η)を計算する /a/ /i/ /o/ X p X∣/ a / p X∣/ i / p X∣/ o /
- 19. 19 HMMによる認識(2) 辞書を利用した単語の確率計算 /a/ /a//k/ /o/ /i//k/ X 赤 ⇒ /a/ /k/ /a/ 沖 ⇒ /o/ /k/ /i/ p X∣赤 p X∣沖 確率最大の単語を探せば 単語認識ができる
- 20. 20 言語モデル 文を構成する単語の並びの制約を表現するモ デル ある文の並びを「評価」する – 1/0の評価：文法 (受理可能/不可能) • 有限状態文法(有限状態オートマトン) • 文脈自由文法(CFG) – 並びの「良さ」を確率的に評価： 統計的言語 モデル • N-gram • その他の確率的言語モデル
- 22. 22 統計的言語モデル もっと大規模な文を認識するには？ – 文章の音声入力など ある単語が並ぶ確率（並びやすさ）を 使う これを直接求めるのは難しい →近似によって求める Pw1 w2wN =∏i Pwi∣w1wi−1
- 23. 23 N-gram言語モデル ある単語の生起確率が直前のn-1単語に のみ依存すると仮定 – n=2の場合 Pw1wN =∏i Pwi∣wi−1 n=1: unigram n=2: bigram n=3: trigram
- 24. 24 一番良い文を探そう 20000種類の単語を知っている音声認識 …システムでは – ７個の単語からなる文は 200007 =1.28×1030 通り – 文1個の計算に1/10000秒かかったとする – 全部調べるには400京年（400億年の1億 倍）かかる
- 25. 25 デコーダによる探索 見込みのありそうな文だけ探す – 途中までスコアを計算しながら、可能性の ありそうな文だけを残し、残りは調べない 今日 は 良い 天気 でした 今日 で 言葉のつながりが悪い 音が似ていない コンピュータチェスなどと同じ手法
- 26. 26 音声の合成 録音合成 編集合成 パラメータ合成 テキスト音声合成 (Text-to-Speech) – 物理シミュレーション – フォルマント合成 – 波形接続合成 – HMM合成 文を全部録音 単語単位で録音 実際の声を元に合成⇒携帯電話
- 27. 27 テキスト音声合成 (TTS) 文字列を音声に変換する技術 文字列 形態素解析 音素列 単語列 構文解析 単語アクセン ト 韻律句 韻律合成 ピッチ系 列 音声合成 エンジン 音声
- 30. 30 フォルマント合成 デモをどうぞ 利点 – 母音（ a, i, u, e, o等）については、どんな 声でも原理的に作れる 欠点 – 自然な声を出すのが難しい – 子音（p, s, d などの音）の品質が良くない
- 31. 31 波形接続合成 本物の声をたくさん記録しておき、そ の中から適宜取り出してきてつなぐ – 編集合成の高度なやつ – 利点 • （もとが本物なので）自然な声が作りやすい – 欠点 • 大量の元音声が必要 • 任意の声は作れない
- 32. 32 波形接続合成 各音節の波形を接続 母音の途中で波形を接続(VCV接続) o sh i i k a a k eo o sh i e k a k e これを実現するためには，各音声素片の長さ や高さを調整する必要がある 音声素片
- 34. 34 TD-PSOLA (Time-Domain Pitch-Synchronous Overlap Add) 基本周期に同期して波形を切り出し， それを再び重ね合わせる
- 35. 35 TD-PSOLA (Time-Domain Pitch-Synchronous Overlap Add) 波形を何度も重ね合わせると音を伸ば すことができる
- 36. 36 TD-PSOLA (Time-Domain Pitch-Synchronous Overlap Add) 重ね合わせの周期を変えるとピッチ変 換が実現できる
- 38. 38 対話をするために 音声認識と合成だけでは対話にならな い – 対話の目的 – 認識した内容の理解 – 目的達成のための聞き返し、確認紅茶を 下さい 緑茶ですか？ 違う、紅茶 わかりました 紅茶ですね
- 39. 39 音声の理解 機械が「理解」するとは？ – 対話の目的：人間から情報を得ること – 対話の目標：埋めるべき項目の一覧 – 対話の理解：項目が全部埋まること 動作：持ってくる 対象：紅茶 個数：１ 紅茶を１杯ください。
- 41. 41 もっと難しい理解 複数の目標がある – 旅行会社の対話（目的地、ホテル、交通手 …段 ） 対話の進行によって目標が変わる – 観光案内 目標が良くわからない – 雑談
- 43. 43 対話のキャラクタの デザイ ン 何がよいのか良くわかっていない – 芸術の領域 – 人間の対話行動の模倣 • うなずき、あいづち、表情の変化 人間は「自然性」に敏感 – 人間にわかる「自然性」の正体は？
- 44. 44 …現在の技術では 音声認識 – 「日本語のできる外国人」レベル • 雑音に弱い • 話題の変化に弱い 音声合成 – 「日本語のできる外国人」レベル • 何を言っているのかはわかる • アクセントが変
- 45. 45 …現在の技術では 音声理解 – きわめて限定的 – 「なにをもって理解とするか」が難しい 対話能力 – きわめて限定的 – 複雑な対話は難しい – 理解を伴う雑談は無理 • 理解を伴わない雑談なら可能（人工無能）