Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

発話自動採点システムの研究と開発

1,410 views

Published on

2015年度LET関西支部春季研究大会のスライドです。

Published in: Education
  • You can try to use this service ⇒ www.HelpWriting.net ⇐ I have used it several times in college and was absolutely satisfied with the result.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

発話自動採点システムの研究と開発

  1. 1. 発話自動採点システム の研究と開発 近藤 悠介1
  2. 2. 発話評価の導入 •テストの実施・採点に時間がかかる。 •評定者の訓練に時間がかかる。 •訓練を施しても評価のブレは生じる。 •信頼性・妥当性の高い複数の評定者 の確保が困難。 自動採点 2
  3. 3. 発話自動採点のイメージ 3 y=ax+b… Nice to see you! .wav Score & feedback
  4. 4. 実用化されているもの •SpeechRater • 特定の話題に関する自由な発話を自動採点。 • 評定者との相関は.57-.70。 • 単語認識率は約50%。 •Versant • 限定されたタスクを使用。 • 単語認識率は相当高い。 • 他のテストとの相関が高い。 4
  5. 5. システムの開発過程 5
  6. 6. 構成概念の定義、評価基準、 タスクの作成 •目的 •言語使用の領域 •発話誘出方法(タスク) •対象者 •評価基準 などが音声認識技術の精度によって制限 されている。 6
  7. 7. タスクと音声認識 • 基本的に出現する単語 の予想が難しくなると、 認識の精度が落ちる。 繰り返し 読み上げ 談話完成タスク(DCT) 準備されたスピーチ 自然発話 発話の自由度 発話の予測可能性 高い 高い低い 低い 7
  8. 8. システムの開発過程 8
  9. 9. 評定者の信頼性 •一般化可能性理論による分析 Estimated Variance (Before) Estimated Variance (After) e (examinee) 0.43 0.63 t (item) 0.51 0.08 r (rater) 0.12 0.11 et 0.28 0.08 er 0.08 0.25 tr 0.18 0.09 etr (residual) 0.49 0.41 Sum 2.08 1.66 大きいほど受検者の能力を よく識別できている 大きいほど評価項目の難易 度にばらつきがある 大きいほど評価項目の難易 度にばらつきがある 大きいほど評定者によって 受検者の順序が替わる 大きいほど項目によって受 検者の順序が入れ替わる Kondo (2010). The development of automatic speech evaluation system for learners of English. 9
  10. 10. 評定者と自動採点の一致 Group Correlation % Exact Agreement % Adjacent Agreement Kappa Weighted Kappa Naïve .77 41 89 .27 .75 Untrained .61 31 73 .16 .59 Certificated (Average) .92 70 99 .62 .91 Certificated (Exemplary) .95 80 100 .76 .94 Powers, Escoffery, and Duchnowski (2015) Applied Measurement in Education Untrained < Naïve < Certificated (Average) < Certificated (Exemplary) 10
  11. 11. 評定者の信頼性 • クロンバックのα • 一致の割合 • コーエンのκ • スピアマンの順位相関 • ピアソンの相関係数 • 項目反応理論のInfitと Outfit • 平均平方根偏差 • ポリコリック相関係数 • マクドナルドのω • 級内相関係数 • 相関係数の標準偏差 • 相関係数の平均 11
  12. 12. 評定者の信頼性 •信頼性の程度 •信頼性の指標 などを検討しなければならない •これらをどのように受検者に知 らせるか 12
  13. 13. 発話の特徴量 13 特徴量 定義 フィラーの数 mm, ehhなどに代表される非語彙の挿入数 無音ポーズの長さ 100ms以上の無音の時間的長さ Mean length of run 2つのフィラーあるいは無音ポーズの間の音節の数の平均値 言い直し 言い直しで挿入された音節の数 Pruned syllable per second 言い直し、フィラーを除いた音節の数を総発話時間で割ったもの 強勢音節と非強勢音節の比 非強勢音節の長さの平均値を強勢音節の長さの平均で割ったもの 文間のポーズの数 文の境界で置かれたフィラーおよび無音ポーズの数 フレーズ間のポーズの数 フレーズの境界で置かれたフィラーおよび無音ポーズの数 /i/と/ɪ/の識別率 F1およびF2による/i/と/ɪ/の識別率(判別分析による) /uː/と/ʊ/の識別率 F1およびF2による/uː/と/ʊ/の識別率(判別分析による) /ӕ/と/ʌ/の識別率 F1およびF2による/ӕ/と/ʌ/の識別率(判別分析による)
  14. 14. 評価値と特徴量の関係 𝑦 = 𝑥1 + 𝑥2 + ⋯ + 𝑥 𝑛 評定者による評価 発話の特徴量 総語数、ピッチ幅、ポーズの頻度 14
  15. 15. 評価値と特徴量の関係 0 1 01 特徴量A 特徴量 B 特徴量C 特徴量 D 良い特徴量 悪い特徴量 15
  16. 16. CAF研究 測定しようとする能力 複雑さ 正確さ 流暢さ 特徴量a 特徴量b 特徴量c 特徴量d 特徴量e 「ある指標がある構成概念の測定指標である」と分かれば、特 徴量と評価の関係を検証することなく、特徴量のみでスコアを 算出することが可能。 たとえば、Koizumi & In’nami. (2014). Modeling Complexity, Accuracy, and Fluency of Japanese Learners of English: A Structural Equation Modeling Approach16
  17. 17. CAF研究 •操作的定義が異なる。 •独自の測定法。 •指標の妥当性が不明。 Ellis (2009). The differential effects of three types of task planning on the fluency, complexity, and accuracy in L2 oral production. 17
  18. 18. 発話の特徴量の選択 •測定方法 •特徴量の構成概念 •評価との関係 などを検討しなければならない 18
  19. 19. システムの開発過程 19
  20. 20. 予測方法 Goodの平均値 Poorの平均値 Poor Good 𝐷 𝑝, 𝑋 = (𝑥𝑖 − 𝑥)2 𝑠𝑑 𝑥 + (𝑦𝑖 − 𝑦)2 𝑠𝑑 𝑦 x y 値が小さい方のカテゴリが評価と なる。sdはその次元の標準偏差。 20
  21. 21. 手法による予測精度の違い 決定木 ナイーブ・ベイズ サポート・ベクター・マシン バギング ランダム・フォレスト バギング 決定木 ナイーブ・ベイズ ランダム・フォレスト サポート・ベクター・マシン 小林, 田中, 冨浦. (2011).メタ談話 標識を素性とするパターン認識を 用いた英語科学論文の質判定. 高 低 高 低 私の研究 「勿論、分類制度は用いたテキストや組成に依存するため絶対的なも のではない」 21
  22. 22. 回答 1/3 •評価の信頼性をどの程度確保 すべきなのか。 • 検討する必要がある。 •評定者訓練の効果はあるか。 • 効果はあるが、解釈が難しい。 22
  23. 23. 回答 2/3 •音声認識技術によって得られる 特徴量のみで測定したい能力 が測定できるか。 • テストの目的によっては可能。 •音声認識によってタスクはどの 程度制限されるか。 • かなりの程度制限される。 23
  24. 24. 回答 3/3 •最適な予測方法は? • 予測の手順も含め、検討する必要がある。 •発話の特徴量をどのように選択 するか。 • 個々の特徴量の測定方法など検討すべきことが多い。 24
  25. 25. 参考文献 小林雄一郎・田中省作・冨浦洋一 (2011年12月10日). 「メタ談話標識を素 性とするパターン認識を用いた英語科学論文の質判定」 情報処理 学会 人文科学とコンピュータ研究会「じんもんこん2011―「デジタ ル・アーカイブ」再考」 (於 龍谷大学) Ellis, R. (2009). The differential effects of three types of task planning on the fluency, complexity, and accuracy in L2 oral production. Applied Linguistics, 30 (4), 474-509. Koizumi, R., & In’nami, Y. (2014). Modeling complexity, accuracy, and fluency of Japanese learners of English: A structural equation modeling approach. JALT Journal, 36, 25-46. Kondo, Y. (2010). The development of automatic speech evaluation system for learners of English. Unpublished doctoral dissertation, Waseda University, Tokyo, Japan. Zechner, K., Higgins, D., Xi, X., & Williamson, D. M. (2009). Automatic scoring of non-native spontaneous speech in tests of spoken English. Speech Communication, 51, 883-895. 25

×