QnA Makerを使ったFAQチャットボットの検証
•Download as PPTX, PDF•
5 likes•1,955 views
Cogbot コミュニティの「Cogbot勉強会！#19 - QnA Maker & LT Night !」で話した内容の資料
Recommended
More Related Content
Similar to QnA Makerを使ったFAQチャットボットの検証
Similar to QnA Makerを使ったFAQチャットボットの検証 (20)
Recently uploaded
Recently uploaded (10)
QnA Makerを使ったFAQチャットボットの検証
- 2. 1自己紹介
- 4. 3もくじ
- 7. 61-2.基本機能概要…なにをしてくれて、なにをしてくれないのか？ シンプルにいうと・・・ Microsoft アカウントとは何ですか? Microsoft アカウントはインターネット上で個人認 証を行う手段のひとつで・・・・・・・ こういう自由な文章で書いた質問に、 こういう適切な回答を返す機能です。 ■QnA Makerサイト 「自由な文章」なとこ ろがAI技術で可能に なったところ
- 12. 11 学習と公開 •ナレッジベースを公開 ユーザの利用 •問合せをする 問合せの蓄積 •問合せを受けた質問の蓄積 回答結果のレビュー •正しい回答かレビュー •間違っていれば修正 •回答がナレッジベースになければ、回答を追加 定期的に実施 ③類義語・同義語 ※一般的な日本語 外部から取得②異なる質問の言い回し ①質問と回答のペア QnA Makerにて 蓄積 QnA Makerにて 自動化 QnA Makerが支援 ツールを提供 QnA Makerにて 取り込みの自動化 ③類義語・同義語 ※社内用語 1-３.
- 13. ２．精度検証の結果
- 14. 132-1. ※Qiita記事から抜粋 内容 件数 質問と答えペアの数 (分類するクラス数) 約1300件 言い回し質問を含む 全学習データ量 約5000件 検証で使った学習データ Cognitive Toolkit版およびQnA Maker版で同じデータ 8割で学習 2割でテスト ランダムな分割
- 16. 15 ※Qiita記事から抜粋 2-2. 正確には、QnA Maker単体ではな く、Bot Serviceの初期テンプレート がイマイチなところ。 QnA Makerとしては複数回答は対 応してくれているのでカスタマイズして 対処する。
- 19. 183-１. • 自然言語分類の仕組みを知る理由 • 学習データとはどうあるべきか、最適な形にするにはどういった整備をすればいいかを考えるため には、自然言語分類の仕組みを知る必要がある。 • QnA Makerを使えば仕組みを知らなくとも、なんとなく学習データを作れてしまいますが、精度 が出る良い学習データを作るには、必須の知識だと考えています。 ※この資料での説明より、さらにより深く仕組みを理解するには、Microsoft Cognitive Tooｌkit(CNTK）などで実装してみ ることが有効です。以下の投稿で利用＆実装手順＆サンプルコードを書いています。 https://qiita.com/tomohiku/items/63dff5751326a9f59dea
- 20. 193-１. 自然言語分類の仕組みを説明するためにCNTKモデルの学習データの作成手順を例として説 明します。 1. 質問文と回答番号のペアを作成する（言い回し一覧の作成） 質問文 回答番号 Office365ってどうやったら変えるの？ 1 Office365を買う方法 1 Excelだけを買うことできますか？ 2 Excelを単体で買うことは可能？ 2 Office365のサブスクリプションIDってどこでわかる？ 3 Office365のサブスクリプションIDを入力してくださいと出ます 3 O365のsubscription IDはどこに書いている？ 3 O365のsubscription IDを教えてください 3 ・・・ ・回答番号１つ当たり言い回しを変えた15パターンの質問文を用意する。 （最低でも10パターンの質問文が必要。） ◆言い回し一覧の例 ※以下の例は言い回しが２つずつだが、15つずつ作る
- 21. 20 2. 文章を形態素分解し、分かち書きにする（単語単位に区切る） 話し言葉・流行語辞書を取り込み、分解精度を向上させる 「Office365」などの業界特化の専門的な固有名詞は、できるだけ単語として認識された方が良いが 「Office」「365」に分かれてしまっても、あまり精度に影響をあたえません。 理由は、分類器で利用するRNNアルゴリズムが単語の順序を意識して、パターンマッチングをしているためです。 質問文 分かち書き後 回答番号 Office365ってどうやったら買えるの？ Office 365 って どう やっ た 買える の ？ 1 Office365を買う方法 Office 365 を 買う 方法 1 Excelだけを買うことできますか？ Excel だけ を 買う こと でき ます か ？ 2 Excelを単体で買うことは可能？ Excel を 単体 で 買う こと は 可能 ？ 2 Office365のサブスクリプションIDってどこでわかる？ Office 365 の サブスクリプション ID って どこ で わかる ？ 3 Office365のサブスクリプションIDを入力してくださ いと出ます Office 365 の サブスクリプション ID を 入力 し て くださる と 出 ます 3 O365のsubscription IDはどこに書いている？ O 365 の subscription ID は どこ に 書い て いる ？ 3 O365のsubscription IDを教えてください O 365 の subscription ID を 教え て ください 3 ・・・ 3-１.
- 22. 21 3. 分かち書きにしたテキストに以下の加工を行う 同じ意味として認識してほしいのに、言葉の揺らぎにより別単語となってしまっている単語を置き換える ① 類義語・略語 を統一する 例：O365 → Office365 ② 同義語辞書(漢字送り仮名) を統一する 例：買い方、買いかた → 買い方 ③ 修飾詞・動詞などの活用形 を基本活用に統一する 例：できますか → できる ます か 分類するために、不要な単語を除去する ① ストップワード(除外ワード)辞書 に登録した単語を除去する 例：あのね、あー → (除去) 4.質問文の全ての単語の辞書を作る Word,Index office ３６５,1 excel,2 って,3 どう,4 やる,5 買える,6 買う,7 方法,8 word,9 ～ ～ o,25 subscription,26 書く,27 いる,28 教える,29 単語単位に番号を１から採番する。 単語の重複は無くす。 3-１.
- 23. 223-１. 5. CNTK用の学習データを作る 0 |# office |Word 1:1 |Label 1:1 0 |# 365 |Word 2:1 0 |# って |Word 3:1 0 |# どう |Word 4:1 0 |# やる |Word 5:1 0 |# 買える |Word 6:1 1 |# office |Word 1:1 |Label 1:1 1 |# 365 |Word 2:1 1 |# 買う |Word 7:1 1 |# 方法 |Word 8:1 2 |# excel |Word 9:1 |Label 2:1 2 |# だけ |Word 10:1 2 |# 買う |Word 7:1 2 |# こと |Word 11:1 2 |# できる |Word 12:1 2 |# ます |Word 13:1 2 |# か |Word 14:1 3 |# excel |Word 9:1 |Label 2:1 3 |# 単体 |Word 15:1 3 |# 買う |Word 7:1 3 |# こと |Word 11:1 3 |# 可能 |Word 16:1 Sparse形式のフォーマット。 左端の番号が文章単位の番号。 Wordが単語辞書での番号。 Labelがラベル番号(回答番号) 。 ＃の部分はコメント 質問 番号 コメン ト 単語 番号 回答番 号
- 24. 23 6. 学習させる直前の単語の扱い(実際の格納方法ではなくイメージ） • ※RNNアルゴリズムでは単語がでてきた順番も考慮される。 7. テストデータも学習データと同様に2～5の加工をして、学習済みデータモデルで予測す る 元の文章 回答番号 1桁目 (Office) 2桁目 (365) 3桁目 (って) 4桁目 (どう) 5桁目 (やる) 6桁目 (買える) 7桁目 (excel) 8桁目 (を) 9桁目 (買う) 10桁目 (こと) 11桁目 (だけ) 12桁目 (できる) 13桁目 (ます) 14桁目 (方法) 15桁目 (か) ・・・ Office365ってどうやったら 買えるの？ 1 1 2 3 4 ５ ６ 0 0 0 0 0 0 0 0 ０ ・・・ Office365を買う方法 1 1 2 0 0 0 0 0 3 4 0 0 0 0 5 0 ・・・ Excelだけを買うことできま すか？ 2 0 0 0 0 0 0 1 3 4 5 2 6 7 0 8 ・・・ ・・・ 3-１. 回答番号:1 数字:123456000000000・・・ 回答番号:1 数字:120000034000050・・・ 回答番号:2 数字:000000134526708・・・ … 自然言語の文章を数値に変換し、回答番号と のペアを作る。 これで自然言語が数字に代わり、機械が扱え るようになりました。
- 25. 243-２. • 学習データ作成とチューニングの全体像 ・言い回し質問一覧 FAQ 1つ当たり、 約15通りの問合せ 言い回し文 データの整備 ・整備済みデータ （言い回し質問一覧＆回答） ・FAQ一覧 ・類義語・略語一覧（専門用語） 例：O365→Office365 ・類義語・略語 辞書（一般用語） ・同義語辞書 (漢字送り仮名) ユーザ側で準備 モデル作成チーム側で用意 【①データ整備】 以下の整備する 1. 誤りデータの排除・修正 2. 曖昧な問合せ文の修正 3. 学習データ不足の補完 学習 ・学習済みデータモデル 【②学習モデルのチューニング】 ※QnA Makerでは不要 正答率を上げるためのチューニングポイントは従来は、【①データ整備】と【② 学習モデルのチューニング】であった。しかし、QnA Makerだと②は不要になり、 ①に注力すれば良い。 ・類義語・同義語
- 33. 32 Azure Azure AD オフィス Chat 利用ユーザ 学習メンテナンス ユーザ QnA Maker 専用Web サイト Internet App Service WebUI Microsoftのサイト https://www.qnamaker.ai/ App Service WebAPI （Bot Framework テンプレート） QnA Maker自動 出力ログ Azure Table Storage QnA Makerカスタ ムログ※１ ※１ QnA Makerが自動でApp Insightに出力するログは最小限で学習メンテナンス用には足りない。 そのため、Web APIでAzure Table Storageに出力している。 3-3
- 36. ご清聴ありがとうございました