チャットボットと映像をコラボしてみました！(Oracle Code Night Online: 2020年9月16日)

チャットボットと映像をコラボしてみました！
~ 質問を理解して正しい回答を返せるか！？~
鈴木浩司
テクノロジスト
デジタルトランスフォーメーション推進室
2020年9月16日

2 Copyright © 2020, Oracle and/or its affiliates | Confidential: Internal/Restricted/Highly Restricted
プロジェクトの目的や背景
戦後75年経過し、経験者の高齢化が進み、存命の方が少なくなっている。
移動や長時間拘束など体の負担も大きく、体験談を聞く機会が激減している
今後も永続的に戦争経験者の体験談を直接聞けるような環境を残すことで生の声を伝えていきたい
ホログラムやAIなどの最新のテクノロジーを駆使して、まるで目の前にいる戦争経験者の方と会話
をしているかのように体験談を聞けるシステムを構築することができないか
【対策】経験者との対話システム
【課題】戦争の体験談を聞けなくなる
①ホログラムやAIを使用することで、戦争経験者の方といつでも会話ができる
②通常の映像システムでは、経験談を一方的に視聴するという形になってしまうが、対話システム
とすることで、視聴者が対話という能動的な行動により、経験となって記憶に残りやすくする
コンセプト

なぜチャットボットを使ったか
チャットボット
Oracle Digital Assistant
Q&A
Oracle Service Cloud
映像コンテンツ
動画、ホログラム
質問の解釈し回答を返す
FAQシステムとして
質問者からの質問を受け取り、
Service Cloudに問い合わせるための
会話フローの管理

コンセプトを実現するために、何を組み合わせたのか？
AI エンジン
チャットボット用の自然言語解析や機械
学習のモデルが構成済み。開発・運用に
AI などの専門知識は不要
バックエンドとの連携
バックエンド・システムに
セキュアにアクセスできる仕組みを提供。
会話フロー・エンジン
コンテキストに沿った会話の
流れを宣言的に定義するための Web
ブラウザ・ベースのツールを提供
マルチ・チャネル対応
メッセージング・プラットフォームには
非依存。Facebook Messenger などと
事前統合済み
将来、会話コンテンツとして考えたときに、単なる連携ではなく、
文脈やその他の情報を組みわせて会話をできるのではないかと考えた

構成イメージ
会話
フロー
エンジン
AIエンジン
言語解析/
機械学習
翻訳
サービス
（Google/Azure）
Oracle Service
Cloud
またはその他の
アプリケーション
カスタムWebアプリ
利用状況の
蓄積/可視化
メッセージ処理
Slack 用
チャネル
Slack
FB Messenger 用
チャネル
Web アプリ用
チャネル
Facebook
Messenger
LINE用
チャネル
LINE
メッセージング
プラットフォーム
チャネル
会話
フロー
定義
連携用
コンポーネント

プロトタイプ構成図
指向性マイク
Windows PC
マイククライアント
(python)
映像コントローラ
Oracle Cloud
Oracle Container Cloud
Webhook チャネル
(Node.js)
FAQBot
Oracle Service Cloud
Google
Speech to Text
音声
WebSocket
HTTP/SOAP
シリアル
会場 Cloud
映像コンテンツ
FAQ
Wifi
Service Cloud 連携用
カスタムコンポーネント
Oracle Container Cloud
Mecab + NEologd
(形態素解析エンジン)
Windows PC
映像制御クライアント
(Node Js)

今回作成したチャットボットの会話フローの処理イメージ
質問の受け取り
文字数判定
Service Cloudへの
問い合わせ
カスタム
コンポーネント
回答があるか
ない
もう一度お願いします
ある
回答
うなづく仕草

質問者と回答者のやりとりで工夫したかった点
1. 回答の内容に合わせたリアクション
大空襲...病気...
ありますか？
Digital Assistant
質問
回答
大空襲...病気...
ありますか？
Digital Assistant
質問
質問のキーワードに沿った
リアクション(腕を組む等)
回答
「大空襲」や「病気」などの
キーワードを元にインテント判
定を行い、回答前にアクション
を映像装置に返答
Service Cloud
質問に対する回答
Service Cloud

2.関連性のうすい質問への回答
「広島」に
行ったことありますか？
Digital Assistant
質問
・質問文を品詞に分解し、
文に含まれている「名詞」で
内容の関連性を判断
・テキスト変換に失敗している可能性
もあるので、質問のやり直しを促す。
・再度の質問でも、関連性を見つけら
れない場合、「わかりません」、「体験し
たことがありません」を回答する
Service Cloud
回答
１回目）
もう一度お願いします。
2回目)
よくわかりません

3. 体験者の心情に寄り添った回答
現在のご家族について
教えてください？
Digital Assistant
質問
・家族のことを聞くような質問でも、過
去の話なのか、現在の話なのかを判
断し、回答を行う。
Service Cloud
回答
あまり話したくありません

課題となったこと
• より正確な回答を返す必要がある
• より自然な会話として成り立たせるため、質問に対してより正確な回答を返さないと不自然になってし
まった
- 例えば、①「戦時中の暮らしはどうでしたか？」と②「戦時中と比べて、今の暮らしはどうですか？」の２つの質
問があった場合、②の質問しても、①の回答が返ってしまう
- 複数回答候補を取得した際にはどちらの回答が含まれているが、頻度の多い回答が優先的に返ってしまう。
• パフォーマンス
• タイミングによっては、回答の映像が流れるまで体感で10秒近く掛かってしまうことがあった
- 質問した後、しばらく沈黙してしまう（フリーズ）現象

課題①より正確な回答を返す必要がある
• より自然な会話として成り立たせるため、質問に対してより正確な回答を返さないと不自然になってしまった。
• 例えば、①「戦時中の暮らしはどうでしたか？」と②「戦時中と比べて、今の暮らしはどうですか？」の２つ
の質問があった場合、②の質問しても、①の回答が返ってしまう
• 以下方法をチャレンジした
1. 質問と回答の文章をそれぞれ形態素分析をかけ、より質問のワードに近い回答文章なのかを評価付け
して、評価の高い回答を返す
- 複数の中から全く関連のない回答を除外するには有用、しかしより正確な回答を選択するまでは至らなかった
- パフォーマンスに影響が出てしまった。
2. FAQシステムの回答精度を上げる
- 上記質問の例でいうと②の質問の場合、「今」や「現在」などをキーワードとして追加した

課題②パフォーマンス
• タイミングによっては、回答の映像が流れるまで体感で10秒近く掛かってしまうことがあった
• 質問した後、しばらく沈黙してしまう（フリーズ）現象
• 原因：形態素解析、評価の部分で3-4秒処理に掛かってしまうところがあった
- 形態素分析による回答の選別を外しても、5秒掛かってしまうことがある
（映像コンテンツとしてみてしまうと不自然さが多少出てしまう。
• 対応策：回答が返す前、質問を受け取った時点で「考え込む」などの映像コンテンツをまず返すなど
（通常のチャットボットでいう「ちょっとお待ちください」という返答）
- より講演者のことを知っているとやはり不自然には見えてしまう
- しかし、コンセプトとして「知らない人が会話という形で経験をすることで、より記憶に残るようにする」という観点
で見た場合は許容できる範囲

まとめ
• Q&Aベースであれば、チャットボットの仕組みを使って、映像というコンテンツでも連携（コラボ）することが可能
• より自然な会話を目指す場合にも会話の文脈に沿った会話が出来そうというイメージが出来た
• 問題となるのは
• パフォーマンス
• 映像や音声のパターンが増える場合にどう対応するか
- 体験者の方の負荷をどう減らすか？
• 実用化する際のシステム構成（特に映像制御機器との連携）

チャットボットと映像をコラボしてみました！(Oracle Code Night Online: 2020年9月16日)

チャットボットと映像をコラボしてみました！(Oracle Code Night Online: 2020年9月16日)

Recommended

Recommended

More Related Content

More from オラクルエンジニア通信

More from オラクルエンジニア通信 (20)

チャットボットと映像をコラボしてみました！(Oracle Code Night Online: 2020年9月16日)