Recommended
More Related Content
What's hot
What's hot (20)
Similar to Media ServicesとAIを利用した字幕付きライブ配信
Similar to Media ServicesとAIを利用した字幕付きライブ配信 (20)
Media ServicesとAIを利用した字幕付きライブ配信
- 1. Media ServicesとAIを利用した 広告および字幕付きライブ配信 TV TOKYO Communications Corporations Tech Lead Yuichiro Danno 段野 祐一郎 ( @ydanno ) JAWS-UG横浜 #15「Media-JAWS #0」
- 7. 2019/03/20 配信構成 各種HDMI 変換 登壇者 PC HDMI 分岐 プロジェク ター カメラ １S／会場LS／ プロジェクターコミ SWer YouTube配信PC ↓こんなの USB-typeC - HDMI変換 Thunderbold - HDMI変換 TX持参設備 RTMP 基本ワンオペ想定 HDMI モニタ LiveU
- 12. 字幕の目的と種類 【目的】 ・Accessibility（アクセシビリティ） - 耳が不自由な聴覚障害者やお年寄りでも内容を理解したり、楽しめる - 外国語翻訳 - 音が出しづらい環境下（電車内やオフィス等）でのコンテンツ視聴 ・SEO - 検索エンジンへの動画メタデータの提供。動画の内容を深く理解してもらい、検索ランク向上。 【種類】 ・映像への焼き込み（OFFできない） ・Closed Caption（ON/OFF可能）
- 13. 字幕（Closed Caption）。放送と配信の違い。 放送字幕 配信字幕 ・ARIB字幕 （日本独自規格。テレビでのみ表示可能 ） ・独自外字、色（文字・背景）、サイズ、ルビ、 位置、等、定義された中で自由に表現可能 ・配信では使えない（ サポートされてない(※) ） ※アメリカ放送規格はサポートされている ・WEB規格（W3C） WebVTT（Web Video Text Tracks Format）、 TTML（Timed Text Markup Language） ※以下、デファクトの WebVTTについて説明 ・ルビ、位置 ・多くの動画プレイヤーでサポート ※プレイヤーごとにサポートされる機能はマチマチ 厳密にはYouTubeはライブ翻訳なので違うが
- 14. 放送と配信で、字幕を共用(変換)するのは難しい。 放送字幕 配信字幕 バイナリデータ テキストデータ(.vtt) or or 映像と字幕ファイルを 納品 映像を見ながら リアルタイム入力 AIがリアルタイム変換 収録番組 生番組 ビデオオンデマンド ライブ配信 映像と字幕ファイルを 納品
- 15. リアルタイム字幕の表示方法 Closed Caption リアルタイム変換 【手法】 特定のインターバル（3秒や5秒etc） ごとにまとめて字幕表示（※） 【表示】 WEB規格（W3C）に則る ON/OFF可能 ※字幕表示タイミングが常に １インターバル、ズレる もしくは 字幕表示タイミングに合わせると 映像のみ遅延させる必要がある 【手法】 字幕生成されたタイミングで随時表示 （タイピング[Typing] UI） 【表示】 ①映像への焼き込み ON/OFFできない ②独自手法 （APIでServer - Client通信etc） ON/OFFできるが、汎用性低い （Pros/Consは後のスライドで深掘り）
- 16. そんな中…AbemaTVさん、AI利用リアルタイム字幕 Google Speech to Text 利用 AbemaTV AIポン AbemaTIMES https://abematimes.com/posts/538 7713 より引用 Googleが提供する音声認識テキスト変換サービス「Cloud Speech-To-Text API」をベー スとして、株式会社LASSICが開発した「LASSIC Speech Recognition」を活用 AIポンの仕組み及びメリット・デメリットを考察してみる。 映像への 焼き込み
- 17. AbemaTV AIポンの仕組み考察（間違ってたらごめんな！） Speech Recognition リアル タイム ・不要語の削除 ・放送禁止用語にマスク ・タイピングLikeな出力 拡張モデルの反映 ・固有名詞の習得 →音声認識精度向上 スタジオ demux （音声分離） テロップ作成 映像に合成 音声 ストリーム エンコード 配信変換 ・CDN 映像 映像 映像 ストリーム 視聴デバイス ・文節を理解した読点 ・タイピングLikeな出力 この差が １秒！！ テキスト リアルタイム
- 18. AbemaTV AIポンの仕組み考察（他にもあるが主要なものを掲載） Pros Cons 低遅延（タイピング出力） ※字幕生成のために映像配信自体が 遅延しない or 字幕がズレにくい 字幕が不要な人にも表示される コンテンツ表示領域が狭くなる （字幕エリアがある前提の制作に） どのプラットフォームでの表示可能 （なんならYouTubeでも） コストがかかる（ テレ東は予算が...(略) ） （リアルタイム >> バッチ処理） 字幕ストリームの監視不要 字幕表示が間違っていたものを アーカイブ化するときに、簡単に 修正できない 「放送ありきの配信」である、現状の”テレビ東京”のテレビ制作には不向きか。 AIポンの考察から得た知識で、似た仕組みを考えて、違う方向から検証してみる。
- 19. てれとポン が目指すカタチ ①映像が少し遅れてもいいから、Closed Caption ②クラウド上で処理を完結させる（専用ハードウェアが不要） スタジオ エンコード ③字幕変換はAI（リアルタイムではなく、文節ごと）
- 23. 構成やソースコードから、やってることを把握する！ chunk # transcribe exec time average total exec time average 1 11.847067 12.720454 2 7.373578 変換 遅延 7.21 秒 8.182028 総 遅延 8.02 秒 3 7.235689 8.166719 4 6.894183 7.954145 5 7.188919 7.989607 6 7.732012 8.598675 7 7.277228 8.145534 8 7.171953 8.036948 9 6.839487 7.718687 10 6.579717 7.347438 変換：主要遅延要因（約 7.2秒） 低解像度動画から字幕生成用音声を抽出するため ７秒遅延は許容。日本語化対応させる！ Transcribeのために、映像から 音声ファイルのみ抽出 映像と字幕の同期のために タイムスタンプを取得
- 24. 主要ベンダーの Speech to Text ソリューション サービス名 バッチ処理 主要入力音声フォーマット 日本語対応 Google Cloud Speech API ○ FLAC WAV(PCM), WAV(MULAW) AMR, OGG(OPUS), Speex ○ Microsoft Azure Speech to Text API ○ WAV(PCM) OGG(OPUS) ○ IBM Watson Speech to Text ○ FLAC WAV(PCM), WAV(MULAW) OGG(OPUS), mp3 ○ Amazon Transcribe ○ FLAC PCM, WAV(PCM), mp3 × ・機能差はない。GCPアカウントあるのでGoogle Cloud Speechを使ってみる。 ・音声ファイルは、AWSサンプルでやってるPCMでなくWAV(PCM)が汎用性高い。 ・Amazon Transcribeの日本語化対応が待ち遠しい（再掲）
- 26. Amazon Transcribe を Google Speech to Text に変換 TranscribeStreamingLambda（Java）の改修は、大きく下記 ・Google認証（サービスアカウントのクレデンシャル設定） ・クライアントライブラリおよびAPIコールの変更
- 29. わかったこと ・AWSサンプル（ベストプラクティス）はPoCやサービス 立ち上げに最適 ・とはいえ、完全にマッチしないこともあるので、 カスタマイズ可能なポイントを把握することが大事 ・発話分割しなくても、まぁまぁ理解できる。 とはいえ、発話分割案も今度やってみる ・Amazon Transcribe 日本語対応を待つのみ…！！ 2019/3/6時点は、5ヶ国語 英語 (米国)、スペイン語 (米国)、英語 (オーストラリア)、 英語 (英国)、フランス語 (カナダ)