Recommended
More Related Content
What's hot
What's hot (20)
Similar to 音響システム特論 第11回 実環境における音響信号処理と機械学習
Recently uploaded
Recently uploaded (12)
音響システム特論 第11回 実環境における音響信号処理と機械学習
- 1. 音響システム特論 第11回 実環境における音響信号処理と機械学習 ＮＴＴメディアインテリジェンス研究所 小泉 悠馬 Advanced Topics of Acoustic System (Day11)
- 2. 2 今日のトーク ケーススタディ：枯れた技術 vs. 最先端技術 実環境で有用なのはどちら？ 枯れた技術：多くの人によって利用・検証・修正が行われ、バグもなく、 ノウハウが十分に溜まった技術のこと（＝ポジティブな意味） Take-home message メリット/デメリットがあり、状況に応じて技術を選ぶ必要があります 先行研究も「使えるレベル」まで理解するといいと思います 新しい世界を切り開く＆将来の枯れた技術になる研究をしてください 新しい世界を作るには、最先端技術が不可欠です 20年後、作られた技術がどう発達し、どう深められていくかは予想がつき ません（e.g. 非負値行列因子分解、独立成分分析） 後世に有用な知見を残す、普遍的に役立つ概念や原理を創出してください
- 3. 3 ※ がっかりしないでほしいこと 今日は実用的な話ばかりしますが NTT研究所では 基礎研究もバリバリやっています ※ NTT研究所の基礎研究に興味がある方は、学会、もしくは授業後に小泉まで！
- 4. 4 現職について 音響信号処理技術の研究開発部隊 → AASP: Audio and Acoustic Signal Processing
- 5. 5 AASP分野の概要 音 源 分 離 音響イベント 識別 車の 走行音 符号化 音の収録 環境音の分析 復号 局 所 再 生 音の再生 音の符号化 IEEE Signal Processing Society の１分野（ICASSP では、もっとも人 数/投稿数の多い分野の一つ） 実世界でシステムを組むときは、各技術を組み合わせて使う 音声の認識/合成以外の音の信号処理 猿渡先生は ここの大御所 小山先生は ここの大御所
- 7. 7 音の収録のお話
- 9. 9 音源強調/音源分離とは 目的音 雑音 … 観測音 信号処理 出力音 マイク アプリケーション： 音声認識の前処理, 通話品質向上, Hearing aid, etc… 観測信号から目的音を抽出する信号処理
- 10. 10 音源分離？音源強調？何が違うの？ Separation：混ざったものを「個々の音源に分離」する Enhancement：混ざったからを「特定の音源を抽出」する 音 源 分 離 音 源 強 調 それぞれの音源に分離＝出力はK個 目的音だけ求められればいい Separation/enhancement で問題設定が異なる 多くの場合、有限個の点音源を仮定 目的音＋その他というモデル
- 11. 11 マイクは１つ？複数？ 複数あると、空間的な情報が利用できる 線形フィルタリング（e.g. ビームフォーミング, ICA, IVA, ILRMA） 非線形フィルタリング（or 時間周波数マスク） 複数の場合は線形、1つの場合は非線形のフィルタリングが一般的
- 23. ＮＴＴ研究所のスポーツ向け収音技術 23 K. Niwa, et al., “Diffused Sensing for Sharp Directive Beamforming”. IEEE Trans. ASLP, 2013. K. Niwa, et al., “Optimal Microphone Array Observation for Clear Recording of Distant Sound Sources”. IEEE Trans. ASLP, 2016. ２０ｍ ３度 凹型反射板と約１００本のマイクロホンで構成 (幅4m×縦1.5m×奥行1m) １ｍ スタジアム ズームアップして収音 ズームアップマイク (壁や天井への埋め込み) 20m先の音を 空間分解能3度で集音可能 ズームアップマイク
- 24. ＮＴＴ研究所のスポーツ向け収音技術 24 音色も使って、音を見分ける 特定の競技音だけをオブジェクトとして収音 … …… …… …… …… … …… 相互情報量最大化で特徴量抽出し、ルールベース（or DNN）でマ スク推定 ターゲットマイク Y. Koizumi, et al., “Informative Acoustic Feature Selection to Maximize Mutual Information for Collecting Target Sources,” IEEE/ACM Trans. ASLP, 2017.
- 30. 枯れた技術の水平思考 30 場内 アナウンス 伝達特性 推定 - 競技音の 強調 場内アナウンスの信号は、PA室に源信号がある PAスピーカからパラボラまでの伝達特性を推定できれば、PAは消せる 通話用の「エコーキャンセラ技術」（適応フィルタ）を応用 使い古された技術は、似たような状況にすぐ応用できる M. M. Sondhi, “An Adaptive Echo Canceller”. The Bell System Technical Journal, 1967.
- 32. システムには爆弾が仕組まれていた 32 ３連戦の初日（テスト日）歓声が大きすぎて、システムが動かない！ 明日には報道陣を呼んでのデモ。タイムリミットは１８時間！ しかし、2016年 夏のパ・リーグは熱かった！ 大谷選手 絶好調 ホークス（首位） vs. ファイターズ（二位） 7/29 (金) 7/30 (土) 7/31 (日) テスト日 観客 26,452 人 新聞社の取材 （※ 観客 31,226 人） お客様を入れて本番 （※ 観客 41,138 人） ※観客動員数 17,679 人 ５月にシステムのテスト ⇒ 安定動作をオフラインで確認 パラボラ 出力音
- 35. スペクトル減算 35 S. F. Boll. ”Suppression of Acoustic Noise in Speech Using Spectral Subtraction”. IEEE Trans. ASSP., vol.27, pp.113-120. 1979. 雑音を推定して、時間周波数マスクを設計 Obs. ??? ??? T-F mask
- 36. 超遠方にあるマイクを使った雑音推定 36 マイク同士が100m以上離れているので、瞬時混合が仮定できない ⇒ Multi block freq. domain adaptive filter* のなんちゃって処理 *J.-S. Soo and K. Pang, “Multidelay block frequency domain adaptive filter,” IEEE Trans. ASSP, vol. 38, no. 2, pp. 373–376, 1990. 到達時間差をフレーム遅延で表現伝達ゲインを𝐾ブロックに分割 観測信号の尤度 音源間の距離に 応じた事前分布 MAP推定 未知パラメータ 伝達関数ゲイン → フレーム遅延 → [Koizumi+, EUSIPCO2018]
- 37. 超遠方にあるマイクを使った雑音推定 37 [Koizumi+, EUSIPCO2018] 伝達関数ゲイン：非負かつ時間方向に指数減衰 フレーム遅延：非負整数かつ音速で決定すると仮定 音速とマイク間距離から概算 尤度: 目的音の時間方向へのスパース性を仮定 指数減衰 非負実数と非負整数が未知パラメータで解析的に解けない Proximal gradient + Grid search で近似的に解く
- 40. 比較：枯れた技術 vs 最先端技術 40 メリット デメリット 枯れた技術 実装が早い（＝低コスト） バグが出にくい（＝低リスク） 応用が効きやすい 最先端技術 実装に時間がかかる/できない （＝高コスト） バグが出やすい（＝高リスク） 応用が効きにくい（＝案件に合 わせたチューニングや学習）
- 42. 42 異常検知とは Smart City（街頭監視） “危険”を予知/早急に察知し，”大事故” を回避 Smart Factory（製品検査 / 設備保守）など 人による（常時）監視を計算機で代替 V. Chandola, et al., “Anomaly detection: A survey,” ACM compt. Surv., 2009 「普通じゃない＝異常」を検知して 安心安全な世界を実現 “Anomalies are patterns in data that do not conform to a well-defined notion of normal behavior” 異常とは、正常と定義されたふるまいに従わないパターンである
- 45. 45 Smart Factory（機器異常検知） 機器監視業務・製品検査の半自動化 ＋ Normal ＋ Normal＋ Normal 事業拡大
- 46. 46 Smart Factory（機器異常検知） 機器監視業務・製品検査の半自動化 ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal＋ Normal ＋ Normal 人的コストが増大
- 47. 47 Smart Factory（機器異常検知） 機器監視業務・製品検査の半自動化 ＋ Normal ＋ Normal ＋ Normal ＋ ＋ Normal ＋ Normal 技術者不足
- 48. 48 Smart Factory（機器異常検知） 機器監視業務・製品検査の半自動化 ＋ Anomaly 判断基準のぶれ（本当に異常？） ＋ Normal ＋ Normal ＋ Normal ＋ ＋ Normal
- 49. 49 Smart Factory（機器異常検知） 機器監視業務・製品検査の半自動化 ＋ Normal ＋ Normal Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ Normal ＋ NormalNormal ＋ Anomaly 第４工場に作業員を派遣
- 51. 51 異常音検知の一般論（何が難しい？） 異常音の データ 正常音の データ 学習データ （音データ） 学習データ （正解ラベル） 正常 異常 正常 or 異常 一般的な機械学習（音声認識タイプ）：教師あり学習 ⇒ 正常な音と異常な音をたくさん集めて、判別ルールを学習 異常判定異常度計算 未知異常＝異常音のデータがない
- 52. 52 異常音検知の一般論（何が難しい？） 異常音の データ 正常音の データ 学習データ （音データ） 学習データ （正解ラベル） 正常 異常 正常 or 異常 一般的な機械学習（音声認識タイプ）：教師あり学習 ⇒ 正常な音と異常な音をたくさん集めて、判別ルールを学習 異常音はほとんど集まらない どんな異常音が鳴るかもわからない 教師あり識別問題として解けない 未知異常＝異常音のデータがない 異常判定異常度計算
- 53. 53 異常音検知のよくある（枯れた?）技術 オートエンコーダの再構成誤差を異常度に利用 … …… …… …… … … …… …… …… … Normal Anomaly Reconstruction errorEncoder Decoder 再構成されるなら正常 正常音を再構成するよう学習
- 54. 54 異常音検知のよくある（枯れた?）技術 異常度を常時計算し、閾値を超えたらアラート 一連の動作のスペクトログラム 異常度が閾値を超えた ⇨ この動作は異常だ！ 即時性がある（実応用では必須）
- 55. 55 異常音検知のよくある（枯れた?）技術 オンライン異常音検知の処理フロー フーリエ変換 特徴量 xt の計算 異常度 A(xt) の計算 閾値判定 異常を検知！ No Yes t += 1 パワースペクトル フィルタバンク 対数 特徴抽出の例
- 56. 56 それだけじゃ使える技術にならない Vanilla AEを使った異常度計算結果 誤検知が頻発 or 異常音を見逃す 0 20 40 60 80 100 120 0 2 4 6 8 -80 -60 -40 -20 0 0 20 40 60 80 100 120 10 15 20 25 10 20 30 40 50 60 正常 異常Freq.[khz]Anomalyscore Time [s] [dB]
- 58. 58 それだけじゃ使える技術にならない よくあるご相談 誤検知した時に簡単に再学習できないの？ Unsupervised anomaly detector Final decision Normal Anomaly Unknown anomaly detector 異常の見逃し
- 60. 60 新しいもの作りには、新しい技術が必要 検知DNN スコア計算 閾値処理 正常 異常 検知DNN スコア計算 閾値処理 正常 異常 Koizumi+, IEEE TASLP 2019 Koizumi+, IEEE WASPAA 2019 Koizumi+, IEEE ICASSP 2019 Yamaguchi+, IEEE ICASSP 2019 Few-shot learning Domain adaptation Unsupervised learning 拠点Ａ拠点Ｂ 最先端技術で 組めるシステム 問題を観察してモデル化/定式化をすることは 基礎研究だけじゃなく、実環境での研究開発でも重要
- 62. 62 True-positive & False-positive 真陽性（TP）と偽陽性（FP）のトレードオフ 真陽性率（TPR）：異常を正しく異常と判定 偽陽性率（FPR）：正常を誤って異常と判定 (1) 正常音の異常度を低く、(2) 異常音の異常度を高くしたい
- 63. 63 普通のAEはなぜダメか DNNは知らないデータを”知らない”と言えるか？ 先行研究：正常音の異常度最小化で学習すればいい！ …本当に？ 異常音の異常度を上げろ、という項がない 異常音が再構成されないという保証がない AEが汎化されたら、すべての音が再構成される ＝すべての異常音を見逃す。。。
- 64. 64 AEは何をモデル化している？ 再構成誤差を異常度に利用 … …… …… …… … … …… …… …… … Normal Anomaly Reconstruction errorEncoder Decoder ボルツマン分布のエネルギー関数を再構成誤差に
- 65. 65 なぜ異常も再構成してしまうのか？ ボルツマン分布の正規化項を無視しているせい 真の分布 p(x) とのKL情報量を最小化すべきなのに… 正規化定数項がない！MMSE 正規化定数は頻度の低い音の異常度を上げる働き では、logsumexpを頑張って計算すればいいの か？というと、そういうわけでもない
- 66. 66 低頻度正常音の誤検知問題 08:30 – 08:31 : エンジン起動 （１分） 異常度：727 08:31 – 18:45 : 製品製造（約１０時間） 異常度：77 18:45 – 19:00 : エンジンのクールダウン（１５分） 異常度：456 19:00 – 08:30 : 工場稼働なし （約半日） 異常度：58 【例】ある工場機械の１日のスケジュール 毎日、エンジン起動と終了のたびに誤判定する 即時性がある（実応用では必須） 低頻度な正常音を異常と誤判定しやすい Anomaly score
- 67. 67 低頻度正常音の誤検知問題 (cont’d) 頻度の低い正常音に依存して系列の異常度が決定 特徴量 xt の計算 異常度 A(xt) の計算 閾値判定 異常を検知！ No Yes t += 1 フーリエ変換 パワースペクトル フィルタバンク 対数 特徴抽出の例
- 71. 71 AEのためのバッチ一様化 KL情報量最小化を重み付きMMSEで近似 p(x) は、ミニバッチ内の カーネル密度推定で近似 ミニバッチが一様分布 になれ、というお気持ち Boltzmann distributionReconstruction error Y. Koizumi, et al., “Batch Uniformization for Minimizing Maximum Anomaly Score of DNN-based Anomaly Detection in Sounds,” in Proc. of WASPAA, 2019.
- 72. 72 数値実験（1/2） 小さい４層AE: 隠れユニット 4, 圧縮次元 3, sigmoid活性化 学習サンプル数: 10,000, ミニバッチサイズ: 100 Optimizer : Adam, Epoch数: 5 実験設定 正常データは、ノルムが２以下 確率密度は、ノルムに反比例 AEが一様分布を表現できるか数値実験
- 73. 73 数値実験（2/2） MMSE（枯れた技術） 0.01 0.02 0.03 0.02 0.04 0.06 0.08 0.1 0.12 0.02 0.04 0.06 0.08 [Koizumi+, 2018] [Koizumi+, 2019] AEがモデル化するボルツマン分布を可視化 一様分布とのKL情報量も減少している MMSE [Koizumi+, 2018] [Koizumi+, 2019]
- 74. 74 定量評価実験（実験条件） 車の模型の走行音を収集して実験 車のおもちゃの製品検査 学習データ ９時間の走行データ（動作音と雑音のSNRは 0dB） ３種類の個体 x ３種類の環境雑音 テストデータ 140種類の擬似異常音の検知精度をAUCで評価 データセットはNTTの音響実験室で収集 以下のURLからダウンロード可能 https://archive.org/details/toy_car_running_dataset
- 75. 75 定量評価実験（結果） 簡略化NP（SNP）より高い異常検知性能を達成 1 2 3 0.2 0.4 0.6 0.8 1 0.727 0.771 0.899 0.572 0.654 0.808 0.519 0.576 0.720 Anomaly-to-Normal Ratio -10 dB -15 dB -20 dB AUC 1 2 3 0.2 0.4 0.6 0.8 1 0.726 0.793 0.864 0.570 0.702 0.766 0.516 0.623 0.681 RE SNP BU RE：MMSE（枯れた技術） SNP：[Koizumi+ 2018] BU：[Koizumi+, 2019]
- 79. 79 なぜ識別学習してはダメなのか 密度比ベースの識別では、正常の尤度が低くても、 異常の尤度がそれ以上に低ければ正常と判定 -10 -8 -6 -4 -2 0 2 4 6 8 10 0 0.2 0.4 0.6 正常 既知異常 異常判定領域 どうやって未知異常音検知を拡張していけばいい？
- 80. 80 異常の定義 : あらゆる音 : 監視対象の ”知らない音” : 監視対象の正常音 正常：全集合の部分集合 異常：正常の補集合
- 81. -10 -8 -6 -4 -2 0 2 4 6 8 10 0 0.1 0.2 0.3 0.4 正常 補集合 81 補集合の分布という考え方 異常は正常の補集合である [Kawachi+, ICASSP 2018]Complementary set PDF
- 82. -10 -8 -6 -4 -2 0 2 4 6 8 10 0 0.1 0.2 0.3 0.4 正常 補集合 異常判定領域 82 補集合の分布という考え方 異常は正常の補集合である [Kawachi+, ICASSP 2018]Complementary set PDF
- 83. 83 Complementary set VAE -10 -8 -6 -4 -2 0 2 4 6 8 10 0 0.1 0.2 0.3 0.4 正常 補集合 観測空間 潜在空間 Encoder Decoder コスト関数 ＝ 再構成誤差 標準正規分布とのKLD 補集合とのKLD 観測空間のコスト 潜在空間のコスト 正常 既知異常 潜在空間での補集合分布への埋め込み [Kawachi+, ICASSP 2018]
- 84. 84 特徴量空間の可視化 正常: ０,1,2,3,4,5,6,7,８ 既知異常: 9 正常の数字は 中心に集まる 異常の数字は 遠くに離れる
- 85. 85 定量評価実験 1 𝑣𝑠 1 Complementary set VAE > Unsupervised VAE 既知異常の検知精度
- 86. 86 定量評価実験 (cont’d) Complementary set VAE >= Unsupervised VAE 未知異常の検知精度 𝐶𝑎𝑠𝑒 1 正常 1,2,3 未知異常: 4,5,6 既知異常: 7,8,9 Case 1
- 87. 比較：枯れた技術 vs 最先端技術 87 メリット デメリット 枯れた技術 実装が早い（＝低コスト） バグが出にくい（＝低リスク） 応用が効きやすい 最高性能は最先端技術に劣る 枯れた技術の組み合わせだけで は解けない問題も多々ある 最先端技術 解けなかった課題が解ける（誰 もできなかった世界/ビジネス が作れる） 論文が書ける 世界でドヤ顔ができる 実装に時間がかかる/できない （＝高コスト） バグが出やすい（＝高リスク） 応用が効きにくい（＝案件に合 わせたチューニングや学習）
- 89. 89 今日の話の関連論文 K. Niwa, et al., “Diffused Sensing for Sharp Directive Beamforming”. IEEE Trans. ASLP., 2013. K. Niwa, et al., “Optimal Microphone Array Observation for Clear Recording of Distant Sound Sources”. IEEE Trans. ASLP., 2016. Y. Koizumi, et al., “Informative Acoustic Feature Selection to Maximize Mutual Information for Collecting Target Sources”. IEEE/ACM Trans. ASLP., 2017. M. M. Sondhi, “An Adaptive Echo Canceller”. The Bell System Technical Journal, 1967. S. F. Boll, ”Suppression of Acoustic Noise in Speech Using Spectral Subtraction”. IEEE Trans. ASSP., 1979. J. S. Soo, et al., “Multidelay block frequency domain adaptive filter,” IEEE Trans. ASSP., 1990. Y. Koizumi, et al., “Distant Noise Reduction Based on Multi-delay Noise Model Using Distributed Microphone Array,” Proc. EUSIPCO, 2018. Y. Koizumi, et al., “Batch Uniformization for Minimizing Maximum Anomaly Score of DNN-based Anomaly Detection in Sounds”. Proc. IEEE WASPAA, 2019. Y. Koizumi, et al., “Unsupervised Detection of Anomalous Sound based on Deep Learning and the Neyman- Pearson Lemma”. IEEE/ACM Trans. ASLP, 2019. M. Yamaguchi, et al., “AdaFlow: Domain-Adaptive Density Estimator with Application to Anomaly Detection and Unpaired Cross-Domain Transition”. Proc. IEEE ICASSP, 2019. Y. Koizumi, et al., “SNIPER: Few-shot Learning for Anomaly Detection to Min- imize False-Negative Rate with Ensured True-Positive Rate”. Proc. IEEE ICASSP, 2019. Y. Kawachi, et al.,“Complementary Set Variational Autoencoder for Supervised Anomaly Detection”. Proc. IEEE ICASSP, 2018.
- 90. 90 Q&A