Recommended
More Related Content
Featured
Featured (20)
実信号マザーウェーブレットを用いたスネア音の検出
- 4. GitHub上の https://github.com/tomtoru/rmw_for_snare_sound_detection にソースをアップしています。 音源などはそちらで確認してください！
- 5. Basic Knowledge フーリエ変換 ：もとの波形を単純な波 (正弦波)の和に分解する
- 9. Basic Knowledge 短時間フーリエ変換 任意の窓幅を設定し、もとの波形に対して窓をずらしながらフーリエ変換を行う 窓幅大 → 周波数の解析精度：高 時間軸の解析粒度：粗い 窓幅小 → 周波数の解析精度：低 時間軸の解析粒度：細かい *上記に加え窓の移動幅も考慮する 周波数の時間変化を解析できる 窓幅 大 窓幅 小
- 10. Basic Knowledge ウェーブレット変換 任意の波 ＝ マザーウェーブレット ：もとの波形を任意の波の和に分解する マザーウェーブレットの例 拡大縮小し様々な幅を持たせたマザーウェーブレットを 時間軸上でシフトさせながら元の信号と掛け合わせる × スケール：大 スケール：小 スイープ音(10Hz~1000Hz) etc..
- 11. Basic Knowledge ウェーブレット変換 任意の波 ＝ マザーウェーブレット ：もとの波形を任意の波の和に分解する マザーウェーブレットの例 拡大縮小し様々な幅を持たせたマザーウェーブレットを 時間軸上でシフトさせながら元の信号と掛け合わせる × スケール：大 スケール：小 高周波成分 低周波成分 スイープ音(10Hz~1000Hz) etc..
- 12. Basic Knowledge ウェーブレット変換 ：もとの波形を任意の波の和に分解する スカログラム 拡大縮小し様々な幅を持たせたマザーウェーブレットを 時間軸上でシフトさせながら元の信号と掛け合わせる × スケール：大 スケール：小 高周波成分 低周波成分 スイープ音(10Hz~1000Hz)
- 13. 本題 実信号マザーウェーブレット Real Signal Mother Wavelet
- 15. Construction 「実信号マザーウェーブレットおよびその異常信号検出への応用」で定義されている “複素数実信号マザーウェーブレット”の構成手順に則って以下の操作を行う 【構築の手順】 １. 実信号から特徴的な部分を切り出す ２. 窓関数をかけて実数RMW を得る ３. となるように正規化する ４. をフーリエ変換し周波数スペクトル を得る ５. ヒルベルト変換を行う ６. 逆フーリエ変換を行って複素数CRMW を得る ^
- 16. Construction １. 実信号から特徴的な部分を切り出す 今回使うスネア音 スネア音(0.02~0.04 sec) import numpy as np import matplotlib.pyplot as plt import seaborn as sns import IPython.display as ipd import librosa fs = 44100 snare_data, sr = librosa.load('/data/snare.mp3', sr=fs) start = int(0.02*fs) end = int(0.04*fs) cut_snare_data = snare_data[start:end] fig, axs = plt.subplots(2, 1, figsize=(20, 8)) axs = axs.ravel() xs = np.arange(0, len(cut_snare_data)) / fs axs[0].plot(xs, cut_snare_data) axs[1].specgram(cut_snare_data, Fs=fs) fig.show() ipd.Audio(cut_snare_data, rate=fs)
- 17. Construction ２. 窓関数をかけて実数 RMW を得る 実信号、ハニング窓、RMW han_win = np.hanning(len(cut_snare_data)) psi_r_t = cut_snare_data*han_win fig, axs = plt.subplots(3, 1, figsize=(16, 12)) axs = axs.ravel() xs = np.arange(0, len(data_han)) / fs axs[0].plot(xs, cut_snare_data) axs[1].plot(xs, han_win) axs[2].plot(xs, psi_r_t) fig.show() ipd.Audio(data_han, rate=fs)
- 18. Construction ３. となるように正規化する 正規化前-正規化後 psi_r_t = psi_r_t * (1/np.sqrt(np.sum(psi_r_t**2))) fig, axs = plt.subplots(2, 1, figsize=(16, 8)) axs = axs.ravel() xs = np.arange(0, len(psi_r_t)) / fs axs[0].plot(xs, psi_r_t) fig.show()
- 19. Construction ４~６.フーリエ変換、ヒルベルト変換、フーリエ逆変換 psi_r_f = np.fft.fft(psi_r_t_norm) N = len(psi_r_t_norm) freq = np.fft.fftfreq(N, d=1/fs) cond1_i = np.where(freq > 0) cond2_i = np.where(freq == 0) cond3_i = np.where(freq < 0) psi_r_f_ = np.zeros(len(psi_r_f)) psi_r_f_[cond1_i] = 2*psi_r_f[cond1_i] psi_r_f_[cond2_i] = psi_r_f[cond2_i] psi_r_f_[cond3_i] = 0 crmw = np.fft.ifft(psi_r_f_) fig, axs = plt.subplots(2, 2, figsize=(16, 20)) axs = axs.ravel() xs = np.arange(0, len(crmw)) / fs axs[0, 0].plot(freq, psi_r_f) axs[1, 0].plot(freq, psi_r_f_) axs[0, 1].plot(xs, crmw.real) axs[1, 1].plot(xs, crmw.imag) fig.show() ヒルベルト変換前-後 CRMW 実数部-虚数部 【ヒルベルト変換】
- 21. Validation data, _ = librosa.load(‘data/my_band.wav’, sr=44100, offset=0, duration=5) data_crmw = np.convlove(data, crmw, mode=’same’)**2
- 24. Summary ・ノイズ(他の楽器音)に対して割と頑健にスネアを検出できる ・連打時にうまく検出できない ▫スネアの鳴り方(叩き方)が微妙に変わっている？ ▪自分のバンド音源のスネアをスローで聞くと 確かに右手左手で鳴り方が微妙に違う様な気配はある ・スネアのチューニングやセッティングが違うものには当然ながら精度が落ちる →同論文で説明されている RMWの構築に複数の信号の平均を用いる手法 (A-RMW)が効果的かも 実信号ウェーブレットに対しての所感