音楽の情報科学 東北大学工学研究科「音メディア工学」スライド

1. 1
音楽の情報処理

2. 2
音楽の科学
● 音楽を支える科学
● 音楽の数理
– 音階の起源
● 楽器の科学
– 楽器の分類
– 楽器から音が出るしく
み
● 音楽の文法
● 音楽の工学
● 新しい楽器の設計
● 音楽の情報処理
– 電子楽器のための
音合成
– 自動採譜のための
技術

3. 3
音の協和性 (Consonance)
● 2 つの音があったとき，それがどれだけ「響き
あって」 ( あるいは「濁って」 ) 聞こえるか？
藤沢他：「和音認知に関する心理物理モデル」，
情報処理学会研究報告 (2006-MUS-66) ， 99-104 ．
● 音の「非協和度
(dissonance) 」は 1 半音
程度で最大となる
● デモをどうぞ

4. 4
調波複合音と協和性
● パルス的な音のスペクトル
● 1 半音離れた音 ( 短 2 度 ) の混合
● 7 半音離れた音 ( 完全 5 度 ) の混合

5. 5
どのような場合に協和度が高いか
● 2 音のどの倍音も不協和度が高い関係にない
⇒ 2 音の周波数比が単純な整数比になる
(2:1, 3:2, 4:3, 5:3, 5:4 など )
● 2 音の周波数成分が完全に重なるか，あるいは十分
離れていればよい
周波数比 倍音 1 2 3 4 5 6
原音 1000 2000 3000 4000 5000 6000
2 倍 ( 完全 8 度 ) 2000 4000 6000 8000 10000 12000
3/2 倍 ( 完全 5 度 ) 1500 3000 4500 6000 7500 9000
4/3 倍 ( 完全 4 度 ) 1333 2666 4000 5333 6666 8000
5/4 倍 ( 長 3 度 ) 1250 2500 3750 5000 6250 7500
原音の基本周波数が 1000Hz の場合

6. 6
純正律と平均律
● 純正律
● I の和音 ( ドミソ ) の協和度が高くなる音階
● それ以外の和音の協和性はいまいち．任意の調への
転調はできない
● 平均律
● 半音の周波数比を一律 21/12
(100cent) とする
● 転調が可能だが和音の協和性は微妙に下がる
音名 ド レ ミ ファ ソ ラ シ ド
周波数比 1 9/8=
1.125
5/4=
1.250
4/3=
1.333
3/2=
1.5
5/3=
1.666
15/8=
1.875
2
音名 ド レ ミ ファ ソ ラ シ ド
周波数比 1 1.123 1.260 1.335 1.498 1.682 1.888 2

7. 7
楽音の処理
● 音の生成
● シンセサイザ等での音をどうやって作るか
● 音の認識
● 複合音の分離
– 複数楽器やボーカルが入った音楽を各パートに分離する
– 採譜・和音認識への応用
● 音楽的構造の自動認識
– メロディーライン ( 採譜 )
– 和音
– 調
– テンポ

8. 8
音を作る
● シンセサイザの音をどうやって作るか
● 減算合成
● 原音をフィルタで整形して音を作る
● 加算合成
● 複数の正弦波を合成して音を作る
● FM 合成
● FM 変調音を利用
● PCM 音源
● 録音した音をそのまま使う

9. 9
減算合成
● アナログシンセサイザの代表的な合成方式
● 高周波を含む波形を発振し，その周波数をフィ
ルタで削って音を作る
● 音声のフォルマント合成と同じ原理
● 波形の振幅を変調して「響き」を制御する
● ADRS(Attack, Decay, Release, Sustain)
– 楽器の音の時間パターンを模擬
● LFO (Low Frequency Oscillator)
– 周波数を変調（ビブラート）
– 振幅を変調（トレモロ） t
A D R S

10. 10
減算合成形
アナログシンセサイザの構成
VCO
周波数
制御電圧
VCF
LFO
フィルタ
制御電圧
VCA
Envelope
generator
f
t

11. 11
FM 合成
● 初期のディジタルシンセサイザの代表的合成方
式
● 不規則な高周波成分を含む音を合成できる
● 現在は携帯電話の着メロなどの音源として使わ
れている
y=Asin2 f c tI sin 2 f m t
●キャリア周波数 fc と変調周波数 fm の比によって基本周波
数が決まる
●fc:fm=1:1, 1:2, 2:5, etc.

12. 12
PCM 音源
● 録音してある音を再生（サンプラ）
● 音声合成の「録音合成」と同じ
● 既存の楽器の音を出すためには有効
● 鍵盤楽器では鍵盤ごとに録音
● ピッチ，長さの変更が必要
● PSOLA ，フェーズボコーダ等を利用

13. 13
自動採譜のための技術
● コンピュータによる
「耳コピ」
● 採譜の対象
● 単独音
● 同じ楽器の和音
● 異なる楽器のアンサン
ブル
● ボーカルの存在
● 自動採譜の技術
● 基本周波数 (F0) の推
定（ピッチ抽出）
● 混合音の F0 推定
● 調の推定
● 和音のコード推定
● テンポの推定

14. 14
基本周波数推定
琴の音の波形
拡大

15. 15
スペクトルから攻める？
スペクトル上の
１個のピークだ
けから F0 を決め
るのは難しい

16. 16
波形から攻める
上記の波形を
168 ポイント
(3.81ms) ずらし
て重ねたもの
基本周波数 =
1/3.81(kHz)=
262.5Hz

17. 17
自己相関関数
R[ f ]=∫−∞
∞
f t f t−dt
R[ x]=∑
i
xi xi−

18. 18
ふたたびスペクトルから攻める
スペクトル上の
１個のピークだ
けから F0 を決め
るのは難しい

19. 19
ふたたびスペクトルから攻める
スペクトル上の
ピークの規則性
を捉える

20. 20
FFT ケプストラムによる F0 抽出
C =F [log∣X ∣
2
]
X =F [ xt]

21. 21
混合音の F0 推定
● 複数の調波複合音が混合された音から，個々の
音の高さを推定する
● 必ずしも個々の音自体が復元できなくても良い
0 2000 4000 6000 8000 10000 12000
-150
-100
-50
0
0 2000 4000 6000 8000 10000 12000
-150
-100
-50
0
0 2000 4000 6000 8000 10000 12000
-150
-100
-50
0
0 2000 4000 6000 8000 10000 12000
-120
-100
-80
-60
-40
-20
0

22. 22
混合音を扱う難しさ
● どの周波数ピークがどの音に由来するのかを特
定することが難しい
0 2000 4000 6000 8000 10000 12000
-120
-100
-80
-60
-40
-20
0

23. 23
対数周波数表現
200 2000
-150
-100
-50
0
200 2000
-150
-100
-50
0
200 2000
-150
-100
-50
0
0 2000 4000 6000 8000 10000 12000
-140
-120
-100
-80
-60
-40
-20
0
0 2000 4000 6000 8000 10000 12000
-140
-120
-100
-80
-60
-40
-20
0
0 2000 4000 6000 8000 10000 12000
-140
-120
-100
-80
-60
-40
-20
0
X  f ≈∑
n=1
N
an  f −n f 0 X ≈∑
n=1
N
an −log f 0−logn
log f =
X 0 =∑
n=1
N
an −log n X ≈ X 0−log f 0

24. 24
0.0 0.5 1.0 1.5 2.0 2.5 3.0
0123
x
GMM(x)
PreFEst 法
(Predominant Frequency Estimation)
● 調波複合音のパワースペクトルをガウス分布の
混合でモデル化
=∑
n
n N ;log n ,
2


25. 25
PreFEst 法
(Predominant Frequency Estimation)
● 混合音を GMM の混合でモデル化し，それぞれ
の大きさを推定→ EM アルゴリズムを利用
p=∑
k
ak −k 
0.0 0.5 1.0 1.5 2.0 2.5 3.0
02468
x
pnormdist(x-0.5,a,0,0.02)+pnormdist(x-0.8,a,0,0.02)+
pnormdist(x-1.2,a,0,0.02)
0.0 0.5 1.0 1.5 2.0 2.5 3.0
02468
x
pnormdist(x-0.5,a,0,0.02)+pnormdist(x-0.8,a,0,0.02)+
pnormdist(x-1.2,a,0,0.02)

26. 26
調性・和音の推定
● 調の推定：曲全体がどんな調か
● C （ハ長調）， Am （イ短調）， etc.
● 和音の推定：同時に鳴っている，あるいは続け
て鳴っている音が構成する和音は何か
● 特徴量：クロマベクトル (chroma vector)
● １２の音名に関連する強さを表すベクトル
– 音符の記号処理の場合：各音名の出現頻度
– 信号処理の場合：各音名に対応する信号の強さの積分値
C C# D D# E F F# G G# A A# B
8 0 11 0 11 0 0 6 0 2 0 0
5 0 4 0 15 8 0 0 0 8 0 7
→ チューリップ
→ 荒城の月

27. 27
音響信号に対する
クロマベクトルの計算
● パワースペクトルΦ (f,t) にバンドパスフィルタ
をかけて，時間方向に積分
● 同じ音名で違うオクターブのフィルタは全部積算
Chn=∑
t
∑
oct
∑
f
 f ,tBoct n , f 

28. 28
クロマベクトルの利用
● クロマベクトル（ 12 音名の離散分布）は調や
和音によって特徴的な値をとる
内山他：音講論 2-5-7, pp. 901-902, 2008-3

29. 29
テンポの推定
● 音楽の長時間 ( 数百ミリ秒 ) の周期性
● 120bpm = 2Hz 500ms⇔
● 問題点
● 明確に定義できない場合もある ( 非西洋音楽等 )
● ビートの検出が難しい場合もある ( アカペラ等 )
● 局所的に変動する
● 基本的な処理
● 特徴量 ( 音の立ち上がり ) 抽出
● 自己相関関数による周期性の検出

30. 30
テンポ推定
● ビートの特徴となる量を
検出する
● パワースペクトルの変化
量など
– パワースペクトルを計算
– 時間方向に微分
– 周波数方向に積分
– 閾値処理
● 自己相関関数により周期
性を検出
M.Alonso et al., ISMIR 2004.