18. 참고로각 수렴간에는비교가 가능합니다
d ‑수렴이d ‑수렴보다강하다(d is stronger than d )
d (x , x) → 0 ⟹ d (x , x) → 0
거꾸로성립하면약하다고 합니다(d is weaker than d )
둘다성립하면동등하다고 합니다(d and d are equivalent)
공간에따라차이가 있어서비교가 항상가능하진않습니다
그래서수학자가 필요합ㄴ... 읍읍
1 2 1 2
1 n 2 n
1 2
1 2
19. 일례로유클리드와맨해튼거리는동등한관계입니다
d (x, y) → 0 ⟺ d (x, y) → 0
한줄증명:
n d (x, y) ≤ d (x, y) ≤ n d (x, y)
Euclid Manhattan
−1/2
Euclid Manhattan Euclid
23. X : compact metric set
Definition.
A topological space X is called compact if each of its open covers
has a finite subcover.
(해석) : 위상공간 X 를덮는임의의열린덮개들이있을때, 그 중유한개의부
분덮개들을뽑아서X 를항상덮을수있으면compact 라부른다
참고로compact set 은수학을전공한학생들도가장헷갈려하는개념입니다. 머리가
아프다면잠깐 세수를하고 휴식을취하세요. 갈 길은머니... 그냥모르고 싶다면넘어가
도크게 상관은없어요. 아마도...?
25. Heine‑Borel property.
If X is compact, then it is closed and bounded
Heine‑Borel 정리를통해해석하면X 가 compact 란건 경계가 있고
(bounded) 동시에경계를포함한다(closed) 는집합이란겁니다
수학에서정식용어는유계(bounded), 닫힌(closed) 입니다
37. Σ : set of all the Borel subsets of X
Borel 집합은X 내에서측정가능(measurable) 한집합들을말합니다.
여기서측정가능의의미는P , P 같은확률분포로확률값이계산될수
있는집합을말합니다
연속함수의기대값을계산하기 위한수학적인최소조건 이됩니다
(전문가의딴지) X 위에정의된닫힌(closed) 집합들을포함하는가장작은σ‑대수를
Borel 대수라고 합니다. Borel 집합은이Borel 대수의원소입니다.
r g
49. 우리가 seed 함수로샘플링을고정하는건 ω ∈ Ω 를하나뽑는것이고
numpy.random 의특정분포로값을추출하는건 X(ω) 를뽑는것입니다
import numpy as np
np.random.seed(10) # w 를 고정
np.random.normal(mu,sigma) # X(w) 를 샘플링
61. Kullback‑Leibler & Jensen‑Shannon divergence
KL(P ∥P ) = log P (x)μ(dx)
JS(P ,P ) = KL P ∥ + KL P ∥
KL 과 JS 는워낙익숙한애들이죠?
r g ∫ (
P (x)g
P (x)r
) r
r g
2
1
( r
2
P +Pr g
)
2
1
( g
2
P +Pr g
)
68. 이상황은JS 에서도똑같습니다. 다만, P = 에서분자에있는P
와P 둘중하나만0 이되겠지요?
m 2
P +Pθ 0
θ
0
⎩⎪⎪⎪
⎨
⎪⎪⎪⎧P (x) ≠ 0 ⇒ P (x) = 0 ⇒ P =0 θ m
2
P0
P (x) ≠ 0 ⇒ P (x) = 0 ⇒ P =θ 0 m
2
Pθ
69. KL P ∥P = log P (x)μ(dx) = log 2
KL P ∥P = log P (x)μ(dx) = log 2
그러므로θ ≠ 0 이면JS 는log 2 가 됩니다. 따라서
JS(P ,P ) =
( 0 m) ∫
P ≠00
(
P (x)/20
P (x)0
) 0
( θ m) ∫
P ≠0θ
(
P (x)/20
P (x)θ
) θ
θ 0 {
log 2
0
: θ ≠ 0
: θ = 0