Gaussian noiseとadversarial exampleの関係を通して、入力が高次元化するとadversarial exampleが不可避的に存在してしまうことを解析しています。

1. 1

2. !2

3. !3

4. !4

5. !5

6. !6
L∞
L0 L2
xadv
= x + ϵsgn(∇xJ(x, y))
J(x, y)
ϵ

7. !7

8. !8

9. !9

10. x
𝒩(0,σ2
I)
x d
!10
σ

11. x0 𝒩(0,σ2
I)
x0 x0
∫Rn
I[x ∈ E]dμ(x)
∫
−d
−∞
1
2πσ
exp(
−x2
2σ2
)dx d x0
!11
x −x x
x
Rn

12. σ n
!12
L∞ L∞ L2 𝒪( n)

13. !13

14. L∞
!14

15. x0 ϵ*q (E)
!15
ϵ*q (E) ϵ*q (E)
ϵ*q (E) x

16. !16
σ = 0.1

17. x
d d
L∞
!17
L∞ L2
L2 L2

18. !18

19. !19

20. !20

21. !21

22.
L∞
!22

23. ϵ ϵ Eϵ
(Rn
, ℳ, 𝒩(μ, Σ)) ϵ > 0 p ∈ (0,1)
p Eϵ/E
!23
ℳ
ϵ Eϵ
Eϵ/E

24. Rn
x d(x, E) = min{d(x, y)|y ∈ E}
q(x) = 𝒩(0,σ2
I) α(E) = Φ−1
(
∫Rn
I[x ∈ E]dμ(x)) ϵ > 0
∫Rn
I[d(x, E) ≤ ϵ]dμ(x) ≥ Φ(α(E) + ϵ)
!24
x x α(E)

25. ∫Rn
I[d(x, E) ≤ ϵ]dμ(x) ≥ Φ(α(E) + ϵ)
∫Rn
I[d(x, Eϵ) = 0]dμ(x) ≥ Φ(α(E) + ϵ)
∫Rn
I[d(x, E) = 0]dμ(x) +
∫Rn
I[d(x, Eϵ/E) = 0]dμ(x)
ϵ
ϵ
!25

26. ϵ*q (E)
∫Rn
I[d(x, E) ≤ ϵ]dμ(x) =
1
2
ϵ
!26
⇔ 0 ≥ α(E) + ϵ
⇔ − α(E) ≥ ϵ
∫Rn
I[d(x, E) ≤ ϵ]dμ(x) =
1
2
≥ Φ(α(E) + ϵ) ⇔ Φ−1
(
1
2
) ≥ α(E) + ϵ