Multi-layer perceptron, Back-propagation vs. full-propagation method, Conjugate gradient method

1. ‫صادقی‬ ‫زهرا‬
1
Multi-layer perceptron
MLPِ‫ک‬ ‫است‬ ‫ًزٍى‬ ‫چٌذیي‬ ‫اس‬ ُ‫ساد‬ ِ‫ضثک‬ ‫یک‬perceptron‫ضکل‬ .‫ضًَذ‬ ‫هی‬ ُ‫ًاهیذ‬1‫یک‬ ،perceptron
‫ّز‬ ،‫ًوَد‬ ِ‫هالحظ‬ ‫تَاى‬ ‫هی‬ ‫ضکل‬ ‫رٍی‬ ‫اس‬ ِْ‫ک‬ ‫عَر‬ ‫ّواى‬ .‫دّذ‬ ‫هی‬ ‫ًوایص‬ ‫را‬Perceptron‫یک‬ ِ‫هحاسث‬ ِ‫ت‬
‫ّز‬ ‫سپس‬ .‫تاضذ‬ ‫هی‬ ‫ّا‬ ‫ٍرٍدی‬ ‫رٍی‬ ‫خغی‬ ‫ی‬ ُ‫ضذ‬ ‫دار‬ ‫ٍسى‬ ‫تزکیة‬ ‫یک‬ ‫ایجاد‬ ‫تا‬ ‫ٍرٍدی‬ ‫چٌذیي‬ ‫اس‬ ‫ٍاحذ‬ ‫خزٍجی‬
‫لز‬ ‫غیزخغی‬ ‫تاتغ‬ ‫یک‬ ‫تحت‬ ‫خزٍجی‬‫ّز‬ ‫خزٍجی‬ ‫ٍالغ‬ ‫در‬ .‫گیزد‬ ‫هی‬ ‫ار‬perceptron‫هی‬ ِ‫هحاسث‬ ‫سیز‬ ‫صَرت‬ ِ‫ت‬
:‫ضَد‬
)(
1


n
i
iim wxy 
‫اس‬ ‫هٌظَر‬ ،‫تاال‬ ‫فزهَل‬ ‫در‬x،‫ٍرٍدی‬wٍ ،‫ّا‬ ‫ٍسى‬ ‫تزدار‬ ،‫ساسی‬ ‫فؼال‬ ‫تاتغ‬(activation function)‫هی‬
‫ًَع‬ ‫اس‬ ‫یا‬ ‫تاتغ‬ ‫ایي‬ ،‫هؼوَال‬ .‫تاضذ‬sigmoid.‫تاضذ‬ ‫هی‬ ‫ّیپزتَلیک‬ ‫تاًژاًت‬ ‫ًَع‬ ‫اس‬ ‫یا‬ ٍ
x
e
xsigmoid 


1
1
)(
xx
xx
ee
ee
x 



)tanh(
‫شکل‬1‫پرسپترون‬ ‫نمایش‬ )

2. ‫صادقی‬ ‫زهرا‬
2
‫چٌذ‬ ‫تزکیة‬ ‫اس‬perceptron‫ػصثی‬ ِ‫ضثک‬ ‫یک‬MLP‫ضکل‬ ‫در‬ .‫ضَد‬ ‫هی‬ ‫ایجاد‬2ِ‫ضثک‬ ‫یک‬MLP‫ًوایص‬
‫ّز‬ .‫است‬ ُ‫ضذ‬ ُ‫داد‬MLPِ‫الی‬ ٍ ،‫هیاًی‬ ‫یا‬ ‫هخفی‬ ِ‫الی‬ ،‫ٍرٍدی‬ ِ‫الی‬ :‫اس‬ ‫ػثارتٌذ‬ ِ‫ک‬ ‫تاضذ‬ ‫هی‬ ِ‫الی‬ ِ‫س‬ ‫ضاهل‬
‫ػصثی‬ ِ‫ضثک‬ .‫خزٍجی‬MLP‫تَاتغ‬ ‫تخویي‬ ‫لذرت‬ ‫ٍالغ‬ ‫در‬ .‫تاضذ‬ ‫هی‬ ‫غیزخغی‬ ‫ّای‬ ‫ًگاضت‬ ‫یادگیزی‬ ِ‫ت‬ ‫لادر‬
.‫تاضذ‬ ‫هی‬ ‫آى‬ ‫تَدى‬ ِ‫الی‬ ‫چٌذ‬ ٍ ‫ساسی‬ ‫فؼال‬ ‫تَاتغ‬ ‫تَدى‬ ‫خغی‬ ‫غیز‬ ‫در‬ ‫ػصثی‬ ِ‫ضثک‬ ‫ایي‬ ‫غیزخغی‬
‫شکل‬2‫ن‬ )‫الیه‬ ‫چند‬ ‫پرسپترون‬ ‫مایش‬
Back-propagation vs. full-propagation method
‫رٍش‬ ‫اس‬ ُ‫استفاد‬ ُ‫را‬ ‫یک‬ ،‫ّا‬ ِ‫الی‬ ‫اس‬ ‫یک‬ ‫ّز‬ ‫ٍسى‬ ‫تزدارّای‬ ‫یادگیزی‬ ‫تزای‬steepest descent‫تا‬ .‫تاضذ‬ ‫هی‬
‫است‬ ‫هثٌا‬ ‫ایي‬ ‫تز‬ ِ‫ک‬ ‫تزد‬ ‫کار‬ ِ‫ت‬ ‫ػصثی‬ ‫ّای‬ ِ‫ضثک‬ ‫یادگیزی‬ ‫تزای‬ ‫تَاى‬ ‫هی‬ ‫رٍش‬ ٍ‫د‬ ،ُ‫ایذ‬ ‫ایي‬ ‫اس‬ ُ‫استفاد‬‫َارّستٌذ‬
‫ّذف‬ ‫تاتغ‬ ‫یک‬ ‫هٌظَر‬ ‫تذیي‬ .‫ضَد‬ ‫هی‬ ‫هٌتمل‬ ‫اٍل‬ ِ‫الی‬ ِ‫ت‬ ‫آخز‬ ِ‫الی‬ ‫اس‬ ٍ ‫ضَد‬ ‫هی‬ ‫هٌتمل‬ ِ‫ضثک‬ ‫کل‬ ‫در‬ ‫خغا‬ ِ‫ک‬
‫تزاساس‬sum of square errorٍ‫د‬ ِ‫ت‬ .‫تاضذ‬ ‫هی‬ ‫خغا‬ ‫ایي‬ ‫کل‬ ‫ًوَدى‬ ٌِ‫کوی‬ ،‫کلی‬ ‫ّذف‬ ٍ ‫ضَد‬ ‫هی‬ ‫تؼزیف‬
:‫کزد‬ ‫هٌتطز‬ ِ‫ضثک‬ ‫در‬ ‫را‬ ُ‫ضذ‬ ‫ایجاد‬ ‫خغای‬ ‫تَاى‬ ‫هی‬ ‫صَرت‬on-lineٍoff-line‫یادگیزی‬ ‫در‬ .on-line‫یا‬

3. ‫صادقی‬ ‫زهرا‬
3
standard mode،‫گیزد‬ ‫هی‬ ‫صَرت‬ ِ‫لحظ‬ ‫ّواى‬ ‫در‬ ‫ٍرٍدی‬ ُ‫داد‬ ‫ّز‬ ‫خغای‬ ‫تزاساس‬ ‫ّا‬ ‫ٍسى‬ ‫ساسی‬ ‫تٌْگام‬
‫رٍش‬ ‫در‬ ِ‫آًک‬ ‫حال‬off-line‫یا‬batch mode‫اس‬ ‫گذر‬ ‫تار‬ ‫ّز‬ ‫در‬ ‫ٍرٍدی‬ ‫ّای‬ ُ‫داد‬ ِ‫ّو‬ ‫اسای‬ ِ‫ت‬ ‫خغاّا‬ ‫هجوَع‬
.‫گیزد‬ ‫هی‬ ‫صَرت‬ ِ‫هزتث‬ ‫یک‬ ،‫ّا‬ ُ‫داد‬ ‫کل‬ ‫رٍی‬
‫صَرت‬ ِ‫ت‬‫ساسی‬ ‫تٌْگام‬ ِ‫رٍاتغ‬ ‫ریاضی‬on-line‫ّواى‬ ‫یا‬back-propagation:‫تاضذ‬ ‫هی‬ ‫سیز‬ ‫صَرت‬ ِ‫ت‬
2
1
2
1
)( qqq
N
q
q
N
q
q
tySSESSEeSSEJ   





im
q
imim
w
SSE
ww 





mj
q
mjmj
u
SSE
uu 
‫ساسی‬ ‫تٌْگام‬ ‫رٍاتظ‬ ،‫ّوچٌیي‬off-line‫ّواى‬ ‫یا‬full-propagation:‫تَد‬ ‫خَاّذ‬ ‫سیز‬ ‫رٍاتظ‬ ‫تا‬ ‫هغاتك‬





im
imim
w
SSE
ww 





mj
mjmj
u
SSE
uu 
‫اس‬ ‫هٌظَر‬ ‫فَق‬ ‫رٍاتظ‬ ‫در‬‫ّا‬ ‫جَاب‬ ‫یافتي‬ ٍ ‫یادگیزی‬ ‫سزػت‬ ‫در‬ ‫هستمیوی‬ ‫تاثیز‬ ِ‫ک‬ ‫تاضذ‬ ‫هی‬ ‫یادگیزی‬ ‫ضزیة‬
ِ‫ّزچ‬ .‫دارد‬‫یادگیزی‬ ‫سهاى‬ ،ِ‫ًتیج‬ ‫در‬ ‫است؛‬ ‫تز‬ ‫کَچک‬ َ‫جستج‬ ‫فضای‬ ‫در‬ ‫حزکت‬ ‫ّای‬ ‫گام‬ ،‫تاضذ‬ ‫تز‬ ‫کَچک‬
‫ّای‬ ‫جَاب‬ ‫یافتي‬ ‫احتوال‬ ‫اها‬ ،‫ضَد‬ ‫هی‬ ‫تز‬ ‫عَالًی‬optimalِ‫ّزچ‬ ،ِ‫هطات‬ ‫عَر‬ ِ‫ت‬ .‫ضَد‬ ‫هی‬ ‫تیطتز‬‫تز‬ ‫تشرگ‬
‫در‬ ‫افتادى‬ ‫اهکاى‬ ِ‫ًتیج‬ ‫در‬ ٍ ‫است‬ ‫تاالتز‬ ‫حزکت‬ ‫سزػت‬ ،‫تاضذ‬local min.‫رٍد‬ ‫هی‬ ‫تاالتز‬
.‫کٌین‬ ‫هی‬ ُ‫استفاد‬ ‫سیز‬ ‫رٍاتظ‬ ‫اس‬ ‫فَق‬ ‫ّای‬ ‫هطتك‬ ِ‫هحاسث‬ ‫تزای‬ ،‫ّوچٌیي‬
)()(
)(2)(
00
11 1
2
00
00
0
00
00
0
00
00



 










M
m
mjmm
jm
j
M
m
mjmj
N
q jm
q
jq
j
q
j
jm
N
q
C
j
q
j
q
j
uzgz
u
y
uzgy
u
y
ty
u
SSE
tySSE

4. ‫صادقی‬ ‫زهرا‬
4
 


 
  


   





















Q
q
J
j
n
i
imii
M
m
mjmjm
q
j
q
j
mi
n
i
imii
mi
m
M
m
mjmjm
mi
m
M
m
mjm
mi
M
m
mjm
mi
q
j
N
q
C
j
N
q
C
j mi
q
jq
j
q
j
mi
q
j
q
j
wxgxuzguty
w
SSE
wxgx
w
z
uzgu
w
z
uzg
w
uz
w
y
w
y
ty
w
SSE
tySSE
1 1 000
00
0
1 1 1 1
2
)()()(2)(
)()(.
)(
)(2)(
000
00
00
00
0
0
00
0
0000
0000
،‫تاال‬ ‫رٍاتظ‬ ‫در‬Nٍ ،‫ٍرٍدی‬ ‫ّای‬ ُ‫داد‬ ‫کل‬ ‫تؼذاد‬C.‫تاضذ‬ ‫هی‬ ‫خزٍجی‬ ‫ّای‬ ِ‫الی‬ ‫تؼذاد‬
Conjugate gradient method
‫ساسی‬ ٌِ‫تْی‬ ‫رٍش‬conjugate gradient:‫کٌذ‬ ‫هی‬ ‫کار‬ ‫سیز‬ ‫رٍاتظ‬ ‫هثٌای‬ ‫تز‬
iiii pxx 1
)( 00 xfp 
1 iiii pgp 
)( ii xfg 
1

i
i
i
g
g

،‫تاال‬ ‫رٍاتظ‬ ‫در‬x، ‫ساسی‬ ٌِ‫تْی‬ ‫پاراهتز‬fٍ ٌِ‫ّشی‬ ‫تاتغ‬ٍ‫تخَاّین‬ ‫اگز‬ .‫تاضٌذ‬ ‫هی‬ ‫تغثیمی‬ ‫یادگیزی‬ ‫ضزایة‬
‫ػصثی‬ ِ‫ضثک‬ ‫در‬ ‫ٍسًی‬ ‫تزدارّای‬ ‫ساسی‬ ‫تٌْگام‬ ‫تزای‬ ‫رٍش‬ ‫ایي‬ ‫اس‬MLP‫تزدار‬ ،‫کٌین‬ ُ‫استفاد‬x‫تزدار‬ ‫تا‬w‫تاتغ‬ ٍ ،
‫ساسی‬ ٌِ‫تْی‬fٌِ‫ّشی‬ ‫تاتغ‬ ‫تا‬SSEٍ‫د‬ ‫در‬ ‫را‬ ‫فَق‬ ‫هؼادالت‬ ‫تَاى‬ ‫هی‬ ،‫ّوچٌیي‬ .‫ضًَذ‬ ‫هی‬ ‫جایگشیي‬‫حالت‬offline
ٍonline:‫تزد‬ ‫کار‬ ِ‫ت‬
1-Conjugate gradient‫رٍش‬ ِ‫ت‬on-line

5. ‫صادقی‬ ‫زهرا‬
5
1
1
0
0













wi
wi
wi
wiwiwiwi
im
q
wi
wim
q
w
wiimim
g
g
pgp
w
SSE
g
w
SSE
p
pww



2-Conjugate gradient‫رٍش‬ ِ‫ت‬off-line
1
1
0
0













wi
wi
wi
wiwiwiwi
im
wi
wim
w
wiimim
g
g
pgp
w
SSE
g
w
SSE
p
pww



‫ها‬ ‫نرون‬ ‫تعداد‬ ‫تاثیر‬
‫لذرت‬ ٍ ‫رٍد‬ ‫هی‬ ‫تاالتز‬ ‫ػصثی‬ ِ‫ضثک‬ ‫پذیزی‬ ‫اًؼغاف‬ ‫لذرت‬ ،‫ضَد‬ ‫تیطتز‬ ‫ّا‬ ‫ًزٍى‬ ‫تؼذاد‬ ِ‫ّزچ‬generalization
‫اگز‬ .‫یاتذ‬ ‫هی‬ ‫افشایص‬ ‫ًیش‬ ِ‫هسال‬ ‫حل‬ ‫سهاى‬ ٍ ‫هحاسثات‬ ‫حجن‬ ٍ ‫پیچیذگی‬ ،‫هماتل‬ ‫در‬ ‫اها‬ .‫ضَد‬ ‫هی‬ ‫تیطتز‬ ِ‫ضثک‬
‫پ‬ ٍ ‫غیزخغی‬ ‫ّای‬ ‫تاتغ‬ ‫تا‬ ‫هسائل‬ ‫حل‬ ِ‫ت‬ ‫لادر‬ ِ‫ضثک‬ ،‫تاضذ‬ ‫کن‬ ‫ّا‬ ‫ًزٍى‬ ‫تؼذاد‬ِ‫گزچ‬ .‫داضت‬ ‫ًخَاّذ‬ ‫را‬ ُ‫یچیذ‬
‫تاػث‬ ،‫ضَد‬ ‫تیطتز‬ ‫حذی‬ ‫اس‬ ‫اگز‬ ،‫تزد‬ ‫هی‬ ‫تاال‬ ‫را‬ ُ‫پیچیذ‬ ‫ّای‬ ‫ًگاضت‬ ٍ ‫تَاتغ‬ ‫تخویي‬ ‫لذرت‬ ‫ّا‬ ‫ًزٍى‬ ‫تؼذاد‬ ‫افشایص‬
.‫ضذ‬ ‫خَاّذ‬ ِ‫ضثک‬ ‫کارایی‬ ‫افت‬
‫میانی‬ ‫های‬ ‫الیه‬ ‫تعداد‬ ‫تاثیر‬
‫پیچیذگی‬ ‫تا‬ ‫تَاتؼی‬ ‫تخویي‬ ‫لذرت‬ ‫تزدى‬ ‫تاال‬ ٍ ‫پاراهتزّاست‬ ‫تؼذاد‬ ‫کزدى‬ ‫کن‬ ،‫تیطتز‬ ‫ّای‬ ِ‫الی‬ ‫تؼذاد‬ ُ‫اًگیش‬
‫هَجَد‬ ‫پاراهتزّای‬ ‫تؼذاد‬ ،‫تاضذ‬ ِ‫داضت‬ ‫ٍجَد‬ ‫هیاًی‬ ِ‫الی‬ ‫یک‬ ِ‫ک‬ ‫ٌّگاهی‬ ‫در‬ .‫تاالتزاست‬LMMn ‫هی‬

6. ‫صادقی‬ ‫زهرا‬
6
.‫تاضذ‬n،‫ٍرٍدی‬ ‫ّای‬ ُ‫داد‬ ‫ّای‬ ‫ٍیژگی‬ ‫تؼذاد‬M‫ّا‬ ‫ًزٍى‬ ‫تؼذاد‬ٍ ،‫هیاًی‬ ِ‫الی‬ ‫در‬L‫خزٍجی‬ ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬
‫پاراهتزّا‬ ‫تؼذاد‬ ،‫هیاًی‬ ِ‫الی‬ ‫یک‬ ‫افشایص‬ ‫تا‬ .‫تاضذ‬ ‫هی‬LMMMMn  2211.‫ضَد‬ ‫هی‬1M‫ًزٍى‬ ‫تؼذاد‬
ٍ ‫اٍل‬ ِ‫الی‬ ‫ّای‬2M.‫تاضذ‬ ‫هی‬ ‫دٍم‬ ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬
‫تؼذ‬ ‫تزدى‬ ‫تاال‬ ‫تزای‬ ‫ضزط‬ ٍ‫د‬:‫است‬ ‫السم‬ ‫هیاًی‬ ‫ّای‬ ِ‫الی‬ ‫اد‬
1).‫تاضذ‬ ِ‫الی‬ ‫یک‬ ‫لثلی‬ ِ‫اسضثک‬ ‫کوتز‬ ِ‫الی‬ ‫یک‬ ‫اس‬ ‫تیص‬ ‫تا‬ ‫جذیذ‬ ِ‫ضثک‬ ‫در‬ ‫ّا‬ ‫ًزٍى‬ ‫کل‬ ‫تؼذاد‬ ‫هجوَع‬
2)‫کل‬ ‫تؼذاد‬ ‫هجوَع‬weight.‫تاضذ‬ ِ‫الی‬ ‫یک‬ ‫لثلی‬ ِ‫ضثک‬ ‫اس‬ ‫کوتز‬ ِ‫الی‬ ‫یک‬ ‫اس‬ ‫تیص‬ ‫تا‬ ‫جذیذ‬ ِ‫ضثک‬ ‫در‬ ‫ّا‬
a)Back-propagation method
‫رٍش‬ ‫اس‬ ،‫ٍسى‬ ‫تزدارّای‬ ‫یادگیزی‬ ‫تزای‬ ،‫لسوت‬ ‫ایي‬ ‫در‬back-propagationُ‫ضذ‬ ُ‫داد‬ ‫لثال‬ ‫آى‬ ‫ضزح‬ ِ‫ک‬
‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ .‫تاضذ‬ ‫هی‬ ‫هیاًی‬ ِ‫الی‬ ‫یک‬ ‫تا‬ ‫ساختاری‬ ‫دارای‬ ُ‫ضذ‬ ‫ساسی‬ ُ‫پیاد‬ ‫ػصثی‬ ِ‫ضثک‬ .‫ضَد‬ ‫هی‬ ُ‫استفاد‬
‫یؼٌی‬ ‫ٍیژگی‬ ‫اتؼاد‬ ‫تؼذاد‬ ِ‫ت‬ ،‫هیاًی‬ ِ‫الی‬16ٍ‫خز‬ ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ٍ ‫ًزٍى‬‫یؼٌی‬ ‫ّا‬ ‫کالس‬ ‫تؼذاد‬ ِ‫ت‬ ،‫جی‬11
.‫است‬ ُ‫ضذ‬ ‫اًتخاب‬ ‫ًزٍى‬
‫اسای‬ ِ‫ت‬ ‫یادگیزی‬ ‫رًٍذ‬111ُ‫داد‬ ‫تٌذی‬ ِ‫دست‬ ‫اس‬ ‫حاصل‬ ‫خغای‬ ‫ًوَدار‬ .‫است‬ ِ‫گزفت‬ ‫لزار‬ ‫تزرسی‬ ‫هَرد‬ ،‫تکزار‬ ‫تار‬
‫ّای‬testٍtrain‫همادیز‬ ‫ًوَدار‬ ٍCCR‫ّای‬ ‫ضکل‬ ‫در‬ ‫تکزار‬ ‫تار‬ ‫ّز‬ ‫اسای‬ ِ‫ت‬ ُ‫آهذ‬ ‫دست‬ ِ‫ت‬3ٍ4ُ‫داد‬ ‫ًوایص‬
.‫است‬ ُ‫ضذ‬

7. ‫صادقی‬ ‫زهرا‬
7
‫شکل‬3-‫روش‬ ‫از‬ ‫حاصل‬ ‫خطای‬ ‫نمودار‬back-propagation
‫ضکل‬ ‫در‬ ِ‫ک‬ ‫عَر‬ ‫ّواى‬3‫ّای‬ ُ‫داد‬ ‫خغای‬ ،‫ضَد‬ ‫هی‬ ِ‫هالحظ‬testٍtrain‫تذیْی‬ .‫است‬ ِ‫یافت‬ ‫کاّص‬ ‫تذریج‬ ِ‫ت‬
‫ّای‬ ُ‫داد‬ ِ‫ت‬ ‫هزتَط‬ ‫خغای‬ ِ‫ک‬ ‫است‬train‫ّای‬ ُ‫داد‬ ‫اس‬test‫ّای‬ ُ‫داد‬ ِ‫تَسیل‬ ِ‫ضثک‬ ‫کل‬ ِ‫ک‬ ‫چزا‬ ،‫است‬ ‫کوتز‬
train.‫اًذ‬ ُ‫ضذ‬ ِ‫یافت‬ ‫تخصص‬ ‫ّا‬ ُ‫داد‬ ‫ایي‬ ِ‫ت‬ ‫ًسثت‬ ِ‫ضثک‬ ‫پاراهتزّای‬ ‫تٌاتزایي‬ ٍ ‫است‬ ُ‫ضذ‬ ُ‫داد‬ ‫آهَسش‬

8. ‫صادقی‬ ‫زهرا‬
8
‫شکل‬4-‫مقادیر‬ ‫نمودار‬CCR‫روش‬ ‫برای‬back-propagation
‫ضکل‬ ‫اس‬4‫همادیز‬ ‫تزرسی‬ ‫تا‬CCR‫رٍش‬ ‫تٌذی‬ ِ‫دست‬ ‫صحت‬ ِ‫ک‬ ‫دریافت‬ ‫تَاى‬ ‫هی‬back-propagationِ‫ت‬
‫ّای‬ ُ‫داد‬ ‫تزای‬ ،‫صحت‬ ‫ایي‬ .‫تاضذ‬ ‫هی‬ ‫تاالیی‬ ‫هیشاى‬train‫ّای‬ ُ‫داد‬ ‫اس‬ ‫تیطتز‬test‫است‬ ‫آى‬ ‫دلیل‬ ِ‫ت‬ ِ‫ک‬ ‫تاضذ‬ ‫هی‬
‫ّای‬ ُ‫داد‬ ‫تا‬ ِ‫ضثک‬ ‫پاراهتزّای‬ ِ‫ک‬train.‫اًذ‬ ِ‫یافت‬ ‫آهَسش‬
‫کالسیفایز‬ ،‫تْتز‬ ‫ارسیاتی‬ ‫تزای‬MLP‫کالسیفایز‬ ‫تا‬ ‫را‬Bayesian‫رٍش‬ ‫اس‬ ِ‫ک‬KNN estimator‫هی‬ ُ‫استفاد‬
‫جذٍل‬ ‫در‬ ‫کالسیفایز‬ ٍ‫د‬ ‫ایي‬ ‫ًتایج‬ .‫کٌین‬ ‫هی‬ ِ‫همایس‬ ،‫کٌذ‬1.‫است‬ ُ‫ضذ‬ ُ‫داد‬ ‫ًطاى‬
‫جدول‬1-‫کالسیفایر‬ ‫مقایسه‬MLP‫یادگیری‬ ‫با‬back-propagation‫کالسیفایر‬ ‫و‬Bayesian‫گر‬ ‫تخمین‬ ‫با‬KNN
KNN estimator with Bayesian
classifier
MLP with back -‫س‬ propagation
learning
CCR 96.627 91.194

9. ‫صادقی‬ ‫زهرا‬
9
b)Full-propagation algorithm
‫رٍش‬ ‫اس‬ ،‫ٍسى‬ ‫تزدارّای‬ ‫یادگیزی‬ ‫تزای‬ ،‫لسوت‬ ‫ایي‬ ‫در‬full-propagationُ‫استفاد‬ ُ‫ضذ‬ ُ‫داد‬ ‫لثال‬ ‫آى‬ ‫ضزح‬ ِ‫ک‬
ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ .‫تاضذ‬ ‫هی‬ ‫هیاًی‬ ِ‫الی‬ ‫یک‬ ‫تا‬ ‫ساختاری‬ ‫دارای‬ ُ‫ضذ‬ ‫ساسی‬ ُ‫پیاد‬ ‫ػصثی‬ ِ‫ضثک‬ .‫ضَد‬ ‫هی‬
‫یؼٌی‬ ‫ٍیژگی‬ ‫اتؼاد‬ ‫تؼذاد‬ ِ‫ت‬ ،‫هیاًی‬16‫یؼٌی‬ ‫ّا‬ ‫کالس‬ ‫تؼذاد‬ ِ‫ت‬ ،‫خزٍجی‬ ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ٍ ‫ًزٍى‬11‫ًزٍى‬
.‫است‬ ُ‫ضذ‬ ‫اًتخاب‬
‫اسای‬ ِ‫ت‬ ‫یادگیزی‬ ‫رًٍذ‬111ُ‫داد‬ ‫تٌذی‬ ِ‫دست‬ ‫اس‬ ‫حاصل‬ ‫خغای‬ ‫ًوَدار‬ .‫است‬ ِ‫گزفت‬ ‫لزار‬ ‫تزرسی‬ ‫هَرد‬ ،‫تکزار‬ ‫تار‬
‫ّای‬testٍtrain‫همادیز‬ ‫ًوَدار‬ ٍCCR‫ّای‬ ‫ضکل‬ ‫در‬ ‫تکزار‬ ‫تار‬ ‫ّز‬ ‫اسای‬ ِ‫ت‬ ُ‫آهذ‬ ‫دست‬ ِ‫ت‬5ٍ6ُ‫داد‬ ‫ًوایص‬
.‫است‬ ُ‫ضذ‬
‫شکل‬5-‫روش‬ ‫از‬ ‫حاصل‬ ‫خطای‬ ‫نمودار‬full-propagation
ّ‫ضکل‬ ‫رٍی‬ ‫اس‬ ِ‫ک‬ ‫عَر‬ ‫واى‬5‫رٍش‬ ‫اس‬ ‫حاصل‬ ‫خغای‬ ،‫ضَد‬ ‫هی‬ ُ‫دیذ‬full-propagation‫کاّطی‬ ‫رًٍذ‬ ‫ًیش‬
‫رٍش‬ ‫اس‬ ‫کوتز‬ ‫کاّص‬ ‫ایي‬ ‫همذار‬ ‫اها‬ .‫دارد‬back-propagation.‫تاضذ‬ ‫هی‬

10. ‫صادقی‬ ‫زهرا‬
10
‫شکل‬6-‫مقادیر‬ ‫نمودار‬CCR‫روش‬ ‫برای‬full-propagation
‫ّای‬ ‫ضکل‬ ِ‫همایس‬ ‫اس‬4ٍ6‫رٍش‬ ‫صحت‬ ِ‫گزچ‬ ِ‫ک‬ ‫دریافت‬ ‫تَاى‬ ‫هی‬full-propagation‫اها‬ ،‫تاالست‬ ‫ًیش‬
‫همذار‬CCR‫رٍش‬ ‫اس‬ ‫آى‬back-propagation.‫تاضذ‬ ‫هی‬ ‫کوتز‬
‫جذٍل‬ ‫در‬2‫همادیز‬ ،CCR‫رٍش‬ ٍ‫د‬ ‫ّوگزایی‬ ‫سهاى‬ ‫هذت‬ ٍback-propagationٍfull-propagation‫تا‬
.‫اًذ‬ ُ‫ضذ‬ ِ‫همایس‬ ‫تیشیي‬ ‫کالسیفایز‬
‫جدول‬2-‫کالسی‬ ‫مقایسه‬‫فایر‬MLP‫یادگیری‬ ‫با‬back-propagation‫و‬full-propagation‫کالسیفایر‬ ‫و‬Bayesian‫با‬
‫گر‬ ‫تخمین‬KNN
KNN estimator with
Bayesian classifier
MLP with back-
propagation learning
MLP with full-
propagation learning
CCR_test 96.627 91.194 78.149
Run-Time 1121.8 49.849 62.287

11. ‫صادقی‬ ‫زهرا‬
11
‫جذٍل‬ ‫اس‬2‫سى‬ ‫تخویي‬ ‫تا‬ ‫تیشیي‬ ‫کالسیفایز‬ ‫سزػت‬ ِ‫ایٌک‬ ‫ٍجَد‬ ‫تا‬ ِ‫ک‬ ‫ضَد‬ ‫هی‬ ِ‫هالحظ‬KNN‫اها‬ ،‫تاضذ‬ ‫هی‬ ‫پاییي‬
‫کالسیفایز‬ ‫اس‬ ‫تاالتز‬ ‫تسیار‬ ‫آى‬ ‫صحت‬MLP‫رٍش‬ ِ‫ک‬ ‫ضَد‬ ‫هی‬ ِ‫هالحظ‬ ،‫ّوچٌیي‬ .‫تاضذ‬ ‫هی‬back-
propagation‫رٍش‬ ِ‫ت‬ ‫ًسثت‬full propagation‫تزای‬ ‫تیطتزی‬ ‫سهاى‬ ‫هذت‬‫ایي‬ ‫دلیل‬ .‫دارد‬ ‫السم‬ ‫ّوگزایی‬
‫رٍش‬ ِ‫ک‬ ‫است‬ ‫آى‬ ‫اهز‬full-propagation‫حال‬ ،‫گیزد‬ ‫هی‬ ‫ًظز‬ ‫در‬ ‫را‬ ‫ّا‬ ًَِ‫ًو‬ ‫ی‬ ِ‫ّو‬ ‫اس‬ ‫حاصل‬ ‫خغای‬ ‫کل‬
‫رٍش‬ ِ‫آًک‬back-propagation‫رٍش‬ ،‫تٌاتزایي‬ .‫دّذ‬ ‫هی‬ ‫اًجام‬ ‫را‬ ‫ساسی‬ ‫تٌْگام‬ ًَِ‫ًو‬ ‫ّز‬ ‫خغای‬ ‫تزهثٌای‬
full-propagation‫تاال‬ ‫ّوگزایی‬ ‫سزػت‬ ‫هَارد‬ ‫تیطتز‬ ‫در‬‫رٍش‬ ِ‫ک‬ ‫آًجا‬ ‫اس‬ .‫دارد‬ ‫تزی‬full-propagationِ‫ت‬
.‫است‬ ‫کٌذ‬ ٍ ‫یکٌَاخت‬ ‫آى‬ ‫یادگیزی‬ ‫ی‬ ِ‫پزٍس‬ ،‫ساسد‬ ‫هی‬ ‫تٌْگام‬ ‫را‬ ‫پاراهتزّا‬ ‫خغاّا‬ ‫هجوَع‬ ‫کوک‬
c)Conjugate Gradient method
‫رٍش‬ ‫اس‬ ،‫ٍسى‬ ‫تزدارّای‬ ‫یادگیزی‬ ‫تزای‬ ،‫لسوت‬ ‫ایي‬ ‫در‬Conjugate Gradientُ‫ضذ‬ ُ‫داد‬ ‫لثال‬ ‫آى‬ ‫ضزح‬ ِ‫ک‬
.‫ضَد‬ ‫هی‬ ُ‫استفاد‬‫لثلی‬ ‫ّای‬ ‫رٍش‬ ‫تزخالف‬ ،‫رٍش‬ ‫ایي‬‫در‬ ِ‫آًک‬ ‫جای‬ ِ‫ت‬‫تز‬ ‫گام‬ ‫ضیة‬ ‫تٌذتزیي‬ ‫جْت‬‫درجْت‬ ،‫دارد‬
‫است‬ ُ‫ضذ‬ ‫آى‬ ‫تز‬ ‫سزیغ‬ ‫ّوگزایی‬ ‫تاػث‬ ِ‫ک‬ ‫کٌذ‬ ‫هی‬ ‫حزکت‬ ‫گزادیاى‬ ‫هشدٍج‬‫رٍش‬ ‫ایي‬ ‫تا‬ ِ‫راتغ‬ ‫در‬ ِ‫ک‬ ‫هطکلی‬ ‫اها‬ .
‫تاال‬ ‫آى‬ ‫هحاسثات‬ ‫حجن‬ ِ‫ک‬ ‫است‬ ‫ایي‬ ‫دارد‬ ‫ٍجَد‬‫ه‬‫تاضذ‬ ‫ی‬.‫یک‬ ‫تا‬ ‫ساختاری‬ ‫دارای‬ ُ‫ضذ‬ ‫ساسی‬ ُ‫پیاد‬ ‫ػصثی‬ ِ‫ضثک‬
‫یؼٌی‬ ‫ٍیژگی‬ ‫اتؼاد‬ ‫تؼذاد‬ ِ‫ت‬ ،‫هیاًی‬ ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ .‫تاضذ‬ ‫هی‬ ‫هیاًی‬ ِ‫الی‬16ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ٍ ‫ًزٍى‬
‫یؼٌی‬ ‫ّا‬ ‫کالس‬ ‫تؼذاد‬ ِ‫ت‬ ،‫خزٍجی‬11.‫است‬ ُ‫ضذ‬ ‫اًتخاب‬ ‫ًزٍى‬
‫اسای‬ ِ‫ت‬ ‫یادگیزی‬ ‫رًٍذ‬111ُ‫داد‬ ‫تٌذی‬ ِ‫دست‬ ‫اس‬ ‫حاصل‬ ‫خغای‬ ‫ًوَدار‬ .‫است‬ ِ‫گزفت‬ ‫لزار‬ ‫تزرسی‬ ‫هَرد‬ ،‫تکزار‬ ‫تار‬
‫ّای‬testٍtrain‫همادیز‬ ‫ًوَدار‬ ٍCCR‫ّای‬ ‫ضکل‬ ‫در‬ ‫تکزار‬ ‫تار‬ ‫ّز‬ ‫اسای‬ ِ‫ت‬ ُ‫آهذ‬ ‫دست‬ ِ‫ت‬7ٍ8ُ‫داد‬ ‫ًوایص‬
.‫است‬ ُ‫ضذ‬

12. ‫صادقی‬ ‫زهرا‬
12
‫شکل‬7-‫روش‬ ‫از‬ ‫حاصل‬ ‫خطای‬ ‫نمودار‬conjugate gradient
‫ّای‬ ‫ضکل‬ ِ‫همایس‬ ‫اس‬3،5ٍ ،7‫رٍش‬ ‫اس‬ ‫حاصل‬ ‫خغای‬ ِ‫ک‬ ‫دریافت‬ ‫تَاى‬ ‫هی‬conjugate gradient‫اس‬ ‫کوتز‬
‫رٍش‬full-propagation‫رٍش‬ ‫حذ‬ ‫در‬ ‫تمزیثا‬ ٍback-propagation.‫تاضذ‬ ‫هی‬

13. ‫صادقی‬ ‫زهرا‬
13
‫شکل‬8-‫مقادیر‬ ‫نمودار‬CCR‫روش‬ ‫برای‬conjugate gradient
‫ّای‬ ‫ضکل‬ ِ‫همایس‬ ‫اس‬4،6ٍ ،8‫دریافت‬ ‫تَاى‬ ‫هی‬‫رٍش‬ ‫صحت‬ ِ‫ک‬conjugate gradient‫رٍش‬ ٍ‫د‬ ‫اس‬ ‫کوتز‬
‫دیگز‬back-propagationٍfull-propagation.‫تاضذ‬ ‫هی‬
‫جدول‬3-‫یادگیری‬ ‫های‬ ‫روش‬ ‫مقایسه‬MLP
MLP with back-
propagation learning
MLP with full-
propagation learning
Conjugate gradient
CCR_test 91.194 78.149 89.373
Train_time 29.702 22.767 696.42
Test_time 20.003 40.406 10.123
‫جذٍل‬ ‫اس‬ ِ‫ک‬ ‫عَر‬ ‫ّواى‬3‫رٍش‬ ‫صحت‬ ،‫دریافت‬ ‫تَاى‬ ‫هی‬conjugate gradient‫اس‬full-propagation
‫اس‬ ٍ ،‫تیطتز‬back-propagation‫رٍش‬ ‫در‬ ‫تست‬ ‫سهاى‬ ،‫ٍجَد‬ ‫ایي‬ ‫تا‬ .‫است‬ ‫کوتز‬ ‫ًاچیشی‬ ‫همذار‬ ِ‫ت‬

14. ‫صادقی‬ ‫زهرا‬
14
conjugate gradient‫اس‬ ‫یکی‬ ‫ایي‬ ٍ ‫است‬ ‫کوتز‬ ‫تسیار‬ ‫دیگز‬ ‫رٍش‬ ٍ‫د‬ ‫اس‬‫تزیي‬ ‫هْن‬ِ‫ک‬ ‫است‬ ‫رٍش‬ ‫ایي‬ ‫هشایای‬
.‫تاضذ‬ ‫هی‬ ‫تاال‬ ‫ّوگزایی‬ ‫سزػت‬ ‫دارای‬
d‫میانی‬ ‫الیه‬ ‫های‬ ‫نرون‬ ‫تعداد‬ ‫تاثیر‬ )
.‫ضذ‬ ُ‫داد‬ ‫تَضیح‬ ‫لثال‬ ‫پاراهتز‬ ‫ایي‬ ‫تاثیز‬ ‫ی‬ ُ‫درتار‬‫هی‬ ‫ساختاری‬ ‫پاراهتز‬ ‫یک‬ ،‫ّا‬ ‫ًزٍى‬ ‫تؼذاد‬ ‫پاراهتز‬ ِ‫ک‬ ‫آًجا‬ ‫اس‬
ِ‫هسال‬ ‫ضَد‬ ‫تشرگ‬ ‫خیلی‬ ‫پاراهتز‬ ‫ایي‬ ُ‫اًذاس‬ ‫اگز‬ .‫تاضذ‬ ‫هی‬ ٌِ‫پزّشی‬ ‫آى‬ ‫تؼییي‬ ،‫تاضذ‬over parametrization
‫دّذ‬ ‫هی‬ ‫رخ‬‫رٍد‬ ‫هی‬ ‫تاال‬ ‫خغا‬ ٍ‫را‬ ‫آى‬ ‫تذریج‬ ِ‫ت‬ ٍ ‫کٌین‬ ‫هی‬ ‫ضزٍع‬ ‫کَچک‬ ‫همذار‬ ‫یک‬ ‫اس‬ ‫پاراهتز‬ ‫ایي‬ ‫تؼییي‬ ‫تزای‬ .
‫تشرگ‬‫تزاتز‬ ِ‫اٍلی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ‫اس‬ ،‫هٌظَر‬ ‫تذیي‬ .‫کٌین‬ ‫هی‬4‫را‬ ‫ّا‬ ‫ًزٍى‬ ‫تؼذاد‬ ٍ ‫این‬ ُ‫کزد‬ ‫ضزٍع‬4‫تا‬4‫تا‬
‫تغییزات‬ ٍ ‫این‬ ُ‫داد‬ ‫افشایص‬CCR‫ضکل‬ .‫این‬ ُ‫ًوَد‬ ‫تزرسی‬ ‫را‬9‫همذار‬CCR‫را‬ ‫هختلف‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ِ‫ت‬ ‫هزتَط‬
.‫دّذ‬ ‫هی‬ ‫ًطاى‬
‫شکل‬9-‫در‬ ‫میانی‬ ‫الیه‬ ‫های‬ ‫نرون‬ ‫تعداد‬ ‫تاثیر‬CCR

15. ‫صادقی‬ ‫زهرا‬
15
‫ضکل‬ ‫رٍی‬ ‫اس‬ ِ‫ک‬ ‫عَر‬ ‫ّواى‬9‫تؼذاد‬ ‫تا‬ ‫ّا‬ ‫ًزٍى‬ ‫تؼذاد‬ ‫افشایص‬ ‫تا‬ ،‫دیذ‬ ‫تَاى‬ ‫هی‬21‫صحت‬ ،‫هیاًی‬ ِ‫الی‬ ‫در‬ ‫ًزٍى‬
‫اسای‬ ِ‫ت‬ ‫ٍلی‬ ،‫است‬ ِ‫رفت‬ ‫تاال‬ ‫تٌذی‬ ِ‫دست‬24‫کاّص‬ ‫ًزٍى‬CCR‫رخذاد‬ ‫دلیل‬ ِ‫ت‬ ِ‫هسال‬ ‫ایي‬ .‫است‬ ُ‫آهذ‬ ‫ٍجَد‬ ِ‫ت‬
ُ‫پذیذ‬over parameterization.‫تاضذ‬ ‫هی‬
e‫دا‬ ‫با‬ ‫بندی‬ ‫دسته‬ ‫تاثیر‬ )‫یافته‬ ‫بعد‬ ‫کاهش‬ ‫های‬ ‫ده‬
‫ػصثی‬ ِ‫ضثک‬ ، ،‫لسوت‬ ‫ایي‬ ‫در‬MLP‫رٍش‬ ‫کوک‬ ِ‫ت‬ ‫را‬conjugate gradient‫توزیي‬ ‫اس‬ ِ‫ک‬ ‫ّایی‬ ُ‫داد‬ ‫تا‬4
ِ‫تَسیل‬feature conditioning.‫دّین‬ ‫هی‬ ‫آهَسش‬ ‫تَدًذ‬ ِ‫یافت‬ ‫تؼذ‬ ‫کاّص‬
‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ .‫تاضذ‬ ‫هی‬ ‫هیاًی‬ ِ‫الی‬ ‫یک‬ ‫تا‬ ‫ساختاری‬ ‫دارای‬ ُ‫ضذ‬ ‫ساسی‬ ُ‫پیاد‬ ‫ػصثی‬ ِ‫ضثک‬‫تا‬ ‫تزاتز‬ ،‫هیاًی‬ ِ‫الی‬
9‫یؼٌی‬ ‫ّا‬ ‫کالس‬ ‫تؼذاد‬ ِ‫ت‬ ،‫خزٍجی‬ ِ‫الی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ٍ ‫ًزٍى‬11.‫است‬ ُ‫ضذ‬ ‫اًتخاب‬ ‫ًزٍى‬
‫اسای‬ ِ‫ت‬ ‫یادگیزی‬ ‫رًٍذ‬111ُ‫داد‬ ‫تٌذی‬ ِ‫دست‬ ‫اس‬ ‫حاصل‬ ‫خغای‬ ‫ًوَدار‬ .‫است‬ ِ‫گزفت‬ ‫لزار‬ ‫تزرسی‬ ‫هَرد‬ ،‫تکزار‬ ‫تار‬
‫ّای‬testٍtrain‫همادیز‬ ‫ًوَدار‬ ٍCCRِ‫ت‬ ُ‫آهذ‬ ‫دست‬ ِ‫ت‬‫ّای‬ ‫ضکل‬ ‫در‬ ‫تکزار‬ ‫تار‬ ‫ّز‬ ‫اسای‬11ٍ11‫ًوایص‬
.‫است‬ ُ‫ضذ‬ ُ‫داد‬

16. ‫صادقی‬ ‫زهرا‬
16
‫شکل‬10-‫روش‬ ‫از‬ ‫حاصل‬ ‫خطای‬ ‫نمودار‬conjugate gradient‫یافته‬ ‫بعد‬ ‫کاهش‬ ‫های‬ ‫داده‬ ‫با‬
‫شکل‬11-‫مقادیر‬ ‫نمودار‬CCR‫روش‬ ‫برای‬conjugate gradient‫یافته‬ ‫بعد‬ ‫کاهش‬ ‫های‬ ‫داده‬ ‫با‬
‫اس‬ ‫لثل‬ ‫تٌذی‬ ِ‫دست‬ ‫اس‬ ‫حاصل‬ ‫ًتایج‬ ‫کارایی‬ ‫هیاى‬ ِ‫همایس‬feature conditioning‫ّای‬ ُ‫(داد‬16‫تؼذ‬ ٍ )‫تؼذی‬
‫ّای‬ ُ‫(داد‬ ‫آى‬ ‫اس‬7‫همذار‬ ٍ ‫اجزا‬ ‫سهاى‬ ‫لحاػ‬ ‫اس‬ )‫تؼذی‬CCR‫جذٍل‬ ‫در‬4.‫است‬ ُ‫آهذ‬
‫جدول‬4–‫انجام‬ ‫از‬ ‫بعد‬ ‫و‬ ‫قبل‬ ‫بندی‬ ‫دسته‬ ‫کارایی‬ ‫مقایسه‬feature conditioning‫ال‬ ‫یک‬ ‫شبکه‬ ‫در‬‫یه‬
#neurons in
hidden layer
Train_timeTest_timeCCR
16393.48.0386.23916 features
919.88521.88280.9557 combined features
‫جذٍل‬ ‫رٍی‬ ‫اس‬4‫همذار‬ ِ‫ک‬ ‫است‬ ُ‫ضذ‬ ‫تاػث‬ ِ‫یافت‬ ‫تؼذ‬ ‫کاّص‬ ‫ّای‬ ُ‫داد‬ ‫اس‬ ُ‫استفاد‬ ِ‫ک‬ ‫دیذ‬ ‫تَاى‬ ‫هی‬CCR‫کوی‬
‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ِ‫ک‬ ‫است‬ ‫هشیت‬ ‫ایي‬ ‫دارای‬ ِ‫یافت‬ ‫تؼذ‬ ‫کاّص‬ ‫ّای‬ ُ‫داد‬ ‫اس‬ ُ‫استفاد‬ ،‫ٍجَد‬ ‫ایي‬ ‫تا‬ .‫یاتذ‬ ‫کاّص‬

17. ‫صادقی‬ ‫زهرا‬
17
‫حجن‬ ٍ ُ‫ًوَد‬ ‫تز‬ ُ‫ساد‬ ‫تسیار‬ ‫را‬ ‫ػصثی‬ ِ‫ضثک‬ ‫ساختار‬ ِ‫ًتیج‬ ‫در‬ ٍ ‫است‬ ُ‫ضذ‬ ِ‫گزفت‬ ‫کار‬ ِ‫ت‬ ‫هیاًی‬ ِ‫الی‬ ‫در‬ ‫کوتزی‬
‫ک‬ ‫ّای‬ ُ‫داد‬ ‫آهَسش‬ ‫سهاى‬ ،‫ّوچٌیي‬ .‫است‬ ُ‫آٍرد‬ ‫پاییي‬ ‫را‬ ‫هحاسثات‬‫اصلی‬ ‫ّای‬ ُ‫داد‬ ‫اس‬ ‫کوتز‬ ‫تسیار‬ ِ‫یافت‬ ‫تؼذ‬ ‫اّص‬
‫ضکل‬ ‫رٍی‬ ‫اس‬ ،ٍُ‫ػال‬ ِ‫ت‬ .‫تاضذ‬ ‫هی‬11ِ‫رفت‬ ‫تاال‬ ‫تسیار‬ ‫حالت‬ ‫ایي‬ ‫در‬ ‫ّوگزایی‬ ‫سزػت‬ ِ‫ک‬ ‫کزد‬ ِ‫هالحظ‬ ‫تَاى‬ ‫هی‬
‫حذٍد‬ ‫اس‬ ‫تؼذ‬ ِ‫ک‬ ‫عَری‬ ِ‫ت‬ ،‫است‬11.‫است‬ ُ‫آهذ‬ ‫دست‬ ِ‫ت‬ ٌِ‫تْی‬ ‫تمزیثا‬ ‫همذار‬ ‫تکزار‬ ‫تار‬
f)‫کال‬ ‫سایر‬ ‫با‬ ‫عصبی‬ ‫شبکه‬ ‫کالسیفایر‬ ‫مقایسه‬‫سیفایرها‬
‫کالسیفایز‬ ‫کارایی‬ ‫خَاّین‬ ‫هی‬ ‫لسوت‬ ‫ایي‬ ‫در‬MLP‫کالسیفایزّای‬ ‫تا‬ ‫را‬ ‫یادگیزی‬ ‫رٍش‬ ‫تْتزیي‬ ‫تا‬ ِ‫الی‬ ‫یک‬SVM
‫خغی‬ ‫کالسیفایز‬ ٍ ،‫هتفاٍت‬ ‫کزًل‬ ِ‫س‬ ‫تا‬k(k-1)/2‫رٍش‬ ‫تْتزیي‬ ‫گفت‬ ‫تَاى‬ ‫هی‬ ‫کلی‬ ‫عَر‬ ِ‫ت‬ .‫کٌین‬ ‫هی‬ ِ‫همایس‬
‫رٍش‬ ،ُ‫ضذ‬ ‫تزرسی‬ ‫رٍش‬ ِ‫س‬ ‫تیي‬ ‫اس‬ ‫یادگیزی‬back-propagation‫هی‬‫در‬ ‫کالسیفایزّا‬ ‫ایي‬ ‫ی‬ ِ‫همایس‬ .‫تاضذ‬
‫جذٍل‬5.‫است‬ ُ‫آهذ‬
‫جدول‬5‫کالسیفایر‬ ‫مقایسه‬MLP‫با‬SVM‫و‬k(k-1)/2
SVM Linear classifier
k(k-1)/2
MLP with back-
propagation learningMLP
kernel
RBF
kernel
Poly
kernel
CCR 93.4030 98.15 97.34 71.22 91.194
Train_time 5.6275 9.2138 7.8718 4.6880 29.702
Test_time 0.7005 0.8884 0.3797 0.7660 20.003
‫جذٍل‬ ‫اس‬5‫سهاى‬ ‫اها‬ ‫دارد‬ ‫خَتی‬ ‫ًسثتا‬ ‫کارایی‬ ِ‫گزچ‬ ‫ػصثی‬ ‫ّای‬ ِ‫ضثک‬ ‫اس‬ ُ‫استفاد‬ ِ‫ک‬ ‫گزفت‬ ِ‫ًتیج‬ ‫تَاى‬ ‫هی‬
.‫است‬ ‫تاالتز‬ ‫دیگز‬ ‫هَارد‬ ِ‫ت‬ ‫ًسثت‬ ‫آى‬ ‫تست‬ ٍ ‫آهَسش‬
g)‫ها‬ ‫الیه‬ ‫تعداد‬ ‫تاثیر‬
‫اس‬ ‫لثل‬ ‫ٍرٍدی‬ ‫ّای‬ ُ‫داد‬ ‫رٍی‬ ‫را‬ ِ‫الی‬ ٍ‫د‬ ‫ػصثی‬ ِ‫ضثک‬ ‫اس‬ ُ‫استماد‬ ‫لسوت‬ ‫ایي‬ ‫در‬feature conditioningٍ
‫ضذ‬ ُ‫داد‬ ‫تَضیح‬ ‫لثال‬ ِ‫ک‬ ‫ّایی‬ ‫ضزط‬ ‫ّا‬ ِ‫الی‬ ‫اس‬ ‫یک‬ ‫ّز‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ‫اًتخاب‬ ‫تزای‬ .‫کٌین‬ ‫هی‬ ِ‫همایس‬ ‫آى‬ ‫اس‬ ‫تؼذ‬
‫جذٍل‬ ‫در‬ ُ‫ضذ‬ ‫حاصل‬ ‫ًتایج‬ .‫گیزین‬ ‫هی‬ ‫ًظز‬ ‫در‬ ‫را‬6.‫اًذ‬ ُ‫ضذ‬ ِ‫همایس‬

18. ‫صادقی‬ ‫زهرا‬
18
‫جدول‬6–‫انجام‬ ‫از‬ ‫بعد‬ ‫و‬ ‫قبل‬ ‫بندی‬ ‫دسته‬ ‫کارایی‬ ‫مقایسه‬feature conditioning‫الیه‬ ‫دو‬ ‫شبکه‬ ‫در‬
#neurons
in 2’nd
hidden
layer
#neurons in
1’st hidden
layer
Train_timeTest_timeCCR
131229.70220.00391.19416 features
9834.23220.05387.5827 combined
features
‫جذٍل‬ ‫اس‬ ٍ ‫ضذ‬ ُ‫داد‬ ‫تَضیح‬ ‫لثال‬ ِ‫ک‬ ‫عَر‬ ‫ّواى‬6‫همذار‬ ِ‫گزچ‬ ،‫است‬ ‫هؼلَم‬CCR‫کاّص‬ ‫ّای‬ ُ‫داد‬ ‫تا‬ ‫تٌذی‬ ِ‫دست‬
‫سزػت‬ ٍ ‫ّستٌذ‬ ‫ًیاس‬ ‫کوتزی‬ ‫ّای‬ ‫ًزٍى‬ ‫تؼذاد‬ ِ‫ک‬ ‫است‬ ‫ایي‬ ‫آى‬ ‫هشیت‬ ‫اها‬ ،‫یاتذ‬ ‫هی‬ ‫کاّص‬ ‫کوی‬ ِ‫یافت‬ ‫تؼذ‬
‫ا‬ ِ‫رفت‬ ‫تاال‬ ‫هحاسثات‬ ٍ ‫ساختار‬ ‫پیچیذگی‬ ‫کاّص‬ ‫ػلت‬ ِ‫ت‬ ‫آى‬ ‫ّوگزایی‬.‫ست‬