Statistics with R

Statistics with R
Fantastic examples from R
Johnson Hsieh (謝宗震)
Postdoctoral Reseracher in Biostatistics at NTHU

(http://creativecommons.org/licenses/by-nc-sa/3.0/)

When to use R?
1. Simulation & testing ideas
2. Statistical analysis
3. Data mining and machine learning
4. Data visualzation (Ben's talk)

2/53

Simulation & testing idea in R

3/53

Monty Hall problem
假設你參加一個遊戲節目，你被要求在三扇門中選擇一扇：其中一扇後面有一輛車；其餘兩扇後面則
是山羊。你選擇一道門，假設是一號門，然後知道門後面有甚麼的主持人，開啟了另一扇後面有山羊
的門，假設是三號門。他然後問你：「你想選擇二號門嗎？」轉換你的選擇對你來說是一種優勢嗎？

A

1

B

2

? ?
http://en.wikipedia.org/wiki/File:Monty-CurlyPicksCar.svg (http://en.wikipedia.org/wiki/File:Monty-CurlyPicksCar.svg)
http://en.wikipedia.org/wiki/File:Monty_open_door.svg (http://en.wikipedia.org/wiki/File:Monty_open_door.svg)

4/53

Monty Hall problem
假設你參加一個遊戲節目，你被要求在三扇門中選擇一扇：其中一扇後面有一輛車；其餘兩扇後面則
是山羊。你選擇一道門，假設是一號門，然後知道門後面有甚麼的主持人，開啟了另一扇後面有山羊
的門，假設是三號門。他然後問你：「你想選擇二號門嗎？」轉換你的選擇對你來說是一種優勢嗎？
B< 100
- 00
x< y < y < rp0B
- 1 - 2 - e(,)
frii 1B{
o( n :)
xi < sml(:,)
[] - ape131
y[]< 1
1i y[]< ies([]=,sml((,)1,xi)
2i - flexi=1 apec23,) []
}
dt.rm(ke"ma(=y) "hne=enx=2)
aafae"ep=enx=1, cag"ma(=y)

ke cag
ep hne
1038 062
.2
.7

5/53

Secretary problem
要聘請一名秘書，有個應聘者。每面試一人後就要決定是否聘他，如果不聘他，他便不會回來。面
試後總能清楚了解應聘者的合度，並能和之前的人做比較。問什麼樣的策略，才使最佳人選被選中的
n

機率最大。

M

），然後選出第一個比

r

M

佳人選為應聘者

1

這個問題的最優解是一個停止規則。在這個規則里，面試官會拒絕頭

個應聘者（令他們中的最

好的應聘者。

http://www.wallpapergate.com/wallpaper22876.html (http://www.wallpapergate.com/wallpaper22876.html)

6/53

Secretary problem
n< 8 rp < 1^;rc< rpN,rp)
- ; es - 04 e - e(A es
ot< dt.rm(sz"n "uof=,"ucsrt"1n
u - aafae"ie=, ctf"1 scesae=/)
frri 2n{
o( n :)
frki 1rp)
o( n :es{
a< sml(:)#rn o apiat
- ape1n
ak f plcns
cm < mna1r1)#etoebfrrhapiat
op - i([:-] bs n eo t plcn
sc< an #atoe
e - [] Ls n
frii rn1{
o( n :-)
i([]<cm) #hoeihapiatbte ta cm
fai
op{ cos t plcn etr hn op
sc< ai
e - []
bek
ra
}
}
rck < sc
e[] - e
}
otr]< rid"ie=,"uof=,"ucsrt"smrc=)rp)
u[, - bn(sz"n ctf"r scesae=u(e=1/es
}

7/53

Secretary problem
ot
u

sz ctf scesae
ie uof ucsrt
1
8
1
015
.2
2
8
2
033
.1
3
4
5
6
7
8

8
8
8
8
8
8

3
4
5
6
7
8

033
.9
048
.1
037
.8
032
.2
025
.3
010
.2

otwihmxotscesae,
u[hc.a(u$ucsrt)]

sz ctf scesae
ie uof ucsrt
4
8
4
048
.1

8/53

Polls analysis

http://www.youtube.com/watch?v=W93QmbSB4ow (http://www.youtube.com/watch?v=W93QmbSB4ow)

9/53

Polls analysis

訪問主題：台北市長可能人選民調
訪問時間：102 年 12 月 26 日至 30 日晚間 18：30-22：00
調查方法：電話後四碼電腦隨機抽樣，人員電話訪問
有效樣本：1,025 位 20 歲以上台北市民
抽樣誤差：95%信心水準下，抽樣誤差為±3.1 個百分點

10/53

Polls analysis
2

p
p

連勝文 (

1

柯文哲 (

)：47% ± 3.1% = (43.9%, 50.1%)
)：44% ± 3.1% = (40.9%, 47.1%)

柯與連競爭的勝率之估計為何？
n< 12 #
- 0 5 樣本數
p < 04 #
1 - . 7 柯的支持度估計
p < 04 #
2 - . 4 連的支持度估計
d2< p -p
1 - 1
2
s2df < sr(1(-1/+2(-2/+*1p/)
1.if - qtp*1p)np*1p)n2p*2n
t< d2s2df
- 1/1.if
d t . r m ( 差異" d 2 "
aafae"
= 1 , 標準誤" s 2 d f , " 值" t "
= 1 . i f Z = , 勝率" p o m t )
=nr()

差異標準誤 Z
值勝率
100 009 10 083
.3 .28 .1 .4
Ref: http://www.pmean.com/04/MultinomialProportions.html (http://www.pmean.com/04/MultinomialProportions.html)

11/53

Statistical analysis in R

12/53

http://arthritisbroadcastnetwork.org/2012/04/men-with-chronic-low-back-pain-may-have-reduced-bmd/ (http://arthritisbroadcastnetwork.org/2012/04/men-withchronic-low-back-pain-may-have-reduced-bmd/)

13/53

Bone Mineral Density
美國青少年脊柱骨質密度相對成長資料
資料來源：Bachrach et al. (1999)
lbayEeSaLan
irr(lmtter)
dt(oe #BDo 21nrhaeia aoecns
aabn)
M f 6 ot mrcn dlset
bn[apeno(oe,8,
oesml(rwbn) )]

inm aegne snm
du
g edr pbd
21 161.
1
0 87 ml 0075
ae .01
8
8
4 1. fml 0096
8 51 eae .25
49 321.
5
4 96 ml 0035
ae .59
33 271. fml 0058
9
6 50 eae .26
40
4
23
2
13
4
33
4

351.
1 87 ml 0051
ae .29
112.
1 20 ml 0046
ae .36
6 1. fml 0067
8 61 eae .26
241. fml 0030
1 28 eae .64

14/53

觀察年齡與骨質密度相對成長之散佈圖

15/53

觀察年齡與骨質密度相對成長之散佈圖

16/53

以性別分組，觀察年齡與骨質密度相對成長之散佈圖

17/53

利用平滑曲線法 (smooth splines) 觀察不同性別之趨勢

18/53

# 骨質密度成長率 v 年齡
s
po(pbd~ae dt=oe xa=Ae,ya=Rltv Cag i BD)
ltsnm
g, aabn, lb"g" lb"eaie hne n M"
aln(msnm ~ae dt=oe,ld2
biel(pbd
g, aabn) w=)
# 以性別分層
po(pbd~ae dt=oe cl=ies(edr=ml" 4 2,
ltsnm
g, aabn, o
flegne="ae, , )
xa=Ae,ya=Rltv Cag i BD)
lb"g" lb"eaie hne n M"
lgn(tpih" c"ae,"eae) clc4 2,ph1 by"" cx12
eed"orgt, (ml" Fml", o=(, ) c=, t=n, e=.)
# 平滑曲線分析
s.ae< wt(ustbn,edr=ml",sot.pieae snm,d=2)
pml - ihsbe(oegne="ae) mohsln(g, pbd f1)
s.eae< wt(ustbn,gne="eae) sot.pieae snm,d=2)
pfml - ihsbe(oe edr=fml", mohsln(g, pbd f1)
po(pbd~ae dt=oe cl=ies(edr=ml" 4 2,
ltsnm
g, aabn, o
flegne="ae, , )
xa=Ae,ya=Rltv Cag i BD,ph1
lb"g" lb"eaie hne n M" c=)
lnss.ae cl4 ld5
ie(pml, o=, w=)
lnss.eae cl2 ld5
ie(pfml, o=, w=)
lgn(tpih" lgn=(ml" "eae) clc4 2,ld2 by"" cx12
eed"orgt, eedc"ae, Fml", o=(, ) w=, t=n, e=.)

19/53

http://www.appledaily.com.tw/appledaily/article/property/20131202/35478355/ (http://www.appledaily.com.tw/appledaily/article/property/20131202/35478355/)

21/53

帝寶房價預測
資料來源：不動產實價登錄資料 (2012年8月 ~ 2013年9月)
頂級豪宅 40 / 21530 件
加入物件的面積大小、是否購買車位、屋齡、行政區域、樓層高低等因子配適模型
lbaymc)#rvdsfntosfrgnrlzdadtv mdlig
irr(gv poie ucin o eeaie diie oeln
dt < raRS"a1rs)
a1 - edD(dt.d"
#ftlna mdl
i ier oe
g < l(o1(
1 - m l g 0 總價) 面積+
~
車位+
屋齡+
行政區+ l o , d t = a 1
for aadt)
#ftadiemdlwt tosot trs
i div oe ih w moh em
g < g m l g 0 總價) s 面積) 車位+ (
2 - a(o1(
~(
+
s 屋齡) 行政區+ l o , d t = a 1
+
for aadt)
# C m a e a j s e R s u r d 越趨近1
opr dutd -qae,
模型配適度越好
dt.rm(lna mdl=umr(1$d..q "diiemdl=umr(2$.q
aafae"ier oe"smayg)ajrs, adtv oe"smayg)rs)

lna.oe adtv.oe
iermdl diiemdl
1

072
.3

095
.3

22/53

帝寶房價預測
# s t d t s t 帝寶格局
e aae,
nw< dt[:,c234671)
e - a116 (,,,,,2]
rwae(e)< 16
onmsnw - :
n w 面積 < c 1 0 1 0 2 0 2 0 2 0 2 0
e$
- (6,6,1,1,6,6)
n w 車位 < r p "
e$
- e ( 有車位" 6 ;
,)
n w 屋齡 < r p 8 6
e$
- e(, )
n w 行政區 < r p "
e$
- e ( 大安區" 6
,)
nwfor< rpc"
e $ l o - e ( ( 低樓層" "
, 高樓層" , )
)3
#peito
rdcin
tp< peitg,nwaanw s.i=RE
m - rdc(2 edt=e, eftTU)
pe < 1^bn(m$i,tpfttps.i,tpfttps.i)
rd - 0cidtpft m$i-m$eft m$i+m$eft
d t . r m ( 建案坪數" n w 面積, "
aafae"
=e$
高低樓層" n w f o r
=e$lo,
"
總價估計.
萬元" r u d p e [ 1 / 0 0 )
=on(rd,]100,
"
單價估計.
萬元" r u d p e [ 1 / 0 0 / e $
= o n ( r d , ] 1 0 0 n w 面積)
)

24/53

帝寶房價預測 (http://goo.gl/vT1Smr
(http://goo.gl/vT1Smr))

25/53

http://www.appledaily.com.tw/appledaily/article/property/20131226/35533557/ (http://www.appledaily.com.tw/appledaily/article/property/20131226/35533557/)

26/53

http://www.bio1000.com/news/1/1867.html (http://www.bio1000.com/news/1/1867.html)

27/53

http://www.appledaily.com.tw/appledaily/article/international/20120317/34096123/
(http://www.appledaily.com.tw/appledaily/article/international/20120317/34096123/)

28/53

Shohat-Ophir, G., et al. (2012) https://www.sciencemag.org/content/335/6074/1351 (https://www.sciencemag.org/content/335/6074/1351)

29/53

Shohat-Ophir, G., et al. (2012) https://www.sciencemag.org/content/335/6074/1351 (https://www.sciencemag.org/content/335/6074/1351)

30/53

借酒澆愁愁更愁－探討果蠅求偶被拒絕與其飲酒行為之關聯性
學校名稱：國立科學工業園區實驗高級中學
作者：陳慶豐、陳昌逸；指導老師：馮蕙卿、揭維邦
#rwdt
a aa
dt< dt.rm(drp18 ec=)
a - aafaei=e(:, ah2,
tp=e((guoe,"tao",tms8 ec=)
yerpc"lcs" ehnl) ie=, ah1,
goprpc"eet,"ae) tms1 ec=)
ru=e((rjc" mt", ie=, ah8,
m=(.5,367 166 308 180 338 204 264
lc204 .7, .2, .7, .4, .7, .5, .9,
204 293 360 223 207 268 337 173)
.5, .9, .8, .2, .9, .0, .3, .5)
ha(a)
eddt

i
d
tp gop m
ye ru
l
1 1guoerjc 20
lcs eet .5
2
3
4
5

1ehnlrjc 36
tao eet .8
2guoerjc 16
lcs eet .3
2ehnlrjc 30
tao eet .8
3guoerjc 18
lcs eet .4

6 3ehnlrjc 33
tao eet .8
31/53


32/53

tp< rp0 8
m - e(, )
frii 18 {
o( n :)
tpi < (dtm[*]-dtm[*-]/dtm[*]+dtm[*-])
m[] - (a$l2i
a$l2i1)(a$l2i
a$l2i1)
}
ot< dt.rm(rjc"tp14,"ae=m[:]
u - aafae"eet=m[:] mt"tp58)
P.en< apyot 2 ma)
Ima - pl(u, , en
P.d< apyot 2 s)
Is - pl(u, , d
lbayHic
irr(ms)
prcx12
a(e=.)
era(=:,yP.en ylsP.enP.d yiu=Ima-Is,ls1
rbrx12 =Ima, pu=Ima+Is, mnsP.enP.d a=,
xx=n,xi=(.,.) xa=" ya=Peeec idx,cx15 ld2
at"" lmc0525, lb", lb"rfrne ne" e=., w=)
ai(,a=:,c"eet,"ae)
xs1 t12 (Rjc" Mt")
aln(=,ly2
bieh0 t=)

33/53

http://i.gbc.tw/gb_img/5/001/991/1991405.jpg (http://i.gbc.tw/gb_img/5/001/991/1991405.jpg)

34/53

LoL口袋深度分析
口袋深度：玩家在達到多少勝場時，能夠運用的英雄數量
英雄聯盟中可供使用的英雄有100種以上，英雄與英雄之間有若干相剋情形
會使用的英雄越多被針對的程度越低，因此口袋深度是判斷一個玩家程度的重要指標
lbaydvol)
irr(etos
isalgtu(iET,Jhsnse' #ht:/onohihgtu.oiET
ntl_ihb'NX''onoHih)
tp/jhsnse.ihbi/NX/
lbayiET #Ca e a.(04
irr(NX)
ho t l 21)
s u c _ r ( h t s / g s . i h b c m J h s n s e / 3 9 1 / a / u e . " # 戰績網查詢
oreul"tp:/itgtu.o/onoHih8868rwqryR)
i1< cenll"h_etor) i2< cenll"Z_P_onn"
d - la_o(aqWsdo"; d - la_o(ABTAMrig)
ot< ls(Wsdo"i1wn "onn"i2wn
u - it"etor=d$i, Mrig=d$i)
nmsot[])< i1nm;nmsot[])< i2nm
ae(u[1] - d$ae ae(u[2] - d$ae
lpl(u,fnto()xx0)
apyot ucinx [>]

$etor
Wsdo
卡薩丁
1
3
潘森
1

雷玟

易大師古拉格斯
奈德麗
3
7
7
塔隆
犽宿卡特蓮娜奧莉安娜
3

4

1

希瓦娜
5

賈克斯
1

卡力斯
6

希格斯
3

凱爾
1

逆命
2

1
35/53

LoL口袋深度分析 (http://goo.gl/KngyYO
(http://goo.gl/KngyYO))
ot < iETi1wn edon=0) ot < iETi2wn edon=0)
u1 - NX(d$i, npit10; u2 - NX(d$i, npit10
prfml=SHii)
a(aiy"Tet"
p o ( u 1 y i = ( , 0 , m i = 口袋深度分析" x a = 勝場數" y a = 英雄個數"
ltot, lmc04) an"
, lb"
, lb"
)
lnsot,cl2
ie(u2 o=)
lgn(tpet,c"h_etor,"Z_P_onn",cl12 ph1,by"" ly1
eed"olf" (aqWsdo" ABTAMrig) o=:, c=9 t=n, t=)

37/53

Data mining and machine learning in R

38/53

http://www.motherjones.com/files/images/Blog_Obama_Clinton.jpg (http://www.motherjones.com/files/images/Blog_Obama_Clinton.jpg)

39/53

The Obama-Clinton Divide
piay=ra.s(r(ht:/w.ttul.d/cceupiaiscv) ha=RE
rmr
edcvul"tp/wwsa.caeu~ota/rmre.s", edTU)
piaybak6c < piaybak6piaypp6
rmr$lc0pt - rmr$lc0/rmr$o0
piay< sbe(rmr,saepsa!"I)
rmr - ustpiay tt_otl=M"
piay< sbe(rmr,saepsa!"L)
rmr - ustpiay tt_otl=F"
piay< sbe(rmr,!saepsa="A &rctp="rmr")
rmr - ustpiay (tt_otl=W"
aeye=Piay)
piaysb< sbe(rmr,slc=(onynm,rgo,wne,
rmr.u - ustpiay eetccut_ae ein inr
citn oaa pth_rd bak6c)
lno, bm, c_sga, lc0pt)
ha(rmr.u)
edpiaysb

cut_aergo wne citnoaapth_rdbak6c
onynm ein inr lno bm c_sga lc0pt
1
2
3

Atua
uag
Blwn
adi
Bror
abu

S oaa
bm
Scitn
lno
S oaa
bm

16 26
70 28
65 55
29 40
12 29
32 33

077
.8
080
.2
066
.4

012
.71
006
.94
042
.67

4
5
6

Bb
ib
Bon
lut
Blok
ulc

Scitn
lno
Scitn
lno
S oaa
bm

92 75
2
5
23
75 67
1
41 23
7
02

062
.3
075
.0
065
.0

029
.10
005
.15
068
.92

40/53

lbayrat #Rcriepriinn
irr(pr)
eusv attoig
lbayratpo)#Fnyte po
irr(pr.lt
ac re lt
lbayRooBee)#Nc clrplte
irr(Clrrwr
ie oo aets
ft=ratwne~einpth_rdbak6c,aapiay
i
pr(inrrgo+c_sga+lc0ptdt=rmr)
c < ies(i$rm$vl=,bee.a(,"res)9,bee.a(,"le"[]
1 - fleftfaeya=1 rwrpl9 Gen"[] rwrpl9 Bus)9)
c < ies(i$rm$vl=,bee.a(,"res)2,bee.a(,"le"[]
2 - fleftfaeya=1 rwrpl9 Gen"[] rwrpl9 Bus)2)
ppft tp=,eta1 clc,bxclc,sao.o=ga"
r(i, ye2 xr=, o=1 o.o=2 hdwcl"ry)

43/53


44/53

How do decision tree work

https://github.com/braz/DublinR-ML-treesandforests/ (https://github.com/braz/DublinR-ML-treesandforests/)

45/53

Handwritten digits
lbayEeSaLan
irr(lmtter)
dt(i.ri)
aazptan
dt< zptanwihzptan,]=)]
a - i.ri[hc(i.ri[1=3,
tp < tp < ls(
m1 - m2 - it)
frii 19{
o( n :)
frji 17{
o( n :)
tp[j]< zpiaedt i(-)5
m1[] - i2mg(a, +j1*)
}
tp[i]< d.al"bn" tp)
m2[] - ocl(cid, m1
}
i < d.al"bn"tp)
m - ocl(rid,m2
iaei,clga(5:/5) xa=" ya=" ae=AS)
mg(m o=ry26026, lb", lb", xsFLE

47/53

Handwritten digits
以Principal Component Analysis (PCA) 進行手寫學習

pa< pcm(dt,1)
c - rop(a[-])
b < b < rudsq-,4 l5,)
1 - 2 - on(e(4 , =)1
prmrwc13)
a(fo=(,)
iaemti(c$etr1,6,o=ry26026,mi=Ma"
mg(arxpacne,61)clga(5:/5) an"en)
iaemti(c$oain,]1,6,o=ry26026,mi=P1)
mg(arxpartto[1,61)clga(5:/5) an"C"
iaemti(partto[2,61)clga(5:/5) mi=P2)
mg(arx-c$oain,]1,6,o=ry26026, an"C"

48/53

Handwritten digits
以Principal Component Analysis (PCA) 進行手寫學習

49/53

Handwritten digits
tp < tp < ls(
m3 - m4 - it)
frii 15{
o( n :)
frji 15{
o( n :)
tp[j]< mti(c$etr1,6 +
m3[] - arxpacne,61)
b[]*mti(c$oain,]1,6 +
1i
arxpartto[1,61)
b[]*mti(partto[2,61)
2j
arx-c$oain,]1,6
}
tp[i]< d.al"bn" tp)
m4[] - ocl(cid, m3
}
p.m< d.al"bn"tp)
ci - ocl(rid,m4
po(c$[12,cl3 xi=(66,ph1,cx05 pnlfrt=gi(,,,)
ltpax,:] o=, lmc-,) c=9 e=., ae.is
rd6612)
aln(=,clga(.) ld2
biev0 o=ry02, w=)
aln(=,clga(.) ld3
bieh0 o=ry02, w=)
pit( =rpb,ah6,yrpb,tms6,cl2 ph1)
onsx
e(1ec=) =e(2 ie=) o=, c=9
iaep.m clga(5:/5) zi=(0812,ae=AS,xa=P1,ya=P2)
mg(ci, o=ry26026, lmc-.,.) xsFLE lb"C" lb"C"
ai(,a=e(,,=) lbl=1
xs1 tsq01l5, aesb)
ai(,a=e(,,=) lbl=2
xs2 tsq01l5, aesb)

50/53

Basic idea behind PCA

http://www.nlpca.org/fig_pca_principal_component_analysis.png (http://www.nlpca.org/fig_pca_principal_component_analysis.png)

51/53

Resources
Useful R websites

Basic statistics book with R

52/53

Come back for more
Sign up at: www.meetup.com/Taiwan-R/ (http://www.meetup.com/Taiwan-R)
Give feedback at: www.facebook.com/Tw.R.User (https://www.facebook.com/Tw.R.User)
MLDM
Monday
VOD
at:
(https://www.youtube.com/user/TWuseRGroup)

www.youtube.com/user/TWuseRGroup

53/53

Statistics with R

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (18)

Similar to Statistics with R

Similar to Statistics with R (6)

More from Johnson Hsieh

More from Johnson Hsieh (17)

Statistics with R