Rで学ぶミニミニビッグデータ分析入門-第2回
•
22 likes•7,720 views
Rで学んでいく統計やデータマイニングの入門スライドです。 第2回は「2つののデータ群を調べる」がテーマで、基準化、共分散、相関係数、散布図などを扱います
Recommended
Recommended
More Related Content
Similar to Rで学ぶミニミニビッグデータ分析入門-第2回
Similar to Rで学ぶミニミニビッグデータ分析入門-第2回 (14)
Recently uploaded
Recently uploaded (20)
Rで学ぶミニミニビッグデータ分析入門-第2回
- 2. ミニミニデータ分析入門@Sassor しらとりなるひこ • 専門 – 確率を用いたユーザモデ ルの構築 – 初年次教育を通した学生 モデルの構築 – 人工知能を用いた人間- 社会システムのデザイン – ユーザベースのメディア デザイン 2
- 3. ミニミニデータ分析入門@Sassor この勉強会の目的 • データに対する恐怖感を拭い去ること – データを扱う皆様と会話できるようになること • データを用いて変化やアイデアを語れるよう になること • Rさんが出してくれる喜びを知ること – 計算を少ししながら「Rって便利だな」と納得す ること 3
- 4. ミニミニデータ分析入門@Sassor 全体アジェンダ 1. 1つのデータ群を比べる方法 2. 2つ以上のデータ群の関連性を見る 3. 3つ以上のデータを見る – 回帰分析、因子分析 – 検定 4. ベイズ統計 5. ベイズモデルの応用：時系列解析 6. ベイジアンネットワークの活用 4
- 5. ミニミニデータ分析入門@Sassor 前回の復習 • RStudioインストールの確認 • 1つのデータ群を比べる方法（統計の基 礎知識を得る） – 代表値 • 平均値、最大値、最小値、分散、標準偏差… 数字を使って、１つのデータ群の特徴を 説明できること 5
- 6. ミニミニデータ分析入門@Sassor 第2回アジェンダ • 2つの変数の関連性を見る – グラフで比べる • 散布図：相関 • クロス集計表：連関 – 数字で比べる • 基準化 • 共分散 • 相関係数 6
- 7. ミニミニデータ分析入門@Sassor 今回利用するデータ • ある店舗における機器の電力データ – 期間 • 2011年10月6日-11月5日 – 機器のデータ（平均と最大） • IHコンロ（ih_mean, ih_max） • アイスメーカー（ice_mean, ice_max） • 食器洗浄機（shokki_mean, shokki_max） • 炊飯ジャー（suihan_mean, suihan_max） – 他のデータ • 1日のお客様の数（customer） 7
- 11. ミニミニデータ分析入門@Sassor 列のデータを取得する • データフレームから列のデータを取得す る – 列名を指定しても良いし、列番号でも良い – > sassorCSV[,2] #列番号を指定 – > sassorCSV$ih_max #列名を指定 11
- 12. ミニミニデータ分析入門@Sassor データを保存する • 扱いやすいようにデータを変数に保存しておく – もちろんデータフレームのままやってもOK – 例 • > ih_mean <- sassorCSV$ih_mean • > ih_mean • [1] 180.7 224.8 273.7 346.8 117.1 101.3 104.9 112.4 83.9 76.2 206.6 104.7 94.1 34.6 175.0 61.0 141.3 120.9 102.5 192.6 181.0 • [22] 201.4 162.9 219.8 124.1 201.5 197.2 184.9 162.1 169.6 224.2 12
- 14. ミニミニデータ分析入門@Sassor データをざっくりと眺める • 数字で眺める – 平均 – 最大 – 最小 – 分散 – 標準偏差 • mean(ih_mean) • max(ih_mean) • min(ih_mean) • median(ih_mean) • summary(ih_mean) 標本分散、標本標準偏差 • mean((ih_mean-mean(ih_mean))^2) • sum((ih_mean-mean(ih_mean))^2)/ length(ih_mean) • sqrt(mean((ih_mean- mean(ih_mean))^2)) 不偏分散、不偏標準偏差 • var(ih_mean) • sd(ih_mean) 14
- 17. ミニミニデータ分析入門@Sassor 基準化 （標準化:standardization） • 基準値（z得点）：個々のデータ- 平均 / 標 準偏差 – 基準値の平均は0、標準偏差は1 • なぜ基準化するの？ – 平均と標準偏差（分散）を調整することで比べや すくする – 最大値、最小値がばらばらであっても比較できる から – 単位の違うモノも比較できるから – 標準正規分布を用いた推定や検定ができる 17
- 18. ミニミニデータ分析入門@Sassor 基準化を行う > ih_mean.ZScore <- (ih_mean-mean(ih_mean))/sqrt(mean((ih_mean- mean(ih_mean))^2)) • ih_mean.ZScore – [1] 0.35461355 1.02990564 1.77869890 2.89806062 -0.61927707 -0.86121846 -0.80609257 -0.69124698 – [9] -1.12766023 -1.24556837 0.75121367 -0.80915512 -0.97147023 -1.88257860 0.26733090 -1.47832211 – [17] -0.24870863 -0.56108864 -0.84284316 0.53683523 0.35920738 0.67158739 0.08204668 0.95334191 – [25] -0.51208785 0.67311866 0.60727386 0.41892709 0.06979648 0.18464208 1.02071799 • 基準化したデータの平均値と標準偏差を確かめる – mean(ih_mean.ZScore) – [1] 1.553662e-16 – mean((ih_mean.ZScore-mean(ih_mean.ZScore))^2) – [1] 1 • scale()でもOK 18
- 20. ミニミニデータ分析入門@Sassor 2つの変数を比べる • 2つの変数が関連しているのかを調べる – 2つが量的変数の場合：相関 • 図で比べる：散布図で比べる • 数で比べる：共分散、相関係数 – 2つが質的変数の場合：連関 • 図で比べる：クロス集計表で比べる • 数で比べる：クラメールの連関係数 20
- 21. ミニミニデータ分析入門@Sassor 2つの変数を図で比べる • 2変数間の関連がありそうかを探る • まずは散布図（scatter plot）で探る • plot(ih_mean,ice_mean)
- 25. ミニミニデータ分析入門@Sassor 共分散：covariance 共分散：平均からの偏差の積の平均 sum((customer-mean(customer))*(ih_mean-mean(ih_mean)))/ length(customer) mean((customer-mean(customer))*(ih_mean-mean(ih_mean))) 不偏共分散はcovで求めることができる cov(customer,ih_mean) 注意点：測定単位の影響を受ける
- 26. ミニミニデータ分析入門@Sassor 相関係数：correlation 共分散をそれぞれの標準偏差の積で割 ったもの • cov(customer,ih_mean)/(sd(customer)*sd(ih_mean)) • [1] 0.3082791 • cor(customer,ih_mean) 相関係数 大きさの評価 -0.2 <= r <= 0.2 ほとんど相関無し -0.4 <= r < -0.2 0.2 < r <= 0.4 弱い相関がある -0.7 <= r <= -0.4 0.4 <= r <= 0.7 中程度の相関がある -1.0 <= r < -0.7 0.7 < r <= 1.0 強い相関がある
- 27. ミニミニデータ分析入門@Sassor いろいろ比べる • 相関係数をつかっていろいろ比べる – > cor(ih_mean,customer) – [1] 0.3082791 – > cor(shokki_mean,customer) – [1] 0.4169982 – > cor(suihan_mean,customer) – [1] 0.2790704 27
- 29. ミニミニデータ分析入門@Sassor いろいろ比べる • 相関係数をつかっていろいろ比べる – > cor(sassorCSV[c(1,4,6,8,9)]) ih_mean ice_mean shokki_mean customer suihan_mean ih_mean 1.000000000 -0.001439118 -0.004051582 0.3082791 -0.10935636 ice_mean -0.001439118 1.000000000 -0.145106193 -0.3811286 0.01151823 shokki_mean -0.004051582 -0.145106193 1.000000000 0.4169982 0.05352481 customer 0.308279051 -0.381128642 0.416998195 1.0000000 0.27907044 suihan_mean -0.109356363 0.011518226 0.053524807 0.2790704 1.00000000 29 食器洗浄機の電気量（平均値）と客数は中程度の相関がある 他の機器の電気量と客数は弱い相関しか無い