Recommended
More Related Content
What's hot
What's hot (20)
Similar to 確率統計－機械学習その前に
Similar to 確率統計－機械学習その前に (20)
確率統計－機械学習その前に
- 4. データを要約する 4
- 5. 平均値・中央値・最頻値 データの要約値としては平均値がよく使われる 正規分布するなら平均値≒中央値≒最頻値 中央値＝データを順番に並べて中央に位置する値 正規分布しないものは中央値の方が実感に近いとされる 5 正規分布の例 （中央値と平均値と最頻値がほぼ同じ） 0 5 10 15 20 25 30 35 0 500 1000 1500 2000 2500 3000 割合（%） 資産額（万円） 保有金融資産額 最頻値＝0 中央値＝400 平均値＝1078 0 1 2 3 4 5 6 7 8 150 155 160 165 170 175 180 185 190 人数割合（%） 身長 17歳男子身長 最頻値＝170 中央値＝169 平均値＝171 非正規分布の例 （中央値と平均値と最頻値が全然違う）
- 7. データの関係を調べる 7
- 8. 相関分析 相関係数：平均値から各点の乖離を足し合わせて、-1～1の範囲 に正規化したもの 1に近いほどプラス方向に強い関係 -1に近いほどマイナス方向に強い関係 0は無相関 8 2変数の関係を簡単に分析できる 永岡 淳一 散布図と相関係数・回帰分析（http://www.cuc.ac.jp/~nagaoka/2011/ouyou/10/expr/index.html）より引用
- 10. 相関が大きい＝因果関係がある？ 相関関係は因果関係を意味しない 隠れた共通要因 アイスクリームが売れると水死者が増える ⇒ 「暑い夏」という共通要因 朝食を食べる子供は成績がいい ⇒ 「良好な家庭環境」という共通要因 逆の因果関係 会社への満足度が高いほど業績も好調 ⇒ 業績が好調な職場自体が高い満足度をもたらす 癌での死亡率が増加している！ ⇒ 他の病気で死ぬ人が減って長生きになったため 選択バイアス サッカー場でスポーツ振興についてのアンケートを取る ⇒ 母集団にすでに偏りがある サンプル数が少ない ⇒ 一部の特徴あるサンプルに強い影響を受ける 10
- 11. 回帰分析 例えば、機能数と工数の間の関係を調べたい 散布図を書いて線を引く ⇒ （単）回帰分析 誤差の2乗和が最小になるように線を動かす 11 0 50000 100000 150000 200000 250000 300000 350000 400000 450000 500000 0 200 400 600 800 1000 人時工数 機能数 機能数と工数の関係 0 50000 100000 150000 200000 250000 300000 350000 400000 450000 500000 0 200 400 600 800 1000 人時工数 機能数 機能数と工数の関係 「回帰」分析の語源 身長の高い親からは身長の高い子が生まれ、その逆も同様であることを示そうとしたら実際には 「平均に帰っていく」、すなわち「平均への回帰」が見られたことに由来するとのこと。 データは「ソフトウェア開発データ白書2016-2017」を加工したもの
- 12. 回帰分析でわかること 傾きと切片 結果＝傾き✕原因＋切片 原因＝説明変数、結果＝目的変数、傾きは係数、切片は定数項と呼ばれる 先ほどの例だと「人時工数＝97✕機能数+25000 」 切片は常に0と仮定し原点を通る前提で求めることも出来る 傾きや切片はEXCELを使うと簡単に求められる。 決定係数（R2） 当てはまりの良さを表す指標値。1に近いほど当てはまりはいい おおむね相関係数の2乗と捉えていい（厳密にはいろいろある） 先ほどの例だと R2 = 0.08 ⇒ 当てはまりは良くない 決定係数もEXCELで簡単に求められる 有意性（p値） 効果がないのに効果があるとしてしまっていないかを判断する指標値。小さいほど有 意性が高い。 一般に p値＜0.05 以下で統計的有意であると呼ばれる（5%有意） 先ほどの例だと p値 ＝0.00000002 ⇒ 有意 p値などを求める場合は、RやPythonを使う（EXCELでも計算できなくはない） 12
- 14. 【余談】係数導出の考え方 回帰分析に限らず係数導出は同じパターンで考えられる 1. 入力と出力をつなぐモデルを考える 回帰分析であれば一次式、ディープラーニングであればニューラルネット 単純なモデルで十分な場合に複雑な手法を使う必要はないし、むしろ単純なモ デルの方が適切な結果が高速に得られる 2. モデルと実際の出力の差が最小になるように係数を最 適化（＝最小値を探索）する 14 モデル 出力入力 係数 係数 出力の差
- 15. 重回帰分析 重回帰：複数の説明変数に対する回帰 基本的には単回帰と同じ考えを多次元に拡張しただけ 性別なども1/0で代替することで分析できる（ダミー変数） 説明変数が複数になったことで問題も発生 説明変数が多すぎる ⇒ 推定の自由度が上がってしまう ステップワイズ回帰、ラッソ回帰で説明変数を削減 説明変数同士が独立ではない ⇒ 多重共線性にて推定性能が悪化 主成分回帰、部分最小二乗回帰、リッジ回帰で独立な形に変換 両方の問題に対応した Elastic Net やそれらのパラメータを機械学習 で推定するサポートベクター回帰などもある 自由度調整済み決定係数 通常の決定係数は変数が増えると1に近づく性質がある 説明変数の数で正規化 15
- 16. その他の回帰分析手法 ロバスト回帰 回帰分析は外れ値の影響を受けやすい 外れ度合いに応じて説明変数に重みを付ける 分位点回帰 25%分位点、50%分位点、95%分位点などデータの分布範囲ごとに直 線を導出できる 誤差の分布に偏りがあるシステム開発関係のデータを分析するのに向 いている 16
- 17. 結論を確認する 17
- 18. 検定 検定：分析結果が妥当か評価すること 関係があるように見える ⇒ 単なる偶然かも 偽陽性（第一種の過誤） 関係がないのに、あるとしてしまう間違い p値はこの偽陽性を判定する検定を行った結果として得られる基準値 検定方法は想定する分布に応じて様々なものがある t 検定、カイ二乗検定、F検定、U検定、などなど 偽陰性（第二種の過誤） 関係があるのに、ないとしてしまう間違い 偽陽性と偽陰性にはトレードオフがある。偽陽性を重視すると偽陰性 が発生する可能性が増す。 18
- 19. 有意である＝因果関係がある？ p値はよく使われるが完璧な指標ではない p値は扱いやすいので普及しているが、問題があるとの指摘も多い アメリカ統計学会「統計的優位性とp値に関する声明」（2016） サンプル数を増やすと有意と判定されやすくなるという特徴がある 有意である ⇒ 効果が 0 ではないことがわかるだけ 効果の強さは何もわからない 有意であるが決定係数が低いなら、誤差程度の関係しかないとも言える 逆に有意ではない＝因果関係がない、とも言えない 有意水準 5% では、偽陽性を十分に排除できない 有意水準 0.5% に設定すべきという提言がなされている（2017） 心理学論文の半数は再現性に問題があるとするデータもある 19
- 20. 有意である＝因果関係がある？ 回帰分析には前提がある⇒前提を満たさないと使えない サンプル数が十分にある 少数のデータだと偏ったサンプルになっている可能性がある データの発生源に偏りがない 基準を設けて分割したり選び出したりすると、人工的な偏りが 生まれる 収集後だけでなく、データの収集時にも偏りが出ないように気 をつける必要がある データがすべて独立 独立＝個々のデータには相互に関係がないということ 同じデータを水増しすると有意にできるが、独立ではないない ので分析の意味がなくなる 時系列データも独立ではない（時間的自己相関） 20
- 21. じゃあ、どうすればいいの？ 1. 他の方法を使う 効果量の信頼区間：統計学者おすすめの方式 効果量：サンプル数に依存せずに関係の強さを表すことができる指標 ベイズ統計を使う：仮説が正しい確率を直接的に計算できる ⇒ いずれも p値ほど簡単に使えるものではない 2. 気にしない 論文書くならともかく、業務ならもっとカジュアルに使えばいい たいていの場合、因果関係があるかないかは自ずと明らか データを眺めるだけでも気づきがある そもそも、未知の要因は無数にあるため、因果関係を機械的な方法だ けで判定するのは無理がある とはいえ、因果関係がある！ と決めつける前に「そうでない可能 性」がないかは検討したほうがいい 特に時系列データには注意が必要 21
- 22. 時系列の関係を調べる 22
- 24. 単位根検定 データ列が分析可能（定常）であるかを確認する手法 定常：一定範囲をばらつくデータであること 定常でないデータは過去との差分を取って定常化する 定常データの差分をとると本来の関係が見えなくなってしまうので、 非定常なことを確認して実行する 共和分検定 共和分：足し合わせると定常になるデータがあること それぞれのデータは定常ではないが、複数のデータの足し合わせが定 常になる場合、みせかけの回帰が起こらない みせかけの回帰が起こらないだけで、分析が正しく行われているわけ ではない。ベクトル誤差修正モデルを使う 24
- 25. ARIMAモデル ARIMA = AR＋I+MA AR: 自己回帰 現在は過去の値に影響される I: 和分 過去との差分を取り、トレンドや周期性を取り除く MA: 移動平均 現在は過去のノイズの蓄積に影響される 25
- 27. 参考文献 Takashi J. OZAKI「統計学と機械学習の違い」はどう論じたら良いのか」 http://tjo.hatenablog.com/entry/2015/09/17/190000 佐藤俊夫「回帰分析の語源」 http://satotoshio.net/blog/?p=1264 林岳彦「因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ」など http://takehiko-i-hayashi.hatenablog.com/entry/20130418/1366232166 http://takehiko-i-hayashi.hatenablog.com/entry/20130902/1378119705 アレックス・ラインハート「ダメな統計学」 http://id.fnshr.info/2014/12/17/stats-done-wrong-toc/ himaginary「新発見の統計的有意性のp値の閾値は5%から0.5%に下げよ」 http://d.hatena.ne.jp/himaginary/20170829/Redefine_Statistical_Significance Logics_of_Blue「時系列データへの回帰分析」 https://logics-of-blue.com/time-series-regression/ 27