Submit Search
Upload
最強のハードディスクはどれだ?
•
16 likes
•
9,082 views
Atsushi Hayakawa
Follow
ハードディスクのデータセットに対するデータ解析
Read less
Read more
Technology
Report
Share
Report
Share
1 of 26
Download now
Download to read offline
Recommended
M5StackをRustで動かす
M5StackをRustで動かす
Kenta IDA
Trema day 1
Trema day 1
ykuga
20210510 software design
20210510 software design
Ayachika Kitazaki
ESP32特集の内容紹介
ESP32特集の内容紹介
Kenta IDA
gepuro task views
gepuro task views
Atsushi Hayakawa
「Japan.R開催のお知らせ」と「Rでワンライナー」
「Japan.R開催のお知らせ」と「Rでワンライナー」
Atsushi Hayakawa
第六回「データ解析のための統計モデリング入門」前半
第六回「データ解析のための統計モデリング入門」前半
Atsushi Hayakawa
統計的学習の基礎 4.4~
統計的学習の基礎 4.4~
Atsushi Hayakawa
Recommended
M5StackをRustで動かす
M5StackをRustで動かす
Kenta IDA
Trema day 1
Trema day 1
ykuga
20210510 software design
20210510 software design
Ayachika Kitazaki
ESP32特集の内容紹介
ESP32特集の内容紹介
Kenta IDA
gepuro task views
gepuro task views
Atsushi Hayakawa
「Japan.R開催のお知らせ」と「Rでワンライナー」
「Japan.R開催のお知らせ」と「Rでワンライナー」
Atsushi Hayakawa
第六回「データ解析のための統計モデリング入門」前半
第六回「データ解析のための統計モデリング入門」前半
Atsushi Hayakawa
統計的学習の基礎 4.4~
統計的学習の基礎 4.4~
Atsushi Hayakawa
はじパタ11章 後半
はじパタ11章 後半
Atsushi Hayakawa
Dummiesパッケージ
Dummiesパッケージ
weda654
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
Atsushi Hayakawa
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Shuyo Nakatani
Rcppのすすめ
Rcppのすすめ
Masaki Tsuda
20150303ぞくパタLT-ゆるふわ構造学習
20150303ぞくパタLT-ゆるふわ構造学習
Toru Imai
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
Akifumi Eguchi
20170923 excelユーザーのためのr入門
20170923 excelユーザーのためのr入門
Takashi Kitano
20140625 rでのデータ分析(仮) for_tokyor
20140625 rでのデータ分析(仮) for_tokyor
Takashi Kitano
Rで潜在ランク分析
Rで潜在ランク分析
Hiroshi Shimizu
R を起動するその前に
R を起動するその前に
Kosei ABE
データサイエンティスト必見!M-1グランプリ
データサイエンティスト必見!M-1グランプリ
Satoshi Kitajima
TokyoR42_around_chaining
TokyoR42_around_chaining
TokorosawaYoshio
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Nagi Teramo
Rで代数統計 TokyoR #42 LT
Rで代数統計 TokyoR #42 LT
Toru Imai
ggplot2再入門(2015年バージョン)
ggplot2再入門(2015年バージョン)
yutannihilation
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Yohei Sato
Tokyor42 ggplot2
Tokyor42 ggplot2
Yohei Sato
Tokyo r33 beginner
Tokyo r33 beginner
Takashi Minoda
Tokyo r30 anova
Tokyo r30 anova
Takashi Minoda
tidyverse.orgの翻訳
tidyverse.orgの翻訳
Atsushi Hayakawa
Zepp play soccerで測ってみた
Zepp play soccerで測ってみた
Atsushi Hayakawa
More Related Content
Viewers also liked
はじパタ11章 後半
はじパタ11章 後半
Atsushi Hayakawa
Dummiesパッケージ
Dummiesパッケージ
weda654
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
Atsushi Hayakawa
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Shuyo Nakatani
Rcppのすすめ
Rcppのすすめ
Masaki Tsuda
20150303ぞくパタLT-ゆるふわ構造学習
20150303ぞくパタLT-ゆるふわ構造学習
Toru Imai
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
Akifumi Eguchi
20170923 excelユーザーのためのr入門
20170923 excelユーザーのためのr入門
Takashi Kitano
20140625 rでのデータ分析(仮) for_tokyor
20140625 rでのデータ分析(仮) for_tokyor
Takashi Kitano
Rで潜在ランク分析
Rで潜在ランク分析
Hiroshi Shimizu
R を起動するその前に
R を起動するその前に
Kosei ABE
データサイエンティスト必見!M-1グランプリ
データサイエンティスト必見!M-1グランプリ
Satoshi Kitajima
TokyoR42_around_chaining
TokyoR42_around_chaining
TokorosawaYoshio
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Nagi Teramo
Rで代数統計 TokyoR #42 LT
Rで代数統計 TokyoR #42 LT
Toru Imai
ggplot2再入門(2015年バージョン)
ggplot2再入門(2015年バージョン)
yutannihilation
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Yohei Sato
Tokyor42 ggplot2
Tokyor42 ggplot2
Yohei Sato
Tokyo r33 beginner
Tokyo r33 beginner
Takashi Minoda
Tokyo r30 anova
Tokyo r30 anova
Takashi Minoda
Viewers also liked
(20)
はじパタ11章 後半
はじパタ11章 後半
Dummiesパッケージ
Dummiesパッケージ
R入門(dplyrでデータ加工)-TokyoR42
R入門(dplyrでデータ加工)-TokyoR42
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
RとStanでクラウドセットアップ時間を分析してみたら #TokyoR
Rcppのすすめ
Rcppのすすめ
20150303ぞくパタLT-ゆるふわ構造学習
20150303ぞくパタLT-ゆるふわ構造学習
Mxnetで回帰 #TokyoR 53th
Mxnetで回帰 #TokyoR 53th
20170923 excelユーザーのためのr入門
20170923 excelユーザーのためのr入門
20140625 rでのデータ分析(仮) for_tokyor
20140625 rでのデータ分析(仮) for_tokyor
Rで潜在ランク分析
Rで潜在ランク分析
R を起動するその前に
R を起動するその前に
データサイエンティスト必見!M-1グランプリ
データサイエンティスト必見!M-1グランプリ
TokyoR42_around_chaining
TokyoR42_around_chaining
マルコフ連鎖モンテカルロ法入門-1
マルコフ連鎖モンテカルロ法入門-1
Rで代数統計 TokyoR #42 LT
Rで代数統計 TokyoR #42 LT
ggplot2再入門(2015年バージョン)
ggplot2再入門(2015年バージョン)
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
Tokyor42 ggplot2
Tokyor42 ggplot2
Tokyo r33 beginner
Tokyo r33 beginner
Tokyo r30 anova
Tokyo r30 anova
More from Atsushi Hayakawa
tidyverse.orgの翻訳
tidyverse.orgの翻訳
Atsushi Hayakawa
Zepp play soccerで測ってみた
Zepp play soccerで測ってみた
Atsushi Hayakawa
dataclassとtypehintを使ってますか?
dataclassとtypehintを使ってますか?
Atsushi Hayakawa
トライアスロンとgepuro task views V2.0 Japan.R 2018
トライアスロンとgepuro task views V2.0 Japan.R 2018
Atsushi Hayakawa
バンクーバー旅行記
バンクーバー旅行記
Atsushi Hayakawa
Analyze The Community Of Tokyo.R
Analyze The Community Of Tokyo.R
Atsushi Hayakawa
Visual Studio CodeでRを使う
Visual Studio CodeでRを使う
Atsushi Hayakawa
トライアスロンと僕 - Japan.R 2017
トライアスロンと僕 - Japan.R 2017
Atsushi Hayakawa
simputatoinで欠損値補完 - Tokyo.R #65
simputatoinで欠損値補完 - Tokyo.R #65
Atsushi Hayakawa
useR!2017 in Brussels
useR!2017 in Brussels
Atsushi Hayakawa
Japan.R 2016の運営
Japan.R 2016の運営
Atsushi Hayakawa
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Atsushi Hayakawa
Splatoon界での壮絶な戦い&Japan.Rの宣伝
Splatoon界での壮絶な戦い&Japan.Rの宣伝
Atsushi Hayakawa
最近のクラウドストレージの事情と私情
最近のクラウドストレージの事情と私情
Atsushi Hayakawa
nginxのログを非スケーラブルに省メモリな方法で蓄積する
nginxのログを非スケーラブルに省メモリな方法で蓄積する
Atsushi Hayakawa
implyを用いたアクセスログの可視化
implyを用いたアクセスログの可視化
Atsushi Hayakawa
イケてる分析基盤をつくる
イケてる分析基盤をつくる
Atsushi Hayakawa
らずぱいラジコン
らずぱいラジコン
Atsushi Hayakawa
らずぱいカー
らずぱいカー
Atsushi Hayakawa
らずぱいでウィーン!!!!!
らずぱいでウィーン!!!!!
Atsushi Hayakawa
More from Atsushi Hayakawa
(20)
tidyverse.orgの翻訳
tidyverse.orgの翻訳
Zepp play soccerで測ってみた
Zepp play soccerで測ってみた
dataclassとtypehintを使ってますか?
dataclassとtypehintを使ってますか?
トライアスロンとgepuro task views V2.0 Japan.R 2018
トライアスロンとgepuro task views V2.0 Japan.R 2018
バンクーバー旅行記
バンクーバー旅行記
Analyze The Community Of Tokyo.R
Analyze The Community Of Tokyo.R
Visual Studio CodeでRを使う
Visual Studio CodeでRを使う
トライアスロンと僕 - Japan.R 2017
トライアスロンと僕 - Japan.R 2017
simputatoinで欠損値補完 - Tokyo.R #65
simputatoinで欠損値補完 - Tokyo.R #65
useR!2017 in Brussels
useR!2017 in Brussels
Japan.R 2016の運営
Japan.R 2016の運営
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Rstudio上でのパッケージインストールを便利にするaddin4githubinstall
Splatoon界での壮絶な戦い&Japan.Rの宣伝
Splatoon界での壮絶な戦い&Japan.Rの宣伝
最近のクラウドストレージの事情と私情
最近のクラウドストレージの事情と私情
nginxのログを非スケーラブルに省メモリな方法で蓄積する
nginxのログを非スケーラブルに省メモリな方法で蓄積する
implyを用いたアクセスログの可視化
implyを用いたアクセスログの可視化
イケてる分析基盤をつくる
イケてる分析基盤をつくる
らずぱいラジコン
らずぱいラジコン
らずぱいカー
らずぱいカー
らずぱいでウィーン!!!!!
らずぱいでウィーン!!!!!
Recently uploaded
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
Recently uploaded
(9)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
最強のハードディスクはどれだ?
1.
最強のハードディスク はどれだ? Tokyo.R #43 1 @gepuro
2.
http://blog.gepuro.net/ 自己紹介 • @gepuro • R言語、Python •
4月からサラリーマン 2
3.
https://www.backblaze.com/hard-drive-test-data.html からダウンロードできる 4万台以上のハードディスクに 関するデータが公開されてる 3
4.
82種のハードディスク 2013年から2014年の2年間の データセット 4 毎日のSMART+故障情報 date serial_number model
capacity_bytes failure 2014/1/1 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/2 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/3 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0 2014/1/4 MJ0351YNG9Z0XA Hitachi HDS5C3030ALA630 -1589157888 0
5.
全部で約4GB gepuro@ubuntu1404$ du -h
2013 740M 2013 gepuro@ubuntu1404$ du -h 2014 2.9G 2014 5
6.
データ解析図 データの扱い方 6 打切り 故障 暦日
7.
ワイブル分布 • 確率密度関数 –𝑓 𝑡
= 𝑚 𝜂 𝑡 𝜂 𝑚−1 exp − 𝑡 𝜂 𝑚 • 累積分布関数 –𝐹 𝑡 = 1 − exp − 𝑡 𝜂 𝑚 7
8.
8 p.d.f. ワイブル分布 𝜂 = 10 𝑚
= 0.5 𝑚 = 1 𝑚 = 1.5 𝑚 = 2 𝑡
9.
9 p.d.f. 𝑡 ワイブル分布 m = 1 𝜂
= 10 𝜂 = 20 𝜂 = 30 𝜂 = 40
10.
http://blog.gepuro.net/archives/118 前処理はブログで 10
11.
ワイブルプロット 11 モデル: ST4000DM000 𝑚 =
0.7875 𝜂 = 35500 モデル: HGST MS5C4040ALE640 𝑚 = 0.7628 𝜂 = 119300
12.
12 確率密度関数 モデル: ST4000DM000 𝑚 =
0.7875 𝜂 = 35500 モデル: HGST MS5C4040ALE640 𝑚 = 0.7628 𝜂 = 119300
13.
13 モデル: ST4000DM000 B1ライフ :
103.1日 モデル: HGST MS5C4040ALE640 B1ライフ: 286.8日 B1ライフ F(t)が1%に達するまでの値 全体の1%が壊れるまでは、何日か。
14.
データ数と故障数 14
15.
15 打切り率
16.
16 ワイブルプロットへの当てはまり
17.
日立のHDDが最強 17 B1ライフ一覧
18.
SMARTも使いたいなあ。 • Power-On Hours •
Temperature • など まとめ • 4万台以上のハードディスクの データが公開 • ワイブル分布でB1ライフを推定 • 日立製のHDDが最強 18
19.
おまけ 19
20.
20 𝒎の一覧
21.
21 𝜼 の一覧
22.
22 𝜼 の一覧(外れ値を抜いた)
23.
ワイブル分布 • 確率密度関数 – 𝑓
𝑡 = 𝑚 𝜂 𝑡 𝜂 𝑚−1 exp − 𝑡 𝜂 𝑚 • 累積分布関数 – 𝐹 𝑡 = 1 − exp − 𝑡 𝜂 𝑚 • 最尤法でパラメータ推定 – 𝐿 𝑚, 𝜂 = 𝑖=1 𝑛 𝑓(𝑡) 𝛿 1 − 𝐹 𝑡 1−𝛿 • 𝛿 = 1なら故障, 𝛿 = 0なら打切り 23
24.
ワイブル確率紙1 • 𝐹 𝑡
= 1 − exp − 𝑡 𝜂 𝑚 • log log 1 1−𝐹(𝑡) = 𝑚 ∗ log 𝑡 − 𝑚 ∗ log 𝜂 • log log 1 1−𝐹 𝑡 ≡ 𝑌 • log 𝑡 ≡ 𝑋, 𝑚 ∗ log 𝜂 ≡ 𝐵 • 𝑌 = 𝑚𝑋 − 𝐵 24
25.
ワイブル確率紙2 • 𝐻 𝑡
= 0 𝑡 𝜆 𝑥 𝑑𝑥 = − log 1 − 𝐹 𝑡 • log 𝐻 𝑡 = log log 1 1−𝐹 𝑡 • 𝜆 𝑡 = 𝑓 𝑡 𝑡 ∞ 𝑓 𝑡 = 𝑓(𝑡) 1−𝐹(𝑡) 25
26.
log 𝐻 𝑡
≡ 𝑌 = 𝑚X − 𝐵による最小二乗法で推定 累積ハザード法による推定 データ𝐭 故障𝜹 順位 逆順位 累積ハザード 𝑯 𝒕 3 0 6 1 6 10 0 5 1 5 23 1 4 1 4 1 4 = 0.25 33 0 3 1 3 35 1 2 1 2 1 4 + 1 2 = 0.75 40 1 1 1 1 1 4 + 1 2 + 1 1 = 1.75 26
Download now