Recommended
More Related Content
Similar to 今日から始める機械学習〜はてなの事例〜
Similar to 今日から始める機械学習〜はてなの事例〜 (20)
More from syou6162
More from syou6162 (20)
Recently uploaded
Recently uploaded (10)
今日から始める機械学習〜はてなの事例〜
- 2. 自己紹介 • id:syou6162(本名: 吉田康久) • 2年前にはてなにアプリケーションエンジニア として転職 – はてなブックマーク – サーバー管理/監視システムMackerel • Web開発:機械学習関連の開発 = 8:2 2 課金回りをやったり、権限回りの拡張を やったり、Mackerel用のプラグインを書いたり。
- 3. 発表のゴール • N(=3)度目の人工知能ブーム • しかし、自分でやってみる/自社で導入するに はまだハードルが高いと感じる方も多い? • アプリケーションエンジニアが機械学習を使っ た機能開発を行なうメリット/楽しさについて聞 くことで「来週から自分も機械学習をやってみ よう!」と思ってもらえること 3
- 4. アジェンダ • 機械学習とは • アプリケーションエンジニアが機械学習をや る楽しさ/メリット – 素朴なタスク編 – サービスの事例編 • 機械学習をやりたい! 困ったときには…? 4
- 5. アジェンダ • 機械学習とは • アプリケーションエンジニアが機械学習をや る楽しさ/メリット – 素朴なタスク編 – サービスの事例編 • 機械学習をやりたい! 困ったときには…? 5
- 6. 機械学習とは: 3つのタイプ • 人工知能における研究課題の一つで、人間が自然に 行っている学習能力と同様の機能をコンピュータで実 現しようとする技術・手法のことである by wikipedia • 教師あり学習 – テキスト分類、物体認識、機械翻訳など • 教師なし学習 – クラスタリング、異常検知など • 強化学習 – AlphaGo、自動運転など 6
- 14. 世間での機械学習のイメージ(?) • 難しい数学が必要… • 最新のアルゴリズムが日々登場しており キャッチアップが困難… • データサイエンティストがやるもの? • 大量のデータがないと動かない… 14
- 15. アジェンダ • 機械学習とは • アプリケーションエンジニアが機械学習をや る楽しさ/メリット – 素朴なタスク編 – サービスの事例編 • 機械学習をやりたい! 困ったときには…? 15
- 19. 活用例(1) 19
- 20. 活用例(2) 20
- 21. 鯖曖昧性解消: これまで • TwiIer Streaming API用のプラグインを使う • 正規表現をひたすら頑張る • ルールはひたすら疲れる • Fluentdが不調だとユーザーの反応見逃す 21
- 26. 鯖曖昧性解消の中身 26 MackerelのAPI充実していて便利! Mackerel API 充実 便利 Mackerel API 充実 便利 * 0.0 * 3.0 * - 0.1 * 1.0 スコア: 3.9 > 0 テキストを 単語に分割 単語に対する 重みをlookup
- 27. お手軽に始められる! • 学習データ数百件からスタート – “mackerel”でTwiIerを検索、週末にラベル付け • パラメータの学習は手元のラップトップで – 5分もかからない • 予測(mackerel.ioに関連するtweetか)はAWS Lambda – 無料枠内で収まる – GPUなど高価な計算リソースは必要なし 27
- 28. 世間のイメージ vs. お手軽な機械学習 • 難しい数学が必要… – 重みの足し算ができればよい • 最新のアルゴリズムが日々登場しており キャッチアップが困難… – 超古典的なアルゴリズムで使いものになる • データサイエンティストがやるもの? – アプリケーションエンジニアが週末でさっと • 大量のデータがないと動かない… – 数百件データがあれば始められる 28
- 29. サービス事例: BrandSafeはてな • URL単位でWebページを解析、アダルトサイト や2chまとめサイトか判定する仕組み • 自社広告を出したくないサイトへの出稿を防 ぎ、ブランドイメージを安全に保つ • 鯖曖昧性解消と同じく線形分類器(重みの足 し算)を使用 • 学習データは数千件規模からスタート 29 技術的詳細: hIps://www.slideshare.net/oarat/brand-42816575
- 37. 業務知識の例 • URL • タイトル • ブックマーク数 • 付与されているタグ • 分類されたカテゴリ • 本文抽出された綺麗なテキスト • はてなキーワード 37 アルゴリズムの工夫は これらを試した後で十分! 普段のドメイン知識がめ ちゃくちゃ生きる!
- 39. アプリケーションエンジニアが 機械学習をやるメリット • データをきちんと見るようになる – 人間は都合のいいところばかりを見がち – 性能を上げるためにはどういうユーザーが多いのかなど データから判断する癖を付けられる • いい特徴量のありかを知っている – 「特徴量and/orデータ数 >> アルゴリズム」なことが多い – アルゴリズムはすぐに真似されるが、データは真似できな い。自社の強みになりうる • 問題解決の手段を機械学習に閉じずに考えられる – 精度を無闇に上げなくても、ユースケースやUIを工夫する ことで解決できることも多い 39
- 40. アジェンダ • 機械学習とは • アプリケーションエンジニアが機械学習をや る楽しさ/メリット – 素朴なタスク編 – サービスの事例編 • 機械学習をやりたい! 困ったときには…? 40
- 43. サーバー監視初心者の場合 • 例: アプリケーションエンジニア • クラウドを使うようになって、サーバーも自分 で立てるようになった – しかし、サーバー監視はよく分からない • 本質的にはアプリケーションコードの開発に 集中したい 43
- 44. サーバー監視玄人の場合 • インフラ周りの知識が豊富、何を監視すれば いいか経験的に知っている • 見なければいけないサービスも多く、多忙な ことも • 監視ルールを一度設定すれば終わり、では なく定期的にメンテナンスする必要がある 44
- 46. 作りました🎉
- 51. ガウス分布に基づく方法 51 異常と判定 正常と判定 • 起きる確率の高い事象は 正常と見なし、低い事象は 異常と見なす • サービスには高負荷(平日) や低負荷(休日)などの場合 がある。実際には複数のガ ウス分布を考慮 • CPU使用率を例に挙げてい ますが、実際には約20個を 総合的に見て判定 CPU使用率 確 率
- 52. ガウス分布に基づく方法 52 異常と判定 正常と判定 • 起きる確率の高い事象は 正常と見なし、低い事象は 異常と見なす • サービスには高負荷(平日) や低負荷(休日)などの場合 がある。実際には複数のガ ウス分布を考慮 • CPU使用率を例に挙げてい ますが、実際には約20個を 総合的に見て判定 CPU使用率 確 率 特徴量を入れまくればよいわけ ではない(誤検知が多くなる)。 SREのドメイン知識を借りて必要 最小限なものに絞り込む
- 53. Mackerelの異常検知 • 一定期間を学習データとし、確率の低い点を 異常として検知 • 複数の負荷傾向を考慮 53 デスクで作業中 ランニングしている時間 異常と判定されるケース1 => ルールでもできそう? 活動量 心拍数 異常と判定されるケース2 => 今の自分 参考: hIps://www.yasuhisay.info/entry/mackerel_meetup_12_anomaly_deteceon
- 55. 異常検知開発のプロセス 55 Model Annotate Train Test Evaluate Revise いきなり本番に入れるのは 大変なので、プラグインなど 影響範囲の少ないところから
- 56. 異常検知開発のプロセス 56 Model Annotate Train Test Evaluate Revise 数値的な評価だけでなく、実 際に異常と判定した場合には アラートも飛ばしてみる
- 58. サービスの制約を生かす • サーバー1台毎にモデルを作ってもそこそこ 動く • データが多いほうが性能がよい – しかし、様々なサーバーを一つのモデルに押し込 むのは無理がある • サービス/ロールという概念を生かす – ロール毎に一つのモデルを学習する 58 何にでも適用できる汎用的なものを目指すのではなく、 サービス固有の情報や制約を生かす。アプリケーショ ンエンジニアのサービスの知識についても生きる!
- 59. 分かってきた問題点/解決法 59 • 低頻度なオペレーション時 にアラートが飛ぶ – サービス影響はない • 最大試行回数を指定できる ように改善 • 全てを機械学習で解かない – シンプルなモデルとユース ケースに合わせたヒューリス テックで十分なことも多い
- 63. 障害のケースを分析 • 「異常」には様々なケースがある • 様々なケースに対応するためにはある程度 難しい方法を使う必要がある。しかし、対応し ようとすると、誤検知も増加してしまう • 社内の障害報告キーワードから障害時のメト リックの動きの仕方を大雑把に分類 • 検知漏れに対する方針を決める 63
- 64. 方針: 難しいケースは諦める • 検知漏れは諦めて誤検知を減らす • 狼少年にならないように。SREと相談 • 前提: サービスメトリック監視や外形監 視など他の監視の手段がすでに存在し ている 64
- 65. 異常検知における機械学習の面白さ • 全てが機械学習で解決するわけではない – どこまで機械学習で解決して、どこからはルール で吸収するのか – 腕の見せどころ • 様々なユースケースを見る機会に恵まれる – B向け/C向け、自社/受託/、バッチ/オンライン • 特徴量選択の中で業務知識がさらに深まる – Mackerel自体の障害対応のときにも役に立つ 65 ドメイン知識が生かせる && アプリケーションエンジニアだからこそ発揮できる強み!
- 66. アジェンダ • 機械学習とは • アプリケーションエンジニアが機械学習をや る楽しさ/メリット – 素朴なタスク編 – サービスの事例編 • 機械学習をやりたい! 困ったときには…? 66
- 67. 機械学習をやりたいけど… やってみたけど… • 遊んでみたいけど、ちょうどいいデータがない • 社内データなので、社外の人に相談できない • 機械学習、やってみたけど世の中的にこれは どれくらいの精度なの? • 作ってみた! しかし、触れるのが自分だけで 属人性が高いのをどうにかしたい 67
- 68. 練習をする場所/ 困ったときに聞ける場所 • Kaggle • Kaggler-ja Slack • Machine Learning Meetup KANSAI 68
- 72. Kaggleをやるメリット • データがpublicなため他社の人ともディスカッションし やすい – 社内データだと社外の人に相談ができない • 自分が作ったモデルがどれくらいよいものか客観的な 指標で分かる – 機械学習タスクは手を動かしているのは自分だけ…という 状況になりがち • 多様なタスクがあるため、自分がやりたいことと似たタ スクを発見できる可能性が高い – 業務でやる前にあらかじめ「どれくらいの精度が出るの か」「最低どのくらいのデータ量が必要なのか」「どういっ た特徴量が重要なのか」の検討を付けることができる 72
- 73. Kaggler-ja Slack • Kaggleや機械学習に興味がある人が集まっ ているSlack • 過去のコンペでどういった方法で解いていっ たか議論 – 日本語で議論できます! • 過去の議論がまとまっているwikiも有用 – hIps://kaggler-ja-wiki.herokuapp.com/ 73
- 74. Machine Learning Meetup KANSAI • 関西のIT企業が主催しているコミュニティイベ ント • 各社でどう機械学習が活用されているか、導 入までのプロセスを共有 • hIps://mlm-kansai.connpass.com/event/ 100525/ 74
- 75. まとめ • 機械学習の典型的なプロセスをはてなの事例と ともに紹介 – 大事なのは特徴量やデータサイズ – 一見かっこいいアルゴリズムは最後のほうで • データサイエンティストではなくアプリケーション エンジニアだからできることは多い – ドメイン知識 – 機械学習に閉じない問題解決 • 小さなケースから機械学習始めてみませんか? 75