Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

Share

Supervised Machine Learning of Elastic Stack

Download to read offline

第35回Elasticsearch勉強会の発表スライド。
「Elastic Stack7.6における教師あり機械学習の紹介」

Supervised Machine Learning of Elastic Stack

  1. 1. 1Copyright © Acroquest Technology Co., Ltd. All rights reserved. Elastic Stack7.6における 教師あり機械学習の紹介 Acroquest Technology株式会社 Senior Consultant / Elastic Certified Engineer 吉岡 洋 @Hirosh_Yoshioka
  2. 2. はじめに Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. 今日話すこと ①Anomaly Detectionの概要 ②Data Frame Analyticsの概要 ← 教師あり機械学習はここ 2. 今日話さないこと ①機械学習のアルゴリズムや評価手法の詳細
  3. 3. 目次 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. Elastic MLにおける2種類の機械学習機能 1-1. Anomaly Detection 1-2. Data Frame Analytics 2. デモ 2-1. 分類による不良品予測
  4. 4. 自己紹介 Copyright © Acroquest Technology Co., Ltd. All rights reserved. ⚫ 名前:吉岡 洋(よしおかひろし) ⚫ 所属:Acroquest Technology株式会社 (シニアコンサルタント) ⚫ 領域:全文検索/ビッグデータ分析/可視化 ⚫ その他: ─Microsoft MVP for Powershell(2006~2010) ─「Windows PowerShell宣言!」(2007) ─IBM Certified Specialist IBM SPSS Modeler Professional(2014~) ─Elastic Certified Engineer(2018~)
  5. 5. Acroquest Technology株式会社 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. 新横浜にあるITベンチャー ①Great Place To Work(R) Institute Japan実施 働きがいのある会社ランキング第1位(3回受賞) 2. 事業(データ活用ビジネス) ①Elastic Stack活用コンサルティングサービス – 検証/設計/構築/運用支援など – Elastic Certified Engineer:5名 ②IoTデータ分析プラットフォーム ③機械学習/AI
  6. 6. 1. Elastic MLにおける 2種類の機械学習機能 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  7. 7. 1-1. Anomaly Detection(Ver.5.5でGAリリース) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. 特徴 ①時系列データの異常検知 ②教師なし機械学習 – 閾値判定で検知できない異常を 判定/検知可能 2. サポートする異常検知 ①トレンド異常検知 – 特定の周期を持った時系列データが過去と異なる振る舞いをしている ②Population Analysis – グループ内の特定の個体が他とは異なる挙動をしている 例)特定のIPアドレスからのアクセスだけ404レスポンスの数が多い 閾値判定だと 異常検知できない
  8. 8. 1-1. Anomaly Detection(機能強化) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. 分析プロセスの効率化 ① Data Visualizer(v6.1) ② CSVファイルのインポート機能(v6.5) ③ Annotation(v6.6) 2. モデル精度の向上 ① Calendar Management(学習対象除外日の設定、v6.2) ② Custom Rule(モデル更新条件/異常検知判定のルール制御、v6.4) ③ スコア計算アルゴリズムの改善(v6.5) – パーティション毎のスコア正規化/マルチバケット分析 3. 将来予測 ① Forecast(v6.1)
  9. 9. 1-2. Data Frame Analytics(Ver.7.3~) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. 特徴 ① 非時系列データの様々な分析 ② Elastic Stack単体で学習/推論が可能 – 学習:Data frame analytics APIまたはKibana UIで実施 – 推論:Ingest Node(Inference Processor)を利用する。(v7.6) 2. サポートする分析手法 No 分析タイプ 学習 推論 Version 備考 1 Outlier Detection(外れ値検知) なし ー v7.3 2 Regression(回帰) あり 可能 v7.4 3 Classification(分類) あり 可能 v7.5 二項分類にのみ対応 4 Language identification (言語識別) あり (プリセット) 可能 V7.6 109言語に対応
  10. 10. 1-2. Data Frame Analytics(ユースケース) Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. 教師あり機械学習はBusiness Analytics領域で有用 Regression (回帰) Classification (分類) Language identification (言語識別) [信用リスク分析→未払いリスク低減] 債務者データから格付けスコアモデルを作成。 [アプリユーザ解約予測→解約防止キャンペーン] 顧客動向データから解約予測モデルを作成。 [問い合わせ言語判定→アサイン効率化] 問い合わせ内容を言語判定。適切な担当者をアサイン。
  11. 11. 1-2. Data Frame Analytics(処理の流れ) Copyright © Acroquest Technology Co., Ltd. All rights reserved. ④推論 新規 インデックス ②Reindex 学習データ インデックス ②分析 モデル 学習データ インデックス 学習データ (検証データ) ①データ登録 Ingest Node (Inference Processor) テストデータ ③データ登録 ※②は以下のAPI ・Create data frame analytics jobs API ・Start data frame analytics jobs API 学習データ インデックス (+分析結果)
  12. 12. 2. デモ Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  13. 13. 2-1. 分類による不良品予測 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. デモデータ(製造/試験データ:1000件) ① p1~p12:12ステップある各製造過程での評価値 ② result:製造後の負荷試験結果(NGは不良品) 2. 分類を利用して不良品を予測する ① 説明変数:p1~p12 ② 目的変数:result p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 p12 result 1 28 1 0 1 65 158 1 12 5 B A NG 1 41 1 0 0 197 479 4 6 11 B B OK 1 44 1 0 0 0 651 6 3 7 B C OK 1 50 1 0 1 189 454 5 6 10 B C OK 1 25 1 0 1 153 368 7 4 5 B B OK
  14. 14. 2-1. 分類による不良品予測 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. 作成したモデルに対する推論のテスト(正解はNG) POST _ingest/pipeline/_simulate { "pipeline": { "processors": [ { "inference": { "model_id": "★model_id★", "inference_config": { "classification": {} }, "field_mappings": {} } } ] }, "docs": [ { "_source": { "p1" : 1, "p2" : 28, "p3" : 1, "p4" : 0, "p5" : 1, "p6" : 65, "p7" : 158, "p8" : 1, "p9" : 12, "p10" : 5, "p11" : "B", "p12" : "A" } } ] }
  15. 15. まとめ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1. Elastic MLには2種類の機械学習機能がある ①Anomaly Detection(教師なし機械学習) ②Data Frame Analytics(教師あり機械学習) ※一部例外あり(Outlier Detectionは教師なし) 2. v7.6から教師あり機械学習の推論をサポート ①Elastic Stack単体での学習/推論が可能 ②Data Frame Analyticsが導入されたことで、 Business Analytics領域での活用が期待できる
  16. 16. ご清聴ありがとうございました。 Evolve the Earth with Emotion of Technology Copyright © Acroquest Technology Co., Ltd. All rights reserved.
  • ryousu

    Feb. 27, 2020

第35回Elasticsearch勉強会の発表スライド。 「Elastic Stack7.6における教師あり機械学習の紹介」

Views

Total views

557

On Slideshare

0

From embeds

0

Number of embeds

22

Actions

Downloads

8

Shares

0

Comments

0

Likes

1

×