決済サービスの監視を支えるElastic Stack
•
17 likes•35,074 views
Elastic{ON} TOUR Tokyo 2017 ユーザ事例紹介 発表資料 "膨大な取引データ、サービス提供状態の可視化やElastic Machine Learningによる異常検知の仕組化など年間取扱額2兆円を超える決済システムを支えるElastic活用事例をお話しします。 またシステムリソース以外のビジネスデータの可視化についても取り上げます。" Elasticsearch elasticsearch elastic elasticon
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 決済サービスの監視を支えるElastic Stack
Similar to 決済サービスの監視を支えるElastic Stack (20)
決済サービスの監視を支えるElastic Stack
- 2. 2 自己紹介 ソフトバンク・ペイメント・サービス株式会社に在籍 鈴木順也 ( @suzukij) Java, Webシステムなプログラマ Elasticsearch + Kibana は可視化目的で2年ほど 主な業務 • 新規サービスの開発 • 運用の改善 • 業務の効率化
- 3. 3 ソフトバンクグループの決済分野における中核事業会社です 会社紹介 – ソフトバンク・ペイメント・サービス SoftBank Group 決済・金融 インターネット コンテンツ その他 海外投資 通信
- 6. 6 オンライン決済サービスの監視 • サービス状況を可視化してみた話 • Machine Learningを導入してみた話 1 今日お話しすること ビジネスデータの可視化 • 営業部門の実績やHP閲覧状況を可視化してみた話 2
- 12. 12 加盟店 通販サイト ゲーム 教育 不動産 その他 電子書籍/動画 チケット サービスの規模感 ECサイト向けに様々な決済手段を提供 加盟店に決済画面や決済APIを提供するシステム 決済手段 クレジット 携帯キャリア決済 コンビニ支払い プリペイドカード 口座振替 ポイント支払い アカウント連携決済 年間実績 取扱高 2兆1,949億 円 トランザクション件数 2億4,000万 件 ※2016年度 決済サービス 全て一本化 画面リンク型 API型 当社当社
- 14. 14 障害が発生した際に サービスの状況を関係者間で すばやく共有できていなかった システム部門 営業部門 業務部門 障害発生 アラート通知 加盟店 （お客さま） システム運用の現場で困っていたこと
- 15. 15 システム運用の現場で困っていたこと 加盟店 システム オンライン決済システム 決済機関 システム 障害発生 原因は？復旧対応は？ ・どこのシステム？ウチ？決済機関？加盟店？ システム部門
- 24. 24 決済サービスの監視ダッシュボード 決済手段ごとにエリアグラフを配置 グラフはシンプルに Green： 決済トランザクション OK Red： 決済トランザクション NG クレジットカード クレジットカード 3Dセキュア 携帯キャリアB決済携帯キャリアA決済 携帯キャリアC決済 アカウント連携決済 クレジットカード与信
- 25. 25 決済サービスの監視ダッシュボード クレジットカード クレジットカード 3Dセキュア 携帯キャリアB決済携帯キャリアA決済 携帯キャリアC決済 アカウント連携決済 クレジットカード与信 確認したいこと ✔ 各決済手段ごと ✔ OK / NGの比率 ✔ 時系列の推移
- 34. 34 顧客コード カード番号ハッシュ値 結果別 加盟店別 エラーコード別 エラーコードの確認 ・カード番号 誤り ・有効期限 誤り ・取扱不可 クレジットカード与信（不正与信）
- 37. 37 職場のモニターにダッシュボードを常時表示 “なんとなく” で見れる状態 • 思わぬ気付きを得る ‒ 障害、不正利用 • 周囲の関心を引く ‒ 他チームへの展開 ※v6.0 からフルスクリーンモード
- 38. 38 アラートが鳴ったらすぐに確認したい Kibanaはスマートフォンに非対応 ⇒ 結局PCでKibanaを開く必要 ⇒ Kibanaのログイン、操作が面倒 （そもそもログインすらしない人も… orz） 職場以外でのダッシュボードの確認
- 40. 40 誰でも いつでも どこでも サービスの状況を把握できるように • 障害以外でも加盟店の変化に気付くように（爆売れ、不正利用） • 決済トランザクションデータへの関心が高まった 取り組みの効果
- 49. 49 ジョブ作成 決済トランザクション数 Multi Metric Job Fields 決済OK数、NG数の合計を 対象に設定
- 50. 50 ジョブ作成 決済トランザクション数 Multi Metric Job Split Data 決済方法で分割
- 51. 51 ジョブ作成 決済トランザクション数 Multi Metric Job Key Fields インフルエンサーとして 加盟店や商品名を設定 異常の要因となった値を表示してくれる
- 52. 52 ジョブ作成 決済トランザクション数 Multi Metric Job ジョブ作成はこれだけ かんたん
- 61. 61 検知結果の通知 X-Pack の Watcher を使用して Slack へ通知 Slack Bot（アラートをトリガー） MLダッシュボード画像をPOST
- 62. 62 Machine Learning を使用してみて かんたんに使えるの？ • 簡単なジョブ登録（異常検知に特化、教師なし機械学習） • Kibanaで可視化しているデータならすぐに導入可能 ちゃんと検知してくれるの？ • 障害時にはほぼ検知 • 可視化しても人間では見つけられない埋蔵した異常を検知 1 2
- 63. 63 気付き① 母数の少ない決済手段や加盟店の場合、1人のユーザが数 回エラーを起こすだけで異常検知されてしまう。 typial: 0.0425519 actual: 5 ↑More than 100x higher 検知される回数はそれほど多くないため その都度問題がないことを確認する運用
- 65. 65 気付き③ Alert通知用 Watcher JSON の設定が難しい つらい アップデート毎に改善 V6.0からGUIで設定可能
- 67. 67 X-pack Notification X-pack Database Web API Machine Learning Logstash Elasticsearch Kibana Watcher Master Data オンライン決済サービス Elastic Stack構成
- 68. 68 X-pack Notification X-pack Database Web API Machine Learning Logstash Elasticsearch Kibana Watcher Master Data オンライン決済サービス Elastic Stack構成 一般的なよくある構成 DataノードとMLノードを分けている点
- 69. 69 ビジネスデータの可視化
- 72. 72 ダッシュボード（営業部門 目標達成率 – 2年分） ヒートマップ 縦軸に人の名前 1マスが月ごとの目標達成率を示す
- 73. 73 ダッシュボード（加盟店契約 獲得状況 – 年間） リージョンマップ 加盟店所在地を都道府県別にカウント
- 74. 74 ダッシュボード (HPアクセス数の分析 - 週間)
- 76. 76 データの取り込み 誰でもデータ登録できるようにクライアントツールを作成 ‒ Excelファイルをクライアントツールにドラッグ&ドロップするだけでデータ登録 ‒ クライアントツールはJavaFXで作成 ‒ Elasticsearchから提供されているClientライブラリを使ってBulk登録 Excelファイルの 1 sheet を 1 index として登録
- 77. 77 効果 • Kibanaの表現力、簡単な操作で より詳細な分析が可能に • Excelでは扱えない大きなデータも可視化、share機能で共有可能に • 非エンジニアがデータの投入からダッシュボードの作成までできるように
- 78. 78 本日のまとめ
- 79. 79 本日のまとめ • 決済サービスの状況をほぼリアルタイムで可視化 ‒ 誰でもいつでもどこでもサービス状況を把握、俯瞰できるように ‒ 既存データの活用、データの価値が高まった • Machine Learningで決済トランザクションの異常検知 ‒ 可視化だけでは埋蔵してしまう変化を新たに発見 ‒ MLが有益な機能であることを確認 ‒ 決済サービスの不正利用検知 ‒ 脱しきい値 • 可視化をビジネスデータに広げる ‒ Kibanaの表現力とかんたんな操作で様々な角度で分析 ‒ Excelでは扱えない大きなデータも可視化、共有可能 ‒ 非エンジニアがデータの投入からダッシュボードの作成まで