Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Alibaba Cloud データ分析力の紹介&Log Serviceで収集・可視化・異常検知・レポーティングする

Alibaba Cloud Log Serviceのプロダクトサービス紹介、およびLog Serviceを使った実用的な利用方法を簡単にまとめています。

  • Be the first to comment

Alibaba Cloud データ分析力の紹介&Log Serviceで収集・可視化・異常検知・レポーティングする

  1. 1. ©︎ 2020 SB Cloud Corp. Alibaba Cloud データ分析力の紹介& Log Serviceで収集・可視化・異常検知・レポーティングする SBクラウド株式会社 データエンジニア 大原陽宣 2020/02/12
  2. 2. こんな人です 2 大原 陽宣 / Ohara Hironobu SBクラウド 株式会社 クラウド技術課 データエンジニア(と言いフルスタックエンジニア) ✓ Alibaba Cloudの技術や最先端技術・情報を導入展開 ✓ BigData&Database&機械学習全般の仕様やアーキテクチャ、 研究開発、ベストプラクティス展開 ✓ 仕組みの整備(雑用が多いです) ✓ Hadoop歴9年、Oracle Master Gold、元無線エンジニア ✓ React も iOS(Objective-C)も C++も書きます 好きな技術 ・In-Database Analytics ・Native Distributed Analytics Architecture ・Dependency Analysis ・分散技術(Spark、Kafka、Flink、Giraph、Impala、MPP、etc)
  3. 3. こんなことを書いたりしていました。 3最新版も出しましたので是非チェックしてくださいね。
  4. 4. 今更ですがAlibaba Cloudの強さって? 4 Big Data Infrastructure E-commerce Marketing Mobile app PC website Entertainment SNS Health&life Map&auto Logistics サービスインフラ & データ活用基盤 MAU7億人超の巨大サービスを複数動かすクラウド基盤 設計思想は「絶対落ちない」と「データ活用」
  5. 5. 第三者機関でも公認のワールドクラス・インフラクチャー 5 OLTP OLAP DBaaS BigData/Databaseはワールドクラスの技術力です。
  6. 6. Alibaba Cloudによるデータ分析(活用)の実績※国際サイト 6 50社を超える導入実績 + 400% + 250% 30000人 $5万ドル賞 - 90% 100ヶ国 処理速度が速いため、 パフォーマンスが400% 向上しました。kingsouq 分析基盤によって世界 中にいる30000人を超 える従業員を結び付け ます。周大福 AlibabaCloud導入により 運用保守コストが90%も 削減しました。Yao App スケーラビリティと弾力性 が高く、AWSからマイグレ して大満足。Greendify AlibabaCloudによる機械 学習を使用した従業員 分析ソリューションで5万米 ドルの賞を受賞。CXS 膨大な量によるさまざまな構造 の顧客データを分析し100か国 以上で自動化管理事業を 実現。schneider https://www.alibabacloud.com/ja/customers/greendify https://www.alibabacloud.com/ja/customers/yao-app https://www.alibabacloud.com/ja/customers/chow_tai_fook https://www.alibabacloud.com/ja/customers/cxs https://www.alibabacloud.com/ja/customers/chow_tai_fook https://www.alibabacloud.com/ja/customers/schneider
  7. 7. Alibaba Cloudによるデータ分析プロダクト 7 集積系収集系 OLTP/OLAP系 解析系Streaming系 Log Service ECS E-MapReduce Table Store AnalyticDB for PostgreSQL Realtime Compute E-MapReduce Log Service E-MapReduce Log Service E-MapReduce MaxCompute DataV Elasticsearch E-MapReduce AnalyticDB for PostgreSQL Function Compute Log Service AnalyticDB for MySQL
  8. 8. Alibaba Cloudによるデータ分析プロダクト 8 集積系収集系 OLTP/OLAP系 解析系Streaming系 Log Service ECS E-MapReduce Table Store AnalyticDB for PostgreSQL Realtime Compute E-MapReduce Log Service E-MapReduce Log Service E-MapReduce MaxCompute DataV Elasticsearch E-MapReduce AnalyticDB for PostgreSQL Function Compute Log Service AnalyticDB for MySQL 今日はLog Serviceを話します。
  9. 9. SIEM(Security Information and Event Management) 9 ログ収集・ 蓄積 ルールに基づく 相関分析 SIEM (Security Information and Event Management) 結果出力 サーバ (Web、DB、API) スマホ (アプリ、Web、SNS) ネットワーク機器 (SysLog、セキュリティ) ファイアウォール (IPS、IDS) SIEMは様々なフォーマットによるLogを収集・蓄積し、分析を行うシステム。 代表例として、Splunk、ESM、ACE、SIEMなどが挙げられます。 IoT (PosLog、SensorLog) マイクロサービス (コンテナ、Action、 EventLog )
  10. 10. システムアーキテクチャの多様多種・複雑化 10 サーバ (Web、DB、API) スマホ (アプリ、Web、SNS) ファイアウォール (IPS、IDS) IoT (PosLog、SensorLog) マイクロサービス (コンテナ、Action、 EventLog ) ネットワーク機器 (SysLog、セキュリティ) フロントエンド ネットワーク セキュリティ インフラ PC (ブラウザ、画面UI、操作イベント) DDoS (Layer4,7 Attack) CDN (EventLog、IP Address) それぞれの機能を監視するのも専門知識が必要であり、可視化しづらい
  11. 11. それを解決するのがAlibaba Cloud Log Service 11 サーバ (Web、DB、API) スマホ (アプリ、Web、SNS) ファイアウォール (IPS、IDS) IoT (PosLog、SensorLog) マイクロサービス (コンテナ、Action、 EventLog ) ネットワーク機器 (SysLog、セキュリティ) フロントエンド ネットワーク セキュリティ インフラ PC (ブラウザ、画面UI、操作イベント) DDoS (Layer4,7 Attack) CDN (EventLog、IP Address) Log Service Alibaba Cloud Log Serviceは様々なLogを 収集・蓄積・可視化・分析・監視することができます。
  12. 12. Log Serviceのワークフロー 12 収集 蓄積 分析 可視化
  13. 13. Log Serviceの顧客事例 13 Game Web フィナンス リテール Eコマーズ 教育 主な利用方法 ✓ ログ収集管理 ✓ ログから運用保守 ✓ データウェアハウス構築 ✓ リアルタイム監視と分析 ✓ ログ監査とセキュリテイ分析 ✓ etc..
  14. 14. 様々なLogデータから価値を作り出す 14 error_log syslog:server=192.168.10.120 debug; access_log syslog:server=unix:/var/log/nginx.sock,nohostname; access_log syslog:server=[2020:db1::1]:236115,facility=local7,tag=nginx,severity=info combined; {"created_at":"Mon Aug 10 18:17:09 +0000 2019","id":1120391103813910529,"id_str":"1120391103813910529","text":"On peut dire que la base de cette 8e saison est en place ¥ud83d¥ude4c #GOTS8E2","source":"¥u003ca href=¥"http:¥/¥/twitter.com¥/download¥/iphone¥" rel=¥"nofollow¥"¥u003eTwitter for iPhone¥u003c¥/a¥u003e","truncated":false,"in_reply_to_status_id":null,"in_reply_to_status_id_str":null,"in_reply _to_user_id":null,"in_reply_to_user_id_str":null,"in_reply_to_screen_name":null,"user":{"id":243071138,"id_str" :"243071138","name":"Mr","screen_name":"skeyos","location":"Namur","url":null,"description":null,"translator_ty peli_count":6,"favourites_count":7826,"statuses_count":8044,"created_at":"Wed Jan 26 06:49:05 +0000 +----+-------+-----+-----+---------+-----+ | ID | name | ago | city | country | SID | +----+-------+-----+-----+---------+-----+ | 1 | ohar | 25 | osaka | JPANA | 1 | | 2 | ushi | 33 | tokyo | USA | 2 | +----+-------+-----+-----+---------+-----+ SysLog(フォーマットが決まっていない) JSON(半構造体、ワイドカラム型もあり) Table型(非構造体)
  15. 15. 様々なLogデータをLog Serviceへ取り込むことで分析・可視化 15 Log Service Log Serviceはテキスト形式であればなんでも対応可能 (欠損の多いlogでもRDBレコード・DBシステムlogでも位置情報logでもOK)
  16. 16. Log Service利用シーン 16 アプリケーション開発 DevOps アクセス履歴 運用監視 セキュリティ BI Tool Webサイト分析 SysLog分析 ビジネス分析 IoTDDoSkubernetes Alibaba Cloud Log Service Log Service RDB分析 API 他社クラウド オンプレミス
  17. 17. Log Serviceの構成 17 Log Hub Log Search / Analytics Log Shipper
  18. 18. Log Serviceの構成 18 Log Hub Log Search / Analytics Log Shipper
  19. 19. LogHub:多様多種なデータをリアルタイムで収集 19 • 30種類以上のデータソースからリアルタイムで データ取得を実現 • 13言語以上のSDKにiOS/Androidも対応 • logtailにより様々なプラグインをサポート • 他社クラウド、オンプレミスも取得可能 • データ前処理やデータ欠損のハンドリングが可能 • ストレージ容量上限はなく、無制限に保存可能 ※日付が古いと削除されるライフサイクル設定も可能 • ストレージはElasticsearchより55%ほど高圧縮 • ストレージ代はUS0.002875$/GB/dayと低コスト Log Hub Log Store
  20. 20. Log Serviceの外部拡張機能 20 https://www.alibabacloud.com/help/doc-detail/112902.htm  Open Sourceの分散ストリーム処理Platform  大量のデータを高パフォーマンス・低レイテンシで リアルタイムなデータ転送処理を実現  最低一回重複するものメッセージの到着管理を 行う 「At Least Once」搭載  スケールアウトな構成・永続化をサポート  Elastic社が提供するデータ収集エンジン  リアルタイムなデータパイプライン処理  異なる種類のデータを統一的なフォーマットへ 変換して任意の転送先へ  データクレンシングや分析、3rdパーティサービス 連携などデータHub代わりに利用 https://kafka.apache.org/ https://www.elastic.co/guide/en/logstash/7.5/introduction.html https://yq.aliyun.com/articles/631226 https://www.alibabacloud.com/help/doc-detail/49019.html Logstash Apache kafka
  21. 21. Solution:オンプレミスのRDBレコードからの可視化 21 POS 発注用端末 店舗 販売管理システム店舗 Log Service 仕入先端末 仕入先 仕入先 ※jdbcドライバ接続 オンプレミス
  22. 22. Log Serviceの構成 22 Log Hub Log Search / Analytics Log Shipper
  23. 23. Log Search/Analytics:検索・分析機能 23 SQL入力 イベント タイムライン PJ名 簡易検索機能
  24. 24. 100億レコードから検索しても数秒以内への返却が可能 24 Search/Analytics Context Lookup Live Tail LogReduce Webhook / 通知 アラート発信 機械学習による 予測・診断・分析 インタラクティブな分析 • スケーラビリティ • PBレベルまでのデータを対象に検索が可能 • 99.99999%の高可用性 • 検索に様々なオプションクエリ・関数を搭載 • ex:地図マッピング、最短距離、URL抽出、 比較差分、推定機能、型変換関数 etc • 高速処理性能 • 1つので秒間数百万のRead/Search • 数GB/秒のスループットでインデックス再設定 • クエリ投与して5秒以内への返却が可能 • 低コスト • 検索料金は対象データが500MB以上であれば US 0.0875$/GB(500MB未満なら無料) ※参考: Splunkは10GB/dayで年間約250万円程を考えると低コスト
  25. 25. Splunk、EK(Elasticsearch/Kibaba)との比較 25
  26. 26. OSSにあるデータとJoinしながら相関分析も可能 26 https://yq.aliyun.com/articles/613365 https://www.alibabacloud.com/help/doc-detail/128643.htm ※ちなみにRDS for MySQLとJoinし分析もできますが、 2020/02/12 現時点で日本リージョンは未対応。。 * | create table user_meta( userid bigint, nick varchar, gender varchar, province varchar, gender varchar, age bigint ) with ( endpoint = ‘oss-ap-northeast-1.aliyuncs.com’ , accessid=‘xxxxxxx’, accesskey=‘yyyyyyy’, bucket=‘testoss’, objects=ARRAY[‘user.csv’], type=‘oss’) * | select u.gender, count(1) from accesslog a join user_meta1 u on a.userid = u.userid group by u.gender Log Store OSS SQL
  27. 27. 収集したデータから異常検知・予測も可能 27時系列予測・異常検知・相関分析など20種類以上のアルゴリズムを実装
  28. 28. Log Serviceに付帯してる機械学習機能 28 分析内容 説明 Holt Winters分析 時系列の変動にトレンドと季節変動を追加し、それぞれの指数平滑の重ね合わせを期待値として算出 FIR分析 FIR(Finite Impulse Response 有限インパルス応答)システムを応用したフィルタ、ある入力に対する予測を算出 IIR分析 IIR(Infinite Impulse Response 無限インパルス応答)システムを応用したフィルタ、ある入力に対する予測を算出 マルチサイクル推定 セグメンテーション(市場の細分化)においてパターンから推定 変化点検出機能 変化点をエンドポイントとして検出 変化点最大距離検出機能 時系列で統計が急激に上昇または下降したポイントを検出 最大値検出機能 指定されたウィンドウ内での最大値を検出 予測および異常検出機能 簡単なタイミング予測と外れ値の検出 自己回帰モデルによる予測および異常検出機能 自己回帰モデルを使用したタイミング予測と外れ値の検出 移動自己回帰モデルによる予測および異常検出機能 移動自己回帰モデルを使用したタイミング予測と外れ値の検出 自己回帰モデルを使用した予測および異常検出機能 自己回帰モデルを使用した簡単なタイミング予測と外れ値の検出 周期的なトレンドに基づいた予測 周期的なトレンドに基づいた長期的なタイミング予測 シーケンス分解分析 時系列データを分離し、優先度付けに順序をつけて算出 密度クラスタリング分析 複数の時系列データを密度クラスタリングで分析 階層的クラスタリング分析 複数の時系列データを階層的クラスタリングで分析 曲線クラスタリング分析 指定した曲線名に類似した曲線を見つけます。 頻繁なパターン統計分析 特定の多属性フィールドで属性の代表的な組み合わせによる分析 差分モードの統計 指定された条件下で2つのセットの違いを引き起こしたパターンを分析 根本原因分析機能 時系列インジケーターで異常が発生すると、根本原因分析機能は、どの関連ディメンション属性が異常であるかを迅速に分析し、モニター インジケーターを異常にすることができます。 相関分析機能 システム内の複数の観測値のインジケーターアイテムに関連付けられているインジケーターの名前をすばやく見つけます。 時系列での相関分析機能 システム内の複数の観測に対してユーザーが入力した時系列に関連付けられているインジケーターの名前をすばやく見つけます。
  29. 29. 定期レポートはWebhook経由でdingtalkでもメールでもチェック可能 29
  30. 30. Log Serviceの構成 30 Log Hub Log Search / Analytics Log Shipper
  31. 31. Log Shipper:Log Service内データを分析プロダクトサービスへ 31 • リアルタイムで様々な出力先へ • OSSへ出力し蓄積->E-MapReduce • TableStoreへ出力->NoSQLプロダクト連携 • MaxComputeへ出力、そのままHTAP処理 • SIEM(Splunkなど)へ出力も可能 • SIEM出力時はHTTPS、Syslog経由で転送 • text、log、レコード、様々なデータを簡単にETL • CSV • JSON • HDFS(Parquet)・・・圧縮有無も可 • カスタムETL設定やリアルタイム処理をサポート • 出力における料金は一切なし(無料) Log Service OSS E-MapReduce Max Compute ETL処理 CSV / JSON / HDFS(Parquet) Tableへ同期 (以降差分だけ送信可) HiveやSpark、 Impalaで分析 Log Store
  32. 32. 外部へ出力する前にログのクレンシングも可能 32 Function Computeでクレンシング LogHub内にてLogStoreから 別のLogStoreへETL https://www.alibabacloud.com/help/doc-detail/128183.htm https://www.alibabacloud.com/help/doc-detail/128657.htm
  33. 33. 他社データソースとの接続分析例 データソース Log Service 収集・可視化 アドホック分析 (分析) AnalyticDB for PostgreSQL 定例分析 (POS分析) AnalyticDB for PostgreSQL 蓄積 OSS BI ツール DataV 他社 RDBMS Amazon Redshift JDBC Driver (LogStashで接続) LogStashなしでも、 Flume on LogServiceで 取り出しも可能 csv オンプレミス、他社クラウドサービスのデータを取得し、OSSへ CSVとして保存。そのあとはAnalyticDBなどで分析。
  34. 34. リアルタイムプロモーション・分析例 収集 処理 蓄積・処理 リアルタイム分析 (自動レポーティング) Log Service Realtime Compute Table Store データソース SNS その他API Webアクセス 入店情報(IoT) 3rd Party (クーポン配信、SNS、etc) ECS Function Compute Clienttext/message text/message text/message Log Serviceはどのデータソースでもリアルタイム収集することができるので、Realtime Computeと連携してリアルタイムプロモーションやリアルタイム分析が出来ます。
  35. 35. Solution:Webの分析・監視・可視化 35
  36. 36. Solution:IoTの分析・監視・可視化 36
  37. 37. Solution:DDoSの分析・監視・可視化 37
  38. 38. Solution:OSSアクセス・静的Webサイトの分析・可視化 38
  39. 39. コロナ問題も現状を共有ダッシュボードでレポーティング 39 https://1340796328858956.cn-shanghai.fc.aliyuncs.com/2016-08- 15/proxy/demo/slsconsole/?redirect=true&type=2020
  40. 40. Log ServiceのDemoサイト 40 https://www.alibabacloud.com/help/doc-detail/70029.html http://logdemo.oss-cn-beijing.aliyuncs.com/#/ http://47.96.36.117/redirect.php?spm=5176.11777732 .1159318.2.63727a340afEDJ&type=26&amp ;amp;amp;amp;amp;amp;amp;amp;redirect=true 作成Demo negixやOSS、DDoS攻撃情報などのDemo 機械学習による分析Demo
  41. 41. THANK YOU & QUESTION? 41

×