Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hortonworksが提供する データ活用方法の紹介

OSC .enterprise 2016で発表した「Hortonworksが提供するデータ活用方法の紹介」の資料

  • Login to see the comments

Hortonworksが提供する データ活用方法の紹介

  1. 1. 1 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworksが提供する データ活⽤⽅法の紹介 ビッグデータの収集、蓄積、分析プラットフォーム ホートンワークスジャパン 北瀬 公彦
  2. 2. 2 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 北瀬 公彦 KIMIHIKO KITAsE http://blogs.itmedia.co.jp/kkitase @kkitase 2016年6⽉、ホートンワークスジャパンに⼊社。 ビッグデータの収集、蓄積、分析基盤製品のマーケティ ングを担当。⼊社前、⽶Data Science Dojoが開催する データサイエンティスト養成講座に参加するも、全く畑 の違う分野で悪戦苦闘。開き直って、初⼼者に優しい データの利活⽤術をお伝えしようと考えている。 facebook.com/kkitase
  3. 3. 3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 出所:第27回産業競争⼒会議 2016.5 政府は2016年5⽉19⽇、第27回 産業競争⼒会議を開催し、名⽬ 国内総⽣産(GDP)600兆円に向 けた成⻑戦略(「⽇本再興戦略 2016」)の素案を公表しました。 新たな有望成⻑市場の創出では、 IoT・ビッグデータ・AI・ロボッ トなどによる第4次産業⾰命の 実現で2020年には30兆円の付加 価値創出を⽬指しています。 ⽇本再興戦略2016 〜第4次産業⾰命の実現〜
  4. 4. 4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks® の顧客は、新たなビジネス⽬標を達成する、コストを削減することのいずれか の理由で当社の技術を利⽤しています。 Customer Journeyは、弊社が保持する多くのユースケースを案内する事によりお客様のニー ズに応えます。 ソーシャル マッピング リスク評価 テレマト リックス ロス コントロー ル コール分析 センサー データ 製品設計 M & A デューデリ ジェンス レコメン デーション サイバー セキュリ ティ リスク モデリング リスクアペ タイト ロスコント ロール Cat モデル 調査計画 ⽀払い請求 深刻度 カスタマー サポート センチメン ト分析 リスク分析 広告掲載 ⽀払い請求 分析 セグメン テーション クロス セル 顧客維持 代理店 スコアカー ド 不正調査 運⽤コスト 削減 メインフ レームのオ フロード 履歴レコー ド サービス としての データ パブリック データ取得 不正予防 デバイス データ 取り込み ⾼速レポー ティング デジタル 保護 不正緩和 ⽀払い能⼒ 分析
  5. 5. The Data Journey to Safe Roads
  6. 6. 6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Case Study Progressiveʼs Journey Progressiveは、IoTデータを元に「使⽤ベース」保険商品のリスク予 測を⾏いたい Ã Progressive Snapshotは、⾞載センサーデバイスから運転データを送信し、 使⽤ベースの保険を提供 Ã ドライバーから収集された最⼤6ヶ⽉分のデータは、規制の要件に従い、数 年間アーカイブする必要がある Ã Progressiveの既存のシステムでは、効率的にスケールすることができない Ã 5⽇から7⽇かけても、UBIデータの25%しか流し込むことができない *UBI – User Based Insurance
  7. 7. 7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Progressiveʼs Journey 安全なドライバへの優遇と 交通安全の向上 Ã Snapshot plug-in デバイスは運転の詳 細を収集 Ã Progressiveは、1000万マイル以上の 運転データを保存 (約1600万Km) Ã Webアプリ経由で、顧客は⾃⾝の運転 詳細を⾒ることができ、安全向上に努め ることが可能 Ã Snapshotとusage-based insurance は2014年には、Progressiveに2.6 億ド ルの貢献(約273億円) Innovate Renovate Safe Roads Claims Notes Mining Individual Driving Histories Usage-Based Insurance (UBI) Web Log Analysis Online Ad Placement Sensor Data Ingest
  8. 8. 8 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
  9. 9. The Data Journey for Cyber Security
  10. 10. 10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Symantec’s Journey Analyzing Streaming Threat Data to Increase Velocity for Time to Protection à Symantec™ Global Intelligence Network は、157カ国 で、5700万以上の攻撃を検知している à 1億2000万以上のデバイス、7500万ユーザーからのデー タストリーム à 旧来のプラットフォームはデータ処理に3〜4時間かかって いた
  11. 11. 11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Symantec’s Journey Digital Security Metadata Capture Threat Predictions Attacker Detection Unified Security Security Log Analysis Threat Archive Device Data Ingest Threat Detection Greenplum Offload Innovate Renovate Data Science Speeds Time to Protection à 驚異検出時間が4時間から2秒に à 防御回数が5000倍に à 10ペタバイト以上のデータを 使って機械学習した結果、驚異 予測が可能に à AmbariとCloudbreakを使って クラスターを管理
  12. 12. Hortonworks - 急速な成⻑拡⼤:顧客数およびパートナー Hadoopを早くから導⼊されたお客様も Hortonworksのディストリビューションを採⽤ 1,600を超えるエコシステムパートナー Hortonworks テクノロジーパートナー Hortonworksについて • 100%オープンソース • 会社設⽴3年⽬で株式公開 • 顧客数 800社以上(*2015年 Q4) Connected Data Platforms のリーダ • Hortonworks Data Platform - HDP: さまざまなデータを保存する (data at rest) • Hortonworks DataFlow - HDF: リアルタイムのデータを扱う(data in motion) • Powering new modern data applications: モダンデータアプリケーションの活性 開発 & データツール インフラストラクチャ オペレーションツール RDBMSEDWMPP データシステム 分析ツール & アプリケーション BusinessObj ects BI Microsoft Analytics Platform System
  13. 13. 13 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Apache Communityへの貢献 コミッターの多くがHortonworksの社員です。 Apache Hadoop プロジェクトに関わるコミッター の約1/3はHortonworksの社員です。Apache NiFiの ⼤半を始めとする多くの重要なプロジェクトに関 わっています。 コミッターはコネクティッド・データプラット フォームを改良し、⾰新を続けています。 Hadoopのロードマップに関わっています。 コミュニティに対し、重要なリクワイアメントを⾔ える⽴場にいます。 1,500を超えるエコシステムパートナー Hortonworks テクノロジーパートナー 専⾨家集団: 開発に深く携わるコア・メンバーにより構成 Hortonworks はApache Community に⾮常に深く関与しています。
  14. 14. 14 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks が提供するソリューション Connected Data Platform • HadoopはData at Rest(蓄積されたデータ)の基礎 • IoTの登場により、Data in Motion(流れているデータ)の必要性 • モダンデータアプリケーションはData in MotionとData at Restの両 ⽅のデータを利⽤してお客様の価値を最⼤化 • 最適な保険料⾦の選定システム • 故障予測サービス • サイバーセキュリティ • その他のインダストリーアプリなど
  15. 15. 15 © Hortonworks Inc. 2011 – 2016. All Rights Reserved データの蓄積、分析プラットフォーム Hortonworks Data Platform (HDP) YARN: Data Operating System クリックストリーム センサー ソーシャル モバイル 位置情報 サーバーログ バッチ インタラクティブ サーチ ストリーミング マシンラーニング 既存データ
  16. 16. 16 © Hortonworks Inc. 2011 – 2016. All Rights Reserved runs on ETL RDBMS Import/Export Distributed Storage & Processing Framework Secure NoSQL DB SQL on HBase NoSQL DB Workflow Management SQL Streaming Data Ingestion Cluster System Operations Secure Gateway Distributed Registry ETL Search & Indexing Even Faster Data Processing Data Management Machine Learning Hadoop Ecosystem
  17. 17. 17 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks Data Platform
  18. 18. Page18 © Hortonworks Inc. 2011 – 2015. All Rights Reserved HORTONWORKS DATA PLATFORM Hadoop &YARN Flume Oozie HDP 2.3 is Apache Hadoop; not “based on” Hadoop Pig Hive Tez Sqoop Cloudbreak Ambari Slider Kafka Knox Solr Zookeeper Spark Falcon Ranger HBase Atlas Accumulo Storm Phoenix 4.10.2 DATA MGMT DATA ACCESS GOVERNANCE & INTEGRATION OPERATIONS SECURITY HDP 2.2 Dec 2014 HDP 2.1 April 2014 HDP 2.0 Oct 2013 HDP 2.2 Dec 2014 HDP 2.1 April 2014 HDP 2.0 Oct 2013 0.12.0 0.12.0 0.12.1 0.13.0 0.4.0 1.4.4 1.4.4 3.3.23.4.5 0.4.00.5.0 0.14.0 0.14.0 3.4.6 0.5.0 0.4.00.9.30.5.2 4.0.04.7.2 1.2.1 0.60.0 0.98.4 4.2.0 1.6.1 0.6.0 1.5.21.4.5 4.1.02.0.0 1.4.0 1.5.1 4.0.0 1.3.1 1.5.1 1.4.4 3.4.5 2.2.0 2.4.0 2.6.0 2.7.1 1.4.6 1.0.0 0.6.0 0.5.02.1.00.8.2 3.4.61.5.25.2.1 0.80.0 0.5.01.7.04.4.0 0.10.0 0.6.10.7.01.2.10.15.0 HDP 2.3 Oct 2015 4.2.0 0.96.1 0.98.0 0.9.1 0.8.1 1.4.1 1.1.2 2.7.3 1.4.6 1.3.0 0.9.0 0.6.02.4.00.10.0 3.4.61.5.25.5.1 0.91.0 0.7.01.7.04.7.0 1.0.1 0.10.00.7.0 1.2.1+ 2.1*** 0.16.0 HDP 2.5* 2H2016 4.2.0 1.6.2+ 2.0** 1.1.2 2.7.1 1.4.6 1.2.0 0.6.0 0.5.02.2.10.9.0 3.4.61.5.25.2.1 0.80.0 0.5.01.7.04.4.0 0.10.0 0.6.10.7.01.2.10.15.0 HDP 2.4 Mar 2016 4.2.01.6.0 1.1.2 Zeppelin Ongoing Innovation in Apache 0.6.0 * HDP 2.5 – Shows current Apache branches being used. Final component version subject to change based on Apache release process. ** Spark 1.6.2+ Spark 2.0 – HDP 2.5 support installation of both Spark 1.6.2 and Spark 2.0. Spark 2.0 is Technical Preview within HDP 2.5. *** Hive 2.1 is Technical Preview within HDP 2.5.
  19. 19. 19 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Ambari(クラスタ管理)
  20. 20. 20 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Ambari(SQLクエリ)
  21. 21. 21 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hive performance http://hortonworks.com/blog/announcing-apache-hive-2-1-25x-faster-queries-much/ LLAP: http://www.slideshare.net/techblogyahoo/hivellap
  22. 22. 22 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Apache Zeppelin (データサイエンティスト向けUI)
  23. 23. 23 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Demonstration Hortonworks Data Platform (HDP) 1. クラスタの管理 – Ambari (クラスタ管理), Hive(Hadoop SQLエンジン), Ranger (監査) 2. オーストラリア州の納税額を使ったデータ分析 – Zeppelin (データ分析ツー ル)
  24. 24. 24 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks DataFlowとHortonworks Data Platformにより、 ビックデータ基盤のエンド・ツー・エンドソリューションを提供します。 Hortonworks Data Platform powered by Apache Hadoop Hortonworks Data Platform powered by Apache Hadoop Enrich Contex t Store Data and Metadata Internet of Anything Hortonworks DataFlow powered by Apache NiFi 動的・鮮度が 重要な⾒識 静的・過去データ による⾒識 Connected Data Platform データ収集プラットフォーム
  25. 25. 25 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Lambda (λ) Architecture
  26. 26. 26 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Ingestion Simple Event Processing Engine Complex Event Processing Destination Data Bus Build Predictive Model From Historical Data Deploy Predictive Model For Rea-time Insights Perishable Insights Historical Lambda (λ) Architecture
  27. 27. 27 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworks DataFlow
  28. 28. 28 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 過去8年間にNSAによっ て開発 「NSAのイノベーターは、 考えられる中で最も困難 な国家安全保障の問題の ⼀部に取り組んだ」 「商業エンタープライズ は、これを利⽤して地理 的に 離れたサイトからの情報 フローを迅速に制御、管 理、分析し、総合的な状 況認識を⽣み出すことが できる」 -- NSAディレクター Linda L. Burger⽒ 国家安全保障局が開発したNiFi
  29. 29. 29 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 130以上のシステムとの連携が可能 HTTP Syslog Email HTML Image Hash Encrypt Extract TailMerge Evaluate Duplicate Execute Scan GeoEnrich Replace ConvertSplit Translate HL7 FTP UDP XML SFTP Route Content Route Context Route Text Control Rate Distribute Load AMQP
  30. 30. 30 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Demonstration Hortonworks DataFlow (HDF) 1. Twitterのリアルタイム分析 - NiFi, Solar
  31. 31. 31 © Hortonworks Inc. 2011 – 2016. All Rights Reserved クラウド環境での利⽤ - Azure編
  32. 32. 32 © Hortonworks Inc. 2011 – 2016. All Rights Reserved クラウド環境での利⽤ - AWS編 http://hortonworks.com/blog/quickly-launch-hortonworks-data-platform-amazon- web-services/
  33. 33. 33 © Hortonworks Inc. 2011 – 2016. All Rights Reserved クラウド環境での利⽤ - OpenStack編 (Rakspace)
  34. 34. 34 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworksが提供する付加価値 Hortonworks の専⾨知識と経験 Apache Hadoop と Apache NiFiのオリジナルアーキテクトが 在籍 Annual Subscriptions 年間サブスクリプションの提供による、状況に柔軟な対応 Apache Committers お客様からの要望を聞き、お客様が⽬的を達成するためのロー ドマップ作成の協⼒ Expert Consulting & Training お客様⾃⾝が実現可能なインテリジェンスをできるだけ効率よ く培うことの⼿助け Hortonworks SmartSense™ 機械学習をベースとした提案型クラスター環境の ⾃動アドバイスサービス Integrated Customer Portal 豊富なナレッジベースと、1000時間を超える WEBベースのトレーニングコンテンツ STORAGE STORAGE ARCHITECT & DEVELOP DEPLOY OPERATE Projec t 1 Projec t 5 Projec t 4 Projec t 3 Projec t 2 Projec t 6 EXPAND プロアクティブなサポート ナレッジ ベース Integrated Customer Portal オンデマン ド トレーニン グ Customer EnvironmentAny cloud • Hybrid Environment • Multi-tenant Hortonworks SmartSense ライフサイクルのサポート
  35. 35. 35 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Hortonworksを始める為の5ステップ 1. Hortonworksサンドボックスを試す hortonworks.com/sandbox 2. チュートリアルを試す hortonworks.com/tutorials 3. Future of Data 勉強会に参加する futureofdata.connpass.com 4. Hortonworks Community Connect (HCC)に参加する hortonworks.com/community 5. サポートサービスを検討する http://hortonworks.com/support
  36. 36. 36 © Hortonworks Inc. 2011 – 2016. All Rights Reserved 26-27 OCTOBER TOKYO, JAPAN http://hadoopsummit.org/tokyo 只今、早期割引チケット販売中 お問い合わせ: kkitase@hortonworks.com

×