Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 社内外のデータを徹底的に活用する！
Similar to 社内外のデータを徹底的に活用する！ (20)
社内外のデータを徹底的に活用する！
- 1. TalendとActuateでビッグデータ資産をセキュアに活用する方法 社内外のデータを徹底的に活用する！ ～データドリブン経営を実現するTalendのご紹介～ Talend株式会社 マーケティングディレクター 寺澤慎祐 1 © Talend 2014 © Talend 2014 2014.Jan
- 2. 本日、お伝えしたいこと ! なぜ、Talendがデータドリブン経営？ ! なぜ、データドリブン経営が重要？ ! なぜ、いまデータドリブン経営？ 2 © Talend 2014
- 3. 2005 フランスにて二人のエンジニアが創業 Bertrand Diard Fabrice Bonan Co-Founder and CSO Co-Founder and CTO ベルトランド・ディアド 3 © Talend 2014 ファビルス・ボナン
- 4. INVESTOR ビジネスインテリジェンスツール、 データ統合ツールのパイオニアが投資 Bernard Liautaud Peter Gyenes Business Objects Founder Ascential Software Founder ベルナード・リオトー 4 © Talend 2014 (現SAP) ピーター・ジェニス (現IBM)
- 5. 128% 前年度比売上成長率 5 © Talend 2014 2007 2008 2009 2010 2011 2012
- 6. 20,000,000 ダウンロード数 6 © Talend 2014
- 7. 1,000,000 ユーザ数 7 © Talend 2014
- 8. 4,000 導入企業数 8 © Talend 2014
- 9. OPEN ソースコード、ビジネス 9 © Talend 2014
- 10. 45,000 コミュニティメンバー 10 © Talend 2014
- 11. 1,500 品質テスター 11 © Talend 2014
- 12. 500+ アダプター 12 © Talend 2014
- 15. データドリブン経営 15 © Talend 2014
- 18. データドリブン経営の仕組み フィードバック 情報 ソース ERP RDBMS 仮説 【勘】 【経験】 既知の ナレッジ アウトプット レポート 分析 新発⾒見見 ダッシュボード インサイト by データ サイエンティスト プランニング アクション トラッキング SNS HADOOP アクション データ統合 データ処理理 ⼈人による 意思決定 モニタリング 指標 分析ツール ⾃自動判定 イベント処理理 OPEN DATA 何が起きたか？ いつ、だれが どこで、いくら？ 18 © Talend 2014 何が起きるか？ どんなインパクトが？ ポテンシャルシナリオ ベストチョイス
- 19. データドリブンのデータはビックも（が）必要 ビッグデータ 社会活動から発生（主に社外に蓄積） これまでは得られなかったデータ 質の良い 非構造化データ • • • • • • • • 動画／画像データ ドキュメントデータ 音声データ ゲノムデータ テキストデータ SNSデータ クリックストリーム センサーデータ • GPS、ETC、生体 • 株価、為替、他 質の良い 構造化データ 業務プロセス から発生 （主に社内に蓄積） 19 © Talend 2014 • • • • 財務データ 販売データ 物流データ 顧客データ、他
- 21. Talendはビッグデータを活用する データドリブン経営を支援します 勘と経験に 頼った意志決定 もっとも売れている商品（現在の実力） 今後売り上げが伸びる商品（将来性） 何かがあると必ず売れる商品（確実性） 社内データ による分析 に頼った 意思決定 いつも一定して売れる商品（着実性、安定性） ときどきよく売れる商品（一過性、断続性） 勘と経験だけで競争に勝てるか？ 従来の統合技術で勝てるか？ 21 © Talend 2014 ビッグデータ も含めた社内外の INTELLIGENCE データに基づいた 意思決定 データに基づいた方が勝てる 新しい技術が必要
- 23. ビッグデータインテグレーション（活用）における５つの課題 急激に増加する粒度の小さいデー タ（販売情報、電話記録、銀行取引、 整合性 クリックストリーム、気象情報等）を 大量に瞬時に処理する必要がある 適時性 BIG DATA 複雑性 23 © Talend 2014 量と 処理速度 ソース の拡大
- 24. ビッグデータインテグレーション（活用）における５つの課題 整合性 • 量と 処理速度 BIG 構造化データ、準構造化データ、非 DATA 適時性 構造化データなど統合すべきデー タソースが拡大 • 拡大する情報ソースと接続する手 段が必要 • 情報ソースは自社・他社、政府、オ 複雑性 ンプレミス・クラウドと多岐にわたる 場所に存在 24 © Talend 2014 ソース の拡大
- 25. ビッグデータインテグレーション（活用）における５つの課題 量と 処理速度 整合性 適時性 BIG DATA 複雑性 25 © Talend 2014 ソース • データは、集約、解析、計算、 の拡大 統計的処理等が行なわれ たり、行なわれなかったりす るため複雑性が増加 • データは非構造化データ、 構造化データが入り交じり 複雑に
- 26. ビッグデータインテグレーション（活用）における５つの課題 量と 処理速度 整合性 • ERPのデータ、Webサーバのレスポンスタ イム、SNSのデータなど、統合すべきデー タが反映されるリードタイムが違う • データには適時なタイミングが必要 適時性 BIG DATA 複雑性 26 © Talend 2014 ソース の拡大
- 27. ビッグデータインテグレーション（活用）における５つの課題 整合性 適時性 • 氏名などで使われる漢字の新旧変換、 住所、半角と全角など、日本語ならで はのデータ整合性が課題 量と • 日付の型の違い 処理速度 • 統計解析する上でもデータの量よりも 品質が重要 BIG DATA 複雑性 27 © Talend 2014 ソース の拡大
- 28. ビッグデータインテグレーション（活用）における５つの課題 量と 処理速度 整合性 ビッグデータインテグレーションの 課題を解決する BIG 適時性 DATA 複雑性 28 © Talend 2014 ソース の拡大
- 29. ビッグデータの本質 事 実 ⼤大きなデータ ⾼高速 正確 安く 誰にでも 29 © Talend 2014 本 質 量量より質
- 30. BIツールを有効に使えてますか？ 30 © Talend 2014
- 34. Talend製品のポートフォリオ データの 整備 データの 統合 ビッグデータ の統合 アプリケーション の統合 マスターデータ の整備 プロセス の統合 Data Management Big Data 【Platform】 会社、グループ レベル Data Service With Big Data MDM With Big Data Enterprise Integration With Big Data 【Enterprise】 部門、プロジェクト レベル Data Integration Big Data ESB スケジューラ、共同開発、負荷分散、配置方法など 商用版でしかできない機能を装備 【TOS】 検証、個人 レベル 34 © Talend 2014 Data Quality Data Integration Big Data ESB MDM Bonita Soft
- 36. 他社が真似できないTalendの優位性 オープン性 • • • • 先進性 • • • • ビジネスモデル • • • 36 © Talend 2014 オープンソースであるが故に情報ソースへのコン ポーネントが豊富（500以上） ソースコード生成型モデルであるためコードに透明性 があり信頼性がある 多くのデータ活用ベンダー（技術）でも接続可能 オープンソースモデルであるため、先進技術への対 応が早い（先進性） YARNなどの先進技術への対応 先進的な情報ソース（Hadoop、No SQL、DWH、インメ モリーコンピューティングなど）へのアクセス オープンソースをベースとした開発者コミュニティに 支えられているため、最新技術への対応が早い コミュニティの支持によりコードの信頼性（製品の信頼 性）が高い 開発者単位でのライセンス • 顧客は最小限のライセンスを支払えば良く、投 資対効果が高い サブスクリプションライセンス • 顧客は年単位でプロジェクトを見直してライセ ンスコストの最適化を図れる ソースコード生成型で分散処理環境に迅速に対応
- 37. Big Dataへのコミット Easy to Use Hadoop Power ! Hadoop（MapReduce、YARN）へのコミット ! No SQLへのコミット 37 © Talend 2014 Simulation
- 39. Hadoopを 取り扱い易くしました 39 © Talend 2014
- 40. ビッグデータプラットフォームをサポートすることで開発者 は一つのインターフェースでビッグデータプラットフォーム にアクセスできます ! No SQL、Hadoop、分散処理技術へのアクセスは簡単ではありません ! Hadoop処理への期待は高まりつつありますが、Hadpp/MapReduceを使えるエンジ ニアが不足している ! Talendは先進技術へのAPIを用意することで、No SQL DB、Hadoop、分散処理技術 を容易に活用できる環境を提供します。 No SQL DB API Hadoop API 開発者 分散処理における先進技術 API 40 © Talend 2014
- 41. Talendがコネクトできるデータを処理・保存する技術 No SQL DB Hadoop インメモリーDB、DWH Redshift 41 © Talend 2014 Technology
- 42. Hadoopパワーを存分に使えます 42 © Talend 2014
- 43. YARN(Yet Another Resource Negotiator) ! Apacheのプロジェクトで、MapReduce2.0とも言われるが、 MapReduceのサポートだけではないのでYARNと呼ばれる ! 任意の分散処理フレームワークやアプリケーションの作成を 容易にする新しいフレームワークである ! YARNの実行モデルは、以前のMapReduceの実装よりも汎用 的である ! YARNはオリジナルのApache HadoopのMapReduceとは異な り、MapReduceのモデルに従っていないアプリケーションを実 行可能 ! YARNは、分散ファイルシステムとMapReduceの間に入る汎用 的なフレームワークである ! MapReduceのようなフレームワークやプログラムに類似した、 あるいは全く違う新しいプログラムやアーキテクチャがHDFS を活用できるようになり、圧倒的な処理性能を得られる ! 物理的な分散ファイルシステムとは違ったシステムインフラを 使える可能性がある ! MapReduce1.0がサポートするノード数は4000程度だが、 YARNは10000程度までサポート 43 © Talend 2014 MapReduce1.0 大量データの一括処理をする フレームワーク 分散ファイルシステム（HDFS） MapReduce 大量データの一括処理をするフ レームワーク App YARN 分散ファイルシステム（HDFS） memory
- 44. TalendはYARNの上でもネイティブに動作します 競合他社 5.4 5.2 jar File YARN 5.3 jar File jar File プログラム Map Reduce 分散環境 Java SE Map Reduce Java SE Java SE OS CPU 分散 環境 CPU CPU CPU ! Talendのツールで生成されるプログラムがjarファイルで生成されるため、JRE、MapReduce、 YARN上でネイティブに動作させることが可能 ! DIエンジン、データクレンジングが圧倒的なパフォーマンスを発揮します ! パフォーマンスが、分散環境のパフォーマンスに依存することになるため、高いパフォーマンスを 発揮可能 ! 競合他社は、プログラムをOS上で稼働させるためハードウェアリソース（CPUやメモリー）の性能 特性に依存してしまう 44 © Talend 2014
- 45. データ処理が飛躍的に速くなることで何が変わるのか？ ! 流通業では n POSで集まる販売情報、販売情報に連動する配送システムや調達システム、最近では明日 の販売を予測するために気象情報なども想定して配送時間、配送商品の決定などを行ない ますが、これまではバッチ処理が多いため、タイムラグが発生していました。 n Talendを使えば、ほぼリアルタイムにデータを集め、瞬時にデータ処理して、配送システムや 調達システムにデータを渡すことができます。 ! 製造業では n 製品を作る工場において、ラインの場所単位や製造機器単位で測定する湿度や温度などに 欠品率が左右される場合に、温度湿度情報を得て自動制御するには多くの投資が必要 n Talendを使えば、自動制御するよりも、温度湿度情報から得た欠品率を想定した部材の購入 量を瞬時に計算して調達量を変更することができる。 ! 公共では n 橋梁や高速道路などにつけられた歪み計などの無線センサーから送信される分単位の差分 データを送る n Talendを使えば、差分データではなく、生データをリアルタイムに送ることで、通常データのト レンドと、異常データの差分が瞬時に判断して障害の予兆検知をすることができる 45 © Talend 2014
- 46. Map処理、Reduce処理の実行を想定 46 © Talend 2014
- 47. MapReduce Jobをビジュアル化して インフラの最適化をはかりコスト削減 ! Talend製品（BigData）の開発ツール（Studio）の拡張で、開発者は設計したMap処理、 Reduce処理の実行想定をビジュアルで見ることができます ! 並列度を設定できるので、パフォーマンスの最適化を図ることができます。 47 © Talend 2014
- 48. クラウドコンピューティングとTalendの親和性 48 © Talend 2014
- 52. 本日、お伝えしたいこと ! なぜ、Talendがデータドリブン経営？ Talendは設立当初からデータ中心の技術・製品・ソリューションを 提供してきました ! なぜ、データドリブン経営が重要？ （ビッグ）データドリブン経営をしないと競争に勝てない ! なぜ、いまデータドリブン経営？ ビッグデータが取り扱いやすい環境がやってきた Talendだけがビッグデータに最適な技術・製品・ソリューションを提供 52 © Talend 2014