Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to データ分析を支える技術 DWH再入門
Similar to データ分析を支える技術 DWH再入門 (20)
More from Satoru Ishikawa
More from Satoru Ishikawa (11)
データ分析を支える技術 DWH再入門
- 2. 2⾃⼰紹介 • ⽒名 - ⽯川 覚 (いしかわ さとる) • 所属 - データアナリティクス事業本部 (DA事業本部) - インテグレーション部 - 札幌オフィス勤務 • 略歴 - メーカー系SIer、ITベンチャー企業、現在に⾄る • 担当業務 - データ分析基盤の設計・開発、コンサルティング • 好きなサービス - Amazon Redshift/Athena、Snowflake 、Google BigQuery 2020 APN AWS Top Engineers 選出
- 3. 3アジェンダ • DWH再⼊⾨ • DWHの特性 • ディメンジョナルデータモデル • 分析データの利⽤ • ⼀般的なDBとDWHの相違点 • DWHのアーキテクチャ
- 4. 4 DWH再⼊⾨
- 6. 6DWHとは DWHはデータウェアハウスの略（データの倉庫） 分析しやすく検索できるように蓄積したデータベース • 部⾨のデータをDWHに集め • そのデータを分析しやすく変換 • 分析の⽬的ごとにデータを作成・蓄積
- 10. 10 DWHの特性
- 11. 11DWHの特性 ビル・インモンさんが提唱するDWHの4つ特性 1. 統合化（integrated） 2. サブジェクト指向（subject oriented） 3. 時系列（time variant） 4. 恒常性（nonvolatile）
- 12. 12DWHの特性 ビル・インモンさんが提唱するDWHの6つ特性 1. 統合化（integrated） 2. サブジェクト指向（subject oriented） • 詳細データ（detail data） • 要約データ（summary data） 3. 時系列（time variant） 4. 恒常性（nonvolatile）
- 13. 13DWHの特性 まずは部⾨のデータをDWHに集める 部⾨のデータを⼀箇所に集めるには、部⾨のDBからエクス ポートしたファイルをDWHにインポートするのが⼀般的で す。 • 部⾨のDBからエクスポートしたファイルはオブジェクトス トレージにアップロードする • 補⾜︓Amazon Redshiftの場合、S3（オブジェクトスト レージ）に集めたデータファイルは、データファイルに対し て直接クエリを実⾏できる「データレイク」のストレージと しても活⽤できる
- 14. 14DWHの特性 1. 統合化（integrated） 各部⾨のデータの表記揺れや意味を統⼀します。データを利⽤ するアナリストが個々のデータの違いを意識せずに利⽤できる ように整理する。 例． • ⽇付︓和暦から⻄暦変換、JSTからUTC変換 • ⽂字列︓⼤⽂字⼩⽂字、整数・少数、表記揺れ • 値︓Nullや空⽂字、コード体系の取り扱い
- 15. 15DWHの特性 1. 統合化（integrated） 補⾜︓データの変換⽅法 • ETL（Extract Transform Load） • ETLツールでデータを変換してロードする⽅式 • ELT（Extract Load Transform） • ステージングエリアにデータをロードした後、SQLでデータを変 換する⽅式
- 16. 16DWHの特性 2. サブジェクト指向（subject oriented） • 「商品」や「顧客」のように分析の軸（次元）ごとに集計し て蓄積したデータである「データマート」を作成する • 複数ディメンジョンのデータマート︓データ探索⽤途 • 単⼀ディメンジョンのデータマート︓パフォーマンス重 視のためダッシュボード⽤途 ※グラニュラリティ（要約の粒度）は要件やデータの規模に よって調整する
- 17. 17DWHの特性 2. サブジェクト指向（subject oriented） • 詳細データ（detail data）︓分析しやすく変換したデータ をそのまま保存 • 要約データ（summary data）︓複数の詳細データを結合 したり、集計した結果を保存
- 29. 29ディメンジョナルデータモデル ディメンジョナルデータモデルとは • ラルフ・キンボールさんが提唱するディメンジョナルモデル とは、スタースキーマでDWHを構築すること • 分析したい値を持つファクトテーブルと、分析の軸（次元） となる値を持つディメンジョンテーブルから構成される • ERモデル（第3正規形）は分析データのモデリングに最適 ではない
- 35. 35 分析データの利⽤
- 36. 36分析データの利⽤ 代表的なデータ分析の⼿法 • ダイス • スライス • ドリルアップ・ドリルダウン BIツールを使い始める前に 理解することをおすすめします。
- 39. 39分析データの利⽤ ドリルアップ・ドリルダウン 分析の深さを詳細にしたり、まとめたりして変更する操作。 • 例1．年⽉ごとに⾏っていた分析を、粒度をあげて年単位に することをドリルアップという • 例2．逆に粒度を下げて⽇単位にすることをドリルダウンと いう • 年⽉⽇のドリルアップ・ドリルダウンはBIツールを⽤いる と簡単にできる
- 40. 40分析データの利⽤ BIツールによる可視化 • ダイス、スライス、ドリルダウン・アップの操作が容易 • データを2次元的なクロス集計表だけでなく、様々な表⽰形 式（グラフなど）でデータを表現できる • 定型分析 • ダッシューボードなど、常に表⽰する情報は、パフォー マンス重視の単⼀ディメンジョンデータマートを⽤いる • データ探索（データディスカバリ） • 統合化（integrated）後のデータや既存の複合ディメン ジョンデータマートを⽤いて、新たな洞察を得る
- 43. 43相違点 アクセスパターン • オンライントランザクション処理（OLTP）︓⼀般的なDB • インデックスのキーから少数のレコードを取得・更新 • インタラクティブであり、素早く応答が必要 • オンライン分析処理（OLAP）︓DWH • ⼤量のレコード中の少数の列だけを読み出しが多い • 要約統計 (レコード数、合計、平均など)を計算した結果 をユーザーに返したり、テーブルに保存する
- 44. 44相違点 データアクセスの⽐較 特性 オンライントランザクション処理 (OLTP: OnLine Transaction Processing) オンライン分析処理 (OLAP: OnLine Analytic Processing) データの規模 数GBから数TB 数百GBから数PB 読み込みの パターン インデックスのキーを⽤いた少数 のレコードの低レイテンシ読み込 み ⼤量のレコード中の少数の列だ けを読み込み 書き込みの パターン ランダムアクセスと低レイテンシ 書き込み レコード中の更新した列の追加 書き込み、もしくは⼤量データ の⼀括インポート
- 45. 45 DWHのアーキテクチャ
- 49. 49DWHのシステム構成 複数のノードを⽤いた並列分散処理 ⼤量のデータの分析を想定した並列分散アーキテクチャを採⽤ している。 • シェアードナッシング • ストレージをノードごとに割り当て、複数ノードで並列 分散処理する • シェアードストレージ • データを共有ストレージに保存し、複数ノードで並列分 散処理する • ストレージとコンピューティングを分離
- 50. 50DWHのシステム構成 DWHの例 • シェアードナッシングを採⽤しているDWH • Amazon Redshift（RA3はハイブリッド） • Teradata • Vertica • シェアードストレージを採⽤しているDWH • Google BigQuery • Snowflake
- 52. 52 まとめ
- 53. 53まとめ DWHのデータ設計 • アナリストが個々のデータの違いを意識せずに利⽤できるよ うにデータを統合化（integrated）する • 分析⽤途応じて、結合・集計されたデータマートが時系列か つ永続的に保存する • 分析⽤途のテーブルはディメンジョナルデータモデル（ス タースキーマ）を採⽤し、第2正規化までとする
- 54. 54まとめ DWHのデータ活⽤ • データの可視化にはデータマートとBIツールが有効 • 複数ディメンジョンのデータマート︓データ探索⽤途 • 単⼀ディメンジョンのデータマート︓パフォーマンス重 視のダッシュボードなど
- 55. 55まとめ DWHのアーキテクチャ • ⼤量レコード中の少数の列の読み込みを想定して列指向スト レージを採⽤している • ⼤量のデータを処理できるように伸縮⾃在で並列分散処理が 可能なシステム構成を採⽤する • 特に「ビッグデータの分析」であれば上記は必須です