Submit Search
Upload
[GCP INSIDE Retail] オンプレミスDWHからBQへ
•
0 likes
•
791 views
Hideaki Tokida
Follow
企業のデータ分析には様々な課題があります。今日は課題の中で特に以下の「データの鮮度」がテーマについての話です
Read less
Read more
Technology
Report
Share
Report
Share
1 of 29
Download now
Download to read offline
Recommended
About Istio
About Istio
Hideaki Tokida
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
Hideaki Tokida
今更ながらの「マイクロサービス」
今更ながらの「マイクロサービス」
Hideaki Tokida
【de:code 2020】 リテール AI の PoC 事例から学ぶスケールアウトへのヒント
【de:code 2020】 リテール AI の PoC 事例から学ぶスケールアウトへのヒント
日本マイクロソフト株式会社
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
SORACOM,INC
柏市におけるIoT柏市ビジネスの創出について
柏市におけるIoT柏市ビジネスの創出について
kashiwanoha-iot
安全な産業用ドローンサービスの提供
安全な産業用ドローンサービスの提供
kashiwanoha-iot
マイクロソフトのIoT/AI戦略
マイクロソフトのIoT/AI戦略
kashiwanoha-iot
Recommended
About Istio
About Istio
Hideaki Tokida
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
Hideaki Tokida
今更ながらの「マイクロサービス」
今更ながらの「マイクロサービス」
Hideaki Tokida
【de:code 2020】 リテール AI の PoC 事例から学ぶスケールアウトへのヒント
【de:code 2020】 リテール AI の PoC 事例から学ぶスケールアウトへのヒント
日本マイクロソフト株式会社
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
SORACOM,INC
柏市におけるIoT柏市ビジネスの創出について
柏市におけるIoT柏市ビジネスの創出について
kashiwanoha-iot
安全な産業用ドローンサービスの提供
安全な産業用ドローンサービスの提供
kashiwanoha-iot
マイクロソフトのIoT/AI戦略
マイクロソフトのIoT/AI戦略
kashiwanoha-iot
データで散らかった製造業界における最高の翻訳機 Node-RED
データで散らかった製造業界における最高の翻訳機 Node-RED
nodered_ug_jp
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
日本マイクロソフト株式会社
【de:code 2020】 Azure Expert MSP の FIXER が処方、DX に効く 「クラウド運用」「AI」「人材育成」 の即効薬
【de:code 2020】 Azure Expert MSP の FIXER が処方、DX に効く 「クラウド運用」「AI」「人材育成」 の即効薬
日本マイクロソフト株式会社
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
日本マイクロソフト株式会社
【de:code 2020】 ベールを脱いだ Azure RTOS - 最新情報をいろいろとお届けします
【de:code 2020】 ベールを脱いだ Azure RTOS - 最新情報をいろいろとお届けします
日本マイクロソフト株式会社
【C-2・醍醐様】AIとAPIがITインフラにもたらす変化 ~プログラマブルなクラウド型Wi-Fi~
【C-2・醍醐様】AIとAPIがITインフラにもたらす変化 ~プログラマブルなクラウド型Wi-Fi~
Developers Summit
Event Report - Microsoft Ignite2017
Event Report - Microsoft Ignite2017
Yukako Shimizu
【15-E-7】セキュアな環境でDevOpsを実現する厳選ツール
【15-E-7】セキュアな環境でDevOpsを実現する厳選ツール
Developers Summit
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
オラクルエンジニア通信
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
日本マイクロソフト株式会社
クラウド利用者として考えるサステナビリティ
クラウド利用者として考えるサステナビリティ
Hiroki Moriya
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
日本マイクロソフト株式会社
[Japan Tech summit 2017] DAL 008
[Japan Tech summit 2017] DAL 008
Microsoft Tech Summit 2017
JPC2018[H2]EOS に間に合わせる! Microsoft 製品のマイグレーションを推進する取り組みについて
JPC2018[H2]EOS に間に合わせる! Microsoft 製品のマイグレーションを推進する取り組みについて
MPN Japan
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
Developers Summit
【de:code 2020】 AutoML ではじめる機械学習の民主化
【de:code 2020】 AutoML ではじめる機械学習の民主化
日本マイクロソフト株式会社
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
IoTビジネス共創ラボ
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Hirono Jumpei
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
kashiwanoha-iot
Smart Building Reference Architectureのご紹介
Smart Building Reference Architectureのご紹介
IoTビジネス共創ラボ
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Global Top 5 を目指す NTT DATA の確かで意外な技術力
NTT DATA OSS Professional Services
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Takeshi Fukuhara
More Related Content
What's hot
データで散らかった製造業界における最高の翻訳機 Node-RED
データで散らかった製造業界における最高の翻訳機 Node-RED
nodered_ug_jp
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
日本マイクロソフト株式会社
【de:code 2020】 Azure Expert MSP の FIXER が処方、DX に効く 「クラウド運用」「AI」「人材育成」 の即効薬
【de:code 2020】 Azure Expert MSP の FIXER が処方、DX に効く 「クラウド運用」「AI」「人材育成」 の即効薬
日本マイクロソフト株式会社
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
日本マイクロソフト株式会社
【de:code 2020】 ベールを脱いだ Azure RTOS - 最新情報をいろいろとお届けします
【de:code 2020】 ベールを脱いだ Azure RTOS - 最新情報をいろいろとお届けします
日本マイクロソフト株式会社
【C-2・醍醐様】AIとAPIがITインフラにもたらす変化 ~プログラマブルなクラウド型Wi-Fi~
【C-2・醍醐様】AIとAPIがITインフラにもたらす変化 ~プログラマブルなクラウド型Wi-Fi~
Developers Summit
Event Report - Microsoft Ignite2017
Event Report - Microsoft Ignite2017
Yukako Shimizu
【15-E-7】セキュアな環境でDevOpsを実現する厳選ツール
【15-E-7】セキュアな環境でDevOpsを実現する厳選ツール
Developers Summit
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
オラクルエンジニア通信
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
日本マイクロソフト株式会社
クラウド利用者として考えるサステナビリティ
クラウド利用者として考えるサステナビリティ
Hiroki Moriya
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
日本マイクロソフト株式会社
[Japan Tech summit 2017] DAL 008
[Japan Tech summit 2017] DAL 008
Microsoft Tech Summit 2017
JPC2018[H2]EOS に間に合わせる! Microsoft 製品のマイグレーションを推進する取り組みについて
JPC2018[H2]EOS に間に合わせる! Microsoft 製品のマイグレーションを推進する取り組みについて
MPN Japan
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
Developers Summit
【de:code 2020】 AutoML ではじめる機械学習の民主化
【de:code 2020】 AutoML ではじめる機械学習の民主化
日本マイクロソフト株式会社
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
IoTビジネス共創ラボ
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Hirono Jumpei
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
kashiwanoha-iot
Smart Building Reference Architectureのご紹介
Smart Building Reference Architectureのご紹介
IoTビジネス共創ラボ
What's hot
(20)
データで散らかった製造業界における最高の翻訳機 Node-RED
データで散らかった製造業界における最高の翻訳機 Node-RED
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
【de:code 2020】 Azure Expert MSP の FIXER が処方、DX に効く 「クラウド運用」「AI」「人材育成」 の即効薬
【de:code 2020】 Azure Expert MSP の FIXER が処方、DX に効く 「クラウド運用」「AI」「人材育成」 の即効薬
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
【de:code 2020】 ベールを脱いだ Azure RTOS - 最新情報をいろいろとお届けします
【de:code 2020】 ベールを脱いだ Azure RTOS - 最新情報をいろいろとお届けします
【C-2・醍醐様】AIとAPIがITインフラにもたらす変化 ~プログラマブルなクラウド型Wi-Fi~
【C-2・醍醐様】AIとAPIがITインフラにもたらす変化 ~プログラマブルなクラウド型Wi-Fi~
Event Report - Microsoft Ignite2017
Event Report - Microsoft Ignite2017
【15-E-7】セキュアな環境でDevOpsを実現する厳選ツール
【15-E-7】セキュアな環境でDevOpsを実現する厳選ツール
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
クラウド利用者として考えるサステナビリティ
クラウド利用者として考えるサステナビリティ
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
[Japan Tech summit 2017] DAL 008
[Japan Tech summit 2017] DAL 008
JPC2018[H2]EOS に間に合わせる! Microsoft 製品のマイグレーションを推進する取り組みについて
JPC2018[H2]EOS に間に合わせる! Microsoft 製品のマイグレーションを推進する取り組みについて
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
【19-D-6】あなたを30分で IoT ready なエンジニアにします! ~IoT プラットフォーム ThingWorx, AR(拡張現実)向けプラッ...
【de:code 2020】 AutoML ではじめる機械学習の民主化
【de:code 2020】 AutoML ではじめる機械学習の民主化
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
製造業のDX最新動向、 ハノーバーメッセでマイクロソフトが伝えたこと。
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
Azure IoT/AI 最前線!「IoTビジネス事例のご紹介」
Smart Building Reference Architectureのご紹介
Smart Building Reference Architectureのご紹介
Similar to [GCP INSIDE Retail] オンプレミスDWHからBQへ
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Global Top 5 を目指す NTT DATA の確かで意外な技術力
NTT DATA OSS Professional Services
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Takeshi Fukuhara
AIビジネス推進人材育成プログラムのご紹介
AIビジネス推進人材育成プログラムのご紹介
munjapan
20180921 Twilio Smart Communication Award 2018
20180921 Twilio Smart Communication Award 2018
Ukyo Satake
IOT and Lean Manifacturing
IOT and Lean Manifacturing
Osaka University
Future tech night #12~goで始めるサーバレスファーストという選択肢~
Future tech night #12~goで始めるサーバレスファーストという選択肢~
masahiko ito
Timソリューションのご紹介 140319
Timソリューションのご紹介 140319
Rie Arai
ネットワーク関連研究開発ご紹介-SDN/仮想ネットワーク応用の最新の成果より
ネットワーク関連研究開発ご紹介-SDN/仮想ネットワーク応用の最新の成果より
Yoshikazu Keikoin
コードを書かずにLチカ。から始めよう
コードを書かずにLチカ。から始めよう
Shin-ya Koga
Smart Store Map
Smart Store Map
Microsoft Azure Japan
第86回 Machine Learning 15minutes! IBMの大規模言語モデルGraniteと生成AI Governance 機能のご紹介
第86回 Machine Learning 15minutes! IBMの大規模言語モデルGraniteと生成AI Governance 機能のご紹介
Tsuyoshi Hirayama
Timソリューションのご紹介 140319
Timソリューションのご紹介 140319
Rie Arai
Timソリューションのご紹介 140320
Timソリューションのご紹介 140320
Rie Arai
第一回Soft layer勉強会 グローバル分散アーキテクチャ
第一回Soft layer勉強会 グローバル分散アーキテクチャ
Maho Takara
Sct Profile 2011 Nov
Sct Profile 2011 Nov
chibanha
非エンジニアのためのIt業界
非エンジニアのためのIt業界
Hideto Masuoka
「シン・テストエンジニアのキャリアについて~[序・破・急]の先に向けて~」
「シン・テストエンジニアのキャリアについて~[序・破・急]の先に向けて~」
久仁朗 山本(旧姓 村上)
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Recruit Technologies
Microsoft Azure で実現するAIとIoT最新情報
Microsoft Azure で実現するAIとIoT最新情報
Yasuhiro Kobayashi
20180927 みやぎ IoT ビジネス共創ラボ 製造業から養豚まで、おいしい IoT & AI ビジネスのつくり方
20180927 みやぎ IoT ビジネス共創ラボ 製造業から養豚まで、おいしい IoT & AI ビジネスのつくり方
Uniadex Ltd.
Similar to [GCP INSIDE Retail] オンプレミスDWHからBQへ
(20)
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Global Top 5 を目指す NTT DATA の確かで意外な技術力
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
AIビジネス推進人材育成プログラムのご紹介
AIビジネス推進人材育成プログラムのご紹介
20180921 Twilio Smart Communication Award 2018
20180921 Twilio Smart Communication Award 2018
IOT and Lean Manifacturing
IOT and Lean Manifacturing
Future tech night #12~goで始めるサーバレスファーストという選択肢~
Future tech night #12~goで始めるサーバレスファーストという選択肢~
Timソリューションのご紹介 140319
Timソリューションのご紹介 140319
ネットワーク関連研究開発ご紹介-SDN/仮想ネットワーク応用の最新の成果より
ネットワーク関連研究開発ご紹介-SDN/仮想ネットワーク応用の最新の成果より
コードを書かずにLチカ。から始めよう
コードを書かずにLチカ。から始めよう
Smart Store Map
Smart Store Map
第86回 Machine Learning 15minutes! IBMの大規模言語モデルGraniteと生成AI Governance 機能のご紹介
第86回 Machine Learning 15minutes! IBMの大規模言語モデルGraniteと生成AI Governance 機能のご紹介
Timソリューションのご紹介 140319
Timソリューションのご紹介 140319
Timソリューションのご紹介 140320
Timソリューションのご紹介 140320
第一回Soft layer勉強会 グローバル分散アーキテクチャ
第一回Soft layer勉強会 グローバル分散アーキテクチャ
Sct Profile 2011 Nov
Sct Profile 2011 Nov
非エンジニアのためのIt業界
非エンジニアのためのIt業界
「シン・テストエンジニアのキャリアについて~[序・破・急]の先に向けて~」
「シン・テストエンジニアのキャリアについて~[序・破・急]の先に向けて~」
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Microsoft Azure で実現するAIとIoT最新情報
Microsoft Azure で実現するAIとIoT最新情報
20180927 みやぎ IoT ビジネス共創ラボ 製造業から養豚まで、おいしい IoT & AI ビジネスのつくり方
20180927 みやぎ IoT ビジネス共創ラボ 製造業から養豚まで、おいしい IoT & AI ビジネスのつくり方
More from Hideaki Tokida
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
Hideaki Tokida
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
Hideaki Tokida
LT資料イベント状況SNS自動投稿について考えてみた
LT資料イベント状況SNS自動投稿について考えてみた
Hideaki Tokida
Docker Actionを利用してOpenWhiskをあれこれする
Docker Actionを利用してOpenWhiskをあれこれする
Hideaki Tokida
Bluemixクラウド開発入門 Devlivery Pipeline デモ
Bluemixクラウド開発入門 Devlivery Pipeline デモ
Hideaki Tokida
IBM Bluemixクラウド開発入門 15分でわかるBluemix
IBM Bluemixクラウド開発入門 15分でわかるBluemix
Hideaki Tokida
API公開最初の一歩 - API Connect on Bluemix
API公開最初の一歩 - API Connect on Bluemix
Hideaki Tokida
Bluemix User Group ご紹介
Bluemix User Group ご紹介
Hideaki Tokida
BMXUG 大勉強会 2017.6.21 アジェンダ
BMXUG 大勉強会 2017.6.21 アジェンダ
Hideaki Tokida
OpenWhisk meetup vol2
OpenWhisk meetup vol2
Hideaki Tokida
OpenWhisk meetup vol1
OpenWhisk meetup vol1
Hideaki Tokida
Serverless meetup02 openwhisk
Serverless meetup02 openwhisk
Hideaki Tokida
Bluemix Users Group 活動報告
Bluemix Users Group 活動報告
Hideaki Tokida
デモから見るOpenWhisk - Docker Action -
デモから見るOpenWhisk - Docker Action -
Hideaki Tokida
OpenWhisk Serverless への期待
OpenWhisk Serverless への期待
Hideaki Tokida
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
Hideaki Tokida
日本SoftLayerユーザ会紹介資料 2016
日本SoftLayerユーザ会紹介資料 2016
Hideaki Tokida
About OpenWhisk
About OpenWhisk
Hideaki Tokida
Ansible softlayer
Ansible softlayer
Hideaki Tokida
IBM Container BluemixでDockerを使ってみる
IBM Container BluemixでDockerを使ってみる
Hideaki Tokida
More from Hideaki Tokida
(20)
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
LT資料イベント状況SNS自動投稿について考えてみた
LT資料イベント状況SNS自動投稿について考えてみた
Docker Actionを利用してOpenWhiskをあれこれする
Docker Actionを利用してOpenWhiskをあれこれする
Bluemixクラウド開発入門 Devlivery Pipeline デモ
Bluemixクラウド開発入門 Devlivery Pipeline デモ
IBM Bluemixクラウド開発入門 15分でわかるBluemix
IBM Bluemixクラウド開発入門 15分でわかるBluemix
API公開最初の一歩 - API Connect on Bluemix
API公開最初の一歩 - API Connect on Bluemix
Bluemix User Group ご紹介
Bluemix User Group ご紹介
BMXUG 大勉強会 2017.6.21 アジェンダ
BMXUG 大勉強会 2017.6.21 アジェンダ
OpenWhisk meetup vol2
OpenWhisk meetup vol2
OpenWhisk meetup vol1
OpenWhisk meetup vol1
Serverless meetup02 openwhisk
Serverless meetup02 openwhisk
Bluemix Users Group 活動報告
Bluemix Users Group 活動報告
デモから見るOpenWhisk - Docker Action -
デモから見るOpenWhisk - Docker Action -
OpenWhisk Serverless への期待
OpenWhisk Serverless への期待
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
日本SoftLayerユーザ会紹介資料 2016
日本SoftLayerユーザ会紹介資料 2016
About OpenWhisk
About OpenWhisk
Ansible softlayer
Ansible softlayer
IBM Container BluemixでDockerを使ってみる
IBM Container BluemixでDockerを使ってみる
[GCP INSIDE Retail] オンプレミスDWHからBQへ
1.
#gc_inside
2.
Confidential & Proprietary 常田
秀明 (Tokida Hideaki) オンプレミスDWHから BigQuery へ 日本情報通信株式会社
3.
常田 秀明 日本情報通信株式会社 リーディング・テクニカル・エキスパート
4.
5.
日本情報通信株式会社 IBM の最先端テクノロジを使用して、 NI
+ C はシステム開発、製品とサービス、 ネットワークサービスなどのさまざまな分野のお客様に管理関連ソリューションを 提供します。IBM のハードウェアとソフトウェアのフルラインナップだけでなく、市場 に出回っている幅広い IBM 以外のミドルウェアも提供しています。当社の技術ス ペシャリストは、お客様のニーズに応じてシステムを設計、構築、および保守する ことができます。 創業34年目 日本IBM + NTT Software/Cloudの売上高 グループ全体エンジニア数>1000 400+ 30+
6.
Confidential & Proprietary 今日の話 「OnPremのDataWherehouseをクラウド型DWHの
BigQuery へ」 企業のデータ分析には様々な課題があります。今日は課題の中で特に 以下の「データの鮮度」がテーマについての話です。 https://www.slideshare.net/hideakitokida/d12s07-bigquery
7.
Confidential & Proprietary オンプレミスDWHの データ鮮度の課題
8.
Confidential & Proprietary 分析までの時間を短縮させる
9.
Confidential & Proprietary テーブルA <売上> テーブルB <売上> Update 11/30 UPdate 12/1 その「売上」の意味正しいですか? そのデータはいつのものですか? User:1000 User:980
10.
Confidential & Proprietary データの鮮度 ●
データの源泉から分析者ま でデータはバケツリレーで 運ばれる(定時実行) ● 物理的制約によりデータは 適宜破棄される 0 0 0 0 1 2 2 3 2 4 分析 ツール Excel R 1day 1day 1day
11.
Confidential & Proprietary データ分析が自由に出来ない ●
性能がスケールせず並列性 が著しく性能に影響を与える ため「処理時間の予測」が重 要 ● 夜間処理が延長した場合、別 の分析処理自体も出来ないこ ともある 0 1 2 3 Excel 日中処理夜間処理 finish? Job1(1h) Job2(3h) On-demaind 02:00 04:00 08:00 (Online)
12.
Confidential & Proprietary DWH運用あるある 分析者が投入した SQLが止まらない! 運用側で手動で停 止。アドホックな処理 に振り回される 処理を止めて! 少ない空きをやりくし てExport&Loadの繰 り返し。サイズが大き いと時間もかかる カラムを足して! SQLの処理を誤って データを上書き(消し た)。前の状態に戻し て!と言われても。。 そんな簡単には戻ら ない。 ヤバイ戻して!
13.
Confidential & Proprietary BigQuery
で実現する データレイク&データマート
14.
Confidential & Proprietary BigQuery
とは ● フルマネージド(クエリーサービス)として提供 ● 費用は利用した分のみの従量課金 ● 既存DWHの課題を解消したクラウド型DWH ● 大容量データを活用する拡張(GISとML) 1 2 3 4 DBMS OS HW Service クエリ応答 クエリ応答 例:オンプレ BigQuery BigQueryではリソースに関しては考慮 不要。スケールの変化に強い。 既存BAツール 構造化データレイク データマート ETL クレンジング BigQuery データ 処理エンジン 頻繁な分析結果 の読み書き クラウド世代の BIツール 処理は極力 BigQueryで実施 データ処理エンジン
15.
Confidential & Proprietary データの流れを変える Data
Pipeline
16.
Confidential & Proprietary ETL
から ELT処理へ ● BigQuery のパワーを活 用 ● Load より External Table ● SQLを極力集約 取り込み ファイル 作業 テーブル 正規 テーブル Transform & Marge ・異常値保管 ・重複 ・型変換 Load データ取り込み 取り込み ファイル 作業 テーブル 正規 テーブル Transform & Marge ・異常値保管 ・重複 ・型変換 External 外部データ参照 Cloud Storage
17.
Confidential & Proprietary 取り込み ファイル 作業 テーブル 正規 テーブル Transform
& Marge ・正規テーブルに差分をマージで挿入 Load そのままLoad Cloud Storage Cloud Pub/Sub Cloud Functions Cloud Pub/Sub Cloud Functions Event Driven GCSに保管されたことを通知 実装方法は多種多様 ● Event駆動連携は、タイムラグを最小限にする
18.
Confidential & Proprietary (補足)DataflowでETLしたほうが最適なシチュエーション GCP
にはETLとして利用可能なサービスが幾つか用意されています。プログラマブルでバッチ・リアル タイム同時に利用可能な Dataflow や、UIベースで定義可能な Data Fusion、データのクレンジング等 に利用可能な Dataprep などがありケースに応じて使い分けを行います。 ● データを保存して後で結合するのではなく、データを BigQuery に読み込むときにクレンジングま たは変換する。したがって、データは結合され変換された状態でのみ BigQuery に格納されるた め、この方法ではストレージ要件も低い。 ● カスタムデータのクレンジングを行う(これは SQL では簡単に実現できません)。 ● 読み込み処理中に、 OLTP 以外のデータ(ログやリモートからアクセスするデータなど)とデータ を組み合わせる。 ● 長い期間における段階的な繰り返し、 ETL プロセスの強化、改善を期待する。 ● 1 回限りの ETL を行うのではなく、データを増分的に追加する。 ● https://cloud.google.com/solutions/performing-etl-from-relational-database-into-bigquery?hl=ja
19.
Confidential & Proprietary 連携 ●
External Table 活用 ● Export に注意 ● 型に注意 書き出し データ (1G) 正規 テーブル Export ファイルとして書き出し 外部 データ External Table テーブルとして書き出し 外部 テーブル Other DB External Table テーブルとして参照 双方でRead/Writeの場合 には注意
20.
Confidential & Proprietary 移行 ●
DB Snapshot の活用 ● Dataset の定義の一括作成 ● 既存DWHのスキーマ管理 テーブル Other DB テーブル テーブル テーブル テーブル DBスキー マ情報 BQスキー マ テーブル テーブル テーブル 移行期間中頻繁に 変更 日次で取得 スキーマ 生成 差分のスキーマ処理 変更や修正がある場合、 不備がある場合も Snapshotで高速に操作 可能 SnapShot活用の注意点 ・列追加すると☓ ・Dropすると無効なのでDelete & Insertで対応(ちょっと時間かかる)
21.
Confidential & Proprietary 互換性 標準SQLを知っていれ ばそのスキルは活用 できるので便利。既存 のDBMSの知識があ れば使える。制約はよ く読め 標準SQL 他のDWHも大概ゆる いのでゆるいもの通し 合わないことがあるの で注意。型だけの単 純変換では動かない ケースも。。 型 ”がうまく処理できな い。テーブル名が日本 語が出来ない。幾つ か出来ないが概ね動 く Loadの禁則
22.
Confidential & Proprietary BI側からMartを作りもっとシンプルに ●
BigQuery のViewを作ら ず、Looker上でModelを 定義 ● 分析者にとり意味ある データを統合的に管理 ● Lookerでは常に生データ ・全件参照可能 正規 テーブル 正規 テーブル Data Mart (仮想View) SQL データを一元管理全データを保管
23.
Confidential & Proprietary BI側で権限を制御 ●
データ参照許可をSQLレベルで細かく設定が可能(BQはDataset 単位であり若干制御しづらい部分を補完) 正規 テーブル 正規 テーブル Data Mart (仮想View) SQL データを一元管理全データを保管 Data Mart (仮想View) データセット SQLレ ベルで の制御 SQLレ ベルで の制御 views,mod els 同じ条件 User:A User:B User:A User:B User:A User:B User:A User:B
24.
Confidential & Proprietary BI側で素早く連携 正規 テーブル 正規 テーブル Dash board SQL データを一元管理全データを保管 Other Solution Pull Push
Push Pull Push Push ユーザアプリ ケーション埋め 込み型 顧客 BigQueryの鮮度をそのまま利用
25.
Confidential & Proprietary まとめ
26.
Confidential & Proprietary BQ
を活用し Data Pipeline をシンプルに 0 0 0 0 1 2 2 3 2 4 分析 ツー ル Exc el R 1day 1day 1day 0 0 0 0 1 1 1 1 1 1 分析 ツール Excel R 1day4days 1days
27.
Confidential & Proprietary BigQuery
+ Looker データに使われるのかデータを使うのか
28.
Confidential & Proprietary Looker勉強会 タイトル:
BigQuery・Redshift・Treasure Dataユーザ向け!Lookerで実現する次世代 BI 日時:2020年1月30日(木曜日)15:30開始 (無料/事前登録制) ● Why Looker? ● 既存BIでの困りごとと事例 ● ハンズオン 申し込みサイト:https://www.niandc.co.jp/sol/g2001
29.
Thank you Confidential &
Proprietary
Download now