Submit Search
Upload
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
•
1 like
•
780 views
Hideaki Tokida
Follow
Google Cloud Next Tokyo 2018 講演資料
Read less
Read more
Technology
Report
Share
Report
Share
1 of 39
Download now
Download to read offline
Recommended
[GCP INSIDE Retail] オンプレミスDWHからBQへ
[GCP INSIDE Retail] オンプレミスDWHからBQへ
Hideaki Tokida
モバイルゲームのためのデータ分析
モバイルゲームのためのデータ分析
AtsushiTakada1
[自己PR]12/23 エンジニア"1on1"面談会
[自己PR]12/23 エンジニア"1on1"面談会
Toshi Matsumoto
About Istio
About Istio
Hideaki Tokida
【Zeal】azure + power biで始めるbigdata分析の第一歩 20171115版 公開用
【Zeal】azure + power biで始めるbigdata分析の第一歩 20171115版 公開用
yuuki takizawa
JAWS-UG東京 - 2019-09-26 - Gateway祭
JAWS-UG東京 - 2019-09-26 - Gateway祭
Yutaro Ono
Minitabへようこそ 製造向け
Minitabへようこそ 製造向け
KOZO KEIKAKU ENGINEERING Inc., Minitab
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
MicroAd, Inc.(Engineer)
Recommended
[GCP INSIDE Retail] オンプレミスDWHからBQへ
[GCP INSIDE Retail] オンプレミスDWHからBQへ
Hideaki Tokida
モバイルゲームのためのデータ分析
モバイルゲームのためのデータ分析
AtsushiTakada1
[自己PR]12/23 エンジニア"1on1"面談会
[自己PR]12/23 エンジニア"1on1"面談会
Toshi Matsumoto
About Istio
About Istio
Hideaki Tokida
【Zeal】azure + power biで始めるbigdata分析の第一歩 20171115版 公開用
【Zeal】azure + power biで始めるbigdata分析の第一歩 20171115版 公開用
yuuki takizawa
JAWS-UG東京 - 2019-09-26 - Gateway祭
JAWS-UG東京 - 2019-09-26 - Gateway祭
Yutaro Ono
Minitabへようこそ 製造向け
Minitabへようこそ 製造向け
KOZO KEIKAKU ENGINEERING Inc., Minitab
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
社内問い合わせ&申請・承認業務の 管理方法 - Jira Service Management 事例紹介 -
MicroAd, Inc.(Engineer)
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
20200630 Monotaro Data Platform & EC Platform
20200630 Monotaro Data Platform & EC Platform
Taisuke Fukawa
オープンセミナー岡山 これから始めるデータ活用
オープンセミナー岡山 これから始めるデータ活用
syou6162
3ヶ月で50%の社員が利用するツールに
3ヶ月で50%の社員が利用するツールに
KOTARO TAKAHASHI
Glue DataBrewでデータをクリーニング、加工してみよう
Glue DataBrewでデータをクリーニング、加工してみよう
takeshi suto
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
日本マイクロソフト株式会社
【de:code 2020】 さくっとプチ成功する機械学習プロジェクトのコツ
【de:code 2020】 さくっとプチ成功する機械学習プロジェクトのコツ
日本マイクロソフト株式会社
メルペイの与信モデリングにおける特徴量の品質向上の施策
メルペイの与信モデリングにおける特徴量の品質向上の施策
Mai Nakagawa
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Hirono Jumpei
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
日本マイクロソフト株式会社
なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?
なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?
CData Software Japan
[Japan Tech summit 2017] DAL 008
[Japan Tech summit 2017] DAL 008
Microsoft Tech Summit 2017
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
オラクルエンジニア通信
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
日本マイクロソフト株式会社
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
株式会社MonotaRO Tech Team
[Japan Tech summit 2017] SEC 012
[Japan Tech summit 2017] SEC 012
Microsoft Tech Summit 2017
[Japan Tech summit 2017] PRD010
[Japan Tech summit 2017] PRD010
Microsoft Tech Summit 2017
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
日本マイクロソフト株式会社
ピタゴラAPIのすゝめ ー APIの組み合わせ利用でできること -
ピタゴラAPIのすゝめ ー APIの組み合わせ利用でできること -
Hiroshi Masuda
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
SORACOM,INC
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Recruit Technologies
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
More Related Content
What's hot
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
株式会社MonotaRO Tech Team
20200630 Monotaro Data Platform & EC Platform
20200630 Monotaro Data Platform & EC Platform
Taisuke Fukawa
オープンセミナー岡山 これから始めるデータ活用
オープンセミナー岡山 これから始めるデータ活用
syou6162
3ヶ月で50%の社員が利用するツールに
3ヶ月で50%の社員が利用するツールに
KOTARO TAKAHASHI
Glue DataBrewでデータをクリーニング、加工してみよう
Glue DataBrewでデータをクリーニング、加工してみよう
takeshi suto
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
日本マイクロソフト株式会社
【de:code 2020】 さくっとプチ成功する機械学習プロジェクトのコツ
【de:code 2020】 さくっとプチ成功する機械学習プロジェクトのコツ
日本マイクロソフト株式会社
メルペイの与信モデリングにおける特徴量の品質向上の施策
メルペイの与信モデリングにおける特徴量の品質向上の施策
Mai Nakagawa
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Hirono Jumpei
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
日本マイクロソフト株式会社
なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?
なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?
CData Software Japan
[Japan Tech summit 2017] DAL 008
[Japan Tech summit 2017] DAL 008
Microsoft Tech Summit 2017
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
オラクルエンジニア通信
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
日本マイクロソフト株式会社
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
株式会社MonotaRO Tech Team
[Japan Tech summit 2017] SEC 012
[Japan Tech summit 2017] SEC 012
Microsoft Tech Summit 2017
[Japan Tech summit 2017] PRD010
[Japan Tech summit 2017] PRD010
Microsoft Tech Summit 2017
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
日本マイクロソフト株式会社
ピタゴラAPIのすゝめ ー APIの組み合わせ利用でできること -
ピタゴラAPIのすゝめ ー APIの組み合わせ利用でできること -
Hiroshi Masuda
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
SORACOM,INC
What's hot
(20)
MonotaRO のデータ活用と基盤の過去、現在、未来
MonotaRO のデータ活用と基盤の過去、現在、未来
20200630 Monotaro Data Platform & EC Platform
20200630 Monotaro Data Platform & EC Platform
オープンセミナー岡山 これから始めるデータ活用
オープンセミナー岡山 これから始めるデータ活用
3ヶ月で50%の社員が利用するツールに
3ヶ月で50%の社員が利用するツールに
Glue DataBrewでデータをクリーニング、加工してみよう
Glue DataBrewでデータをクリーニング、加工してみよう
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
【de:code 2020】 ハイブリッド プラットフォームの最新動向を知る
【de:code 2020】 さくっとプチ成功する機械学習プロジェクトのコツ
【de:code 2020】 さくっとプチ成功する機械学習プロジェクトのコツ
メルペイの与信モデリングにおける特徴量の品質向上の施策
メルペイの与信モデリングにおける特徴量の品質向上の施策
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
【de:code 2020】 Azure 10 周年の節目に見直したい、Azure インフラのちょっと大事な話
なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?
なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?
[Japan Tech summit 2017] DAL 008
[Japan Tech summit 2017] DAL 008
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
【de:code 2020】 Microsoft が考える新しいハイブリッドクラウドの形とは
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
データ管理に重要なことは事業と組織の理解だった(Data Engineering Study #11 発表資料)
[Japan Tech summit 2017] SEC 012
[Japan Tech summit 2017] SEC 012
[Japan Tech summit 2017] PRD010
[Japan Tech summit 2017] PRD010
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
【de:code 2020】 Chip to Cloud ~ Surface + Microsoft365 で実現するセキュアなリモートワーク環境
ピタゴラAPIのすゝめ ー APIの組み合わせ利用でできること -
ピタゴラAPIのすゝめ ー APIの組み合わせ利用でできること -
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
Developers Summit 2018 | IoTサービスを始める際に必要なこととは
Similar to D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Recruit Technologies
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
VIOPS Virtualized Infrastructure Operators group ARCHIVES
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
Atsushi Tsuchiya
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
Issei Hiraoka
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
NTT DATA Technology & Innovation
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)
日本マイクロソフト株式会社
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」
Cybozucommunity
Datalake最新情報セミナー
Datalake最新情報セミナー
mtanaka0111
CODT2020 ビジネスプラットフォームを支えるCI/CDパイプライン ~エンタープライズのDevOpsを加速させる運用改善Tips~
CODT2020 ビジネスプラットフォームを支えるCI/CDパイプライン ~エンタープライズのDevOpsを加速させる運用改善Tips~
Yuki Ando
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
griddb
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
MongoDB社の製品紹介 2019-MongoDB EA&Atlas
MongoDB社の製品紹介 2019-MongoDB EA&Atlas
昌桓 李
Accelerate Migration to the Cloud using Data Virtualization
Accelerate Migration to the Cloud using Data Virtualization
Denodo
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
OSSではじめるオープン・スタンダードのクラウド @201304
OSSではじめるオープン・スタンダードのクラウド @201304
Shinichiro Arai
20180723 PFNの研究基盤 / PFN research system infrastructure
20180723 PFNの研究基盤 / PFN research system infrastructure
Preferred Networks
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
Similar to D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
(20)
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
VIOPS09: 本当に必要なのはSoftware- Defined Networking? ~今、改めて考えるデータセンタ・ネットワークの役割~
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
Open Cloud Innovation2016 day1(これからのデータ分析者とエンジニアに必要なdatascienceexperienceツールと...
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み(NTTデータ テクノロジーカンファレンス 2020 ...
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)
基調講演「データのグループウェア化」
基調講演「データのグループウェア化」
Datalake最新情報セミナー
Datalake最新情報セミナー
CODT2020 ビジネスプラットフォームを支えるCI/CDパイプライン ~エンタープライズのDevOpsを加速させる運用改善Tips~
CODT2020 ビジネスプラットフォームを支えるCI/CDパイプライン ~エンタープライズのDevOpsを加速させる運用改善Tips~
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
ビッグデータやIoTシステムを支えるデータベース 『GridDB』
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
MongoDB社の製品紹介 2019-MongoDB EA&Atlas
MongoDB社の製品紹介 2019-MongoDB EA&Atlas
Accelerate Migration to the Cloud using Data Virtualization
Accelerate Migration to the Cloud using Data Virtualization
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
OSSではじめるオープン・スタンダードのクラウド @201304
OSSではじめるオープン・スタンダードのクラウド @201304
20180723 PFNの研究基盤 / PFN research system infrastructure
20180723 PFNの研究基盤 / PFN research system infrastructure
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
More from Hideaki Tokida
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
Hideaki Tokida
今更ながらの「マイクロサービス」
今更ながらの「マイクロサービス」
Hideaki Tokida
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
Hideaki Tokida
LT資料イベント状況SNS自動投稿について考えてみた
LT資料イベント状況SNS自動投稿について考えてみた
Hideaki Tokida
Docker Actionを利用してOpenWhiskをあれこれする
Docker Actionを利用してOpenWhiskをあれこれする
Hideaki Tokida
Bluemixクラウド開発入門 Devlivery Pipeline デモ
Bluemixクラウド開発入門 Devlivery Pipeline デモ
Hideaki Tokida
IBM Bluemixクラウド開発入門 15分でわかるBluemix
IBM Bluemixクラウド開発入門 15分でわかるBluemix
Hideaki Tokida
API公開最初の一歩 - API Connect on Bluemix
API公開最初の一歩 - API Connect on Bluemix
Hideaki Tokida
Bluemix User Group ご紹介
Bluemix User Group ご紹介
Hideaki Tokida
BMXUG 大勉強会 2017.6.21 アジェンダ
BMXUG 大勉強会 2017.6.21 アジェンダ
Hideaki Tokida
OpenWhisk meetup vol2
OpenWhisk meetup vol2
Hideaki Tokida
OpenWhisk meetup vol1
OpenWhisk meetup vol1
Hideaki Tokida
Serverless meetup02 openwhisk
Serverless meetup02 openwhisk
Hideaki Tokida
Bluemix Users Group 活動報告
Bluemix Users Group 活動報告
Hideaki Tokida
デモから見るOpenWhisk - Docker Action -
デモから見るOpenWhisk - Docker Action -
Hideaki Tokida
OpenWhisk Serverless への期待
OpenWhisk Serverless への期待
Hideaki Tokida
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
Hideaki Tokida
日本SoftLayerユーザ会紹介資料 2016
日本SoftLayerユーザ会紹介資料 2016
Hideaki Tokida
About OpenWhisk
About OpenWhisk
Hideaki Tokida
Ansible softlayer
Ansible softlayer
Hideaki Tokida
More from Hideaki Tokida
(20)
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
D1-2-OS2_オンプレミスのVMワークロードをGCPへ移行する
今更ながらの「マイクロサービス」
今更ながらの「マイクロサービス」
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
LT資料イベント状況SNS自動投稿について考えてみた
LT資料イベント状況SNS自動投稿について考えてみた
Docker Actionを利用してOpenWhiskをあれこれする
Docker Actionを利用してOpenWhiskをあれこれする
Bluemixクラウド開発入門 Devlivery Pipeline デモ
Bluemixクラウド開発入門 Devlivery Pipeline デモ
IBM Bluemixクラウド開発入門 15分でわかるBluemix
IBM Bluemixクラウド開発入門 15分でわかるBluemix
API公開最初の一歩 - API Connect on Bluemix
API公開最初の一歩 - API Connect on Bluemix
Bluemix User Group ご紹介
Bluemix User Group ご紹介
BMXUG 大勉強会 2017.6.21 アジェンダ
BMXUG 大勉強会 2017.6.21 アジェンダ
OpenWhisk meetup vol2
OpenWhisk meetup vol2
OpenWhisk meetup vol1
OpenWhisk meetup vol1
Serverless meetup02 openwhisk
Serverless meetup02 openwhisk
Bluemix Users Group 活動報告
Bluemix Users Group 活動報告
デモから見るOpenWhisk - Docker Action -
デモから見るOpenWhisk - Docker Action -
OpenWhisk Serverless への期待
OpenWhisk Serverless への期待
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
SIer目線でみたbluemix "bluemixハッカソン、watson ハッカソンでの知見"
日本SoftLayerユーザ会紹介資料 2016
日本SoftLayerユーザ会紹介資料 2016
About OpenWhisk
About OpenWhisk
Ansible softlayer
Ansible softlayer
Recently uploaded
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
furutsuka
Recently uploaded
(9)
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
1.
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ 常田秀明 クラウドエバンジェリスト・日本情報通信株式会社 9月19日
2.
常田秀明 日本情報通信株式会社 バリューインテグレーション本部 クラウド・テクニカルエバンジェリスト 今年のテーマは既存アプリのモダナイゼーション(理想はあれど実装 は泥臭い世界、データをどうするかがとても難しい) 好きなサービスは、PaaS全般。ノンコーディングツールも好き。 Photo Speaker
3.
Agenda ● なぜ BigQuery
を選択するのか ● どのように BigQuery に移行するのか ● まとめ
4.
1 なぜ BigQuery
を選択する のか 既存のデータウェアハウスの持つ課題と BigQuery の 特徴を理解する
5.
オンプレミスのDWHの歴史 RDBMS DWH Data Data RDBMS Data Warehouse データの倉庫 専用アプライアンスの登場 蓄積されたデータの利活用 BI/BA(Business
Analytics) の歴史 企業内の様々なデータ 複雑でかつ指数的に増加
6.
BI/BA(Business Analytics)から見る データウェアハウス RDBMS Data Data RDBMS データソース BI/BA(Business Analytics) 構造化データレイク データマート (分析結果の書き込み) ETL クレンジング ETL データ集約 Data
Wherehouse データ 処理エンジン
7.
オンプレミスDWHの課題 ● 容量 ● コスト ●
技術的な課題
8.
HadoopとDWHの世界 非構造化データレイク HDFS/クラウドストレージ (膨大な領域) 運用コストが高い→導入後に高いハードル (ソフトウェア OSS) MapReduse→Spark/Hive(SQL) データ処理エンジン データ分析ソフトウェア 構造化データレイク (限られた領域) アプライアンスDWH 製品コストが高い→導入前に高いハードル (Teradata、Oracle Exadata、HP
Verticaなど) 主にSQLベース データ処理エンジン データ分析ソフトウェア
9.
BigQuery とは ● 分散型データストアから進化した列 指向データウェアハウス ●
フルマネージドサービス ● ペタバイトデータの処理可能 ● SQL対応、ML対応
10.
BigQuery とは ● Hadoopほど「箱」ではない、 RDBMSほど「スキーマ固定」ではな い。程よい「箱」 ●
仕組みとしても、コスト面でもデータ の倉庫として始めやすい(ゆるく始 められる) ● 「クラウド」的なサービス 基礎技術としての分散データストア 構造化データレイク (膨大な容量) データ処理エンジン Spark/MapReduce/Excel 等のコネクタ Hadoopの良いところをもった DWH 運用コストも導入コストも安い SQL準拠
11.
DWHとしての BigQuery 既存BAツール 構造化データレイク データマート ETL クレンジング BigQuery データ 処理エンジン ●
既存BAツールのデータマートとし てはまだ使いづらい ● 無制限に格納できる構造化デー タレイク ● 様々な処理を BigQuery 側で行う ことで最適化出来る 頻繁な分析結果 の読み書き クラウド世代の BIツール 処理は極力 BigQueryで実施 データ処理エンジン
12.
気になるポイントを解決 従来のDWH/RDBMSが持っている機能を提供 1. バックアップの提供 2. データの暗号化 3.
ユーザ行動の監査 4. きめ細かいアクセス制御
13.
オンプレミスDWHから BigQuery へ 検討すべき3つの項目 1.
既存業務の継続性担保 2. 処理性能担保 3. 大容量の移行方式の確立
14.
分析ソフトウェアと BigQuery 接続の注意点 ●
分析ソフトウェアの利用を検討している場合、BigQuery のもつ性能を 最大限に活用出来るかを評価する。 ○ BigQuery 対応状況 ○ BigQuery の特性を考慮すること
15.
既存の製品特性を理解して BigQuery へ DWHアプライアンス
BigQuery 影響 構造 行指向 列指向 DMLの性能特性が異なる インデックス なし なし 列指向ではデータ=インデックスとなる。クエリ性能に差異 キャッシュ なし あり 繰り返し処理の性能に差異 データ分散キー あり なし 結合処理の性能に差異 パーティショニング なし ゾーンマップが類似 あり 分割テーブル Netezzaソートキー= BigQuery パーティションキーとなる マテリアライズド ビュー あり なし 特定クエリ性能に差異 費用 - ストレージ、クエリ量に よる課金 テーブルの物理分割で費用低減 注意) 弊社比較
16.
[Database]変更に伴う影響 検討項目抜粋
17.
数値からみる BigQuery の特性 単位(sec)
/ 傾向としての参考値 (Read処理) 弊社比較
18.
移行のモチベーション ● コスト ○ 利用した分だけ課金、スモールスタート可能 ●
パフォーマンス ○ 同時並行(リソースという概念がない) ● ビジネスの俊敏性 ○ バージョンアップなど保守不要、フルマネージ、スケール
19.
2 どのように BigQuery
に移 行するのか 業務継続を考慮しながらどのように移行計画を立案す べきか
20.
オンプレミスDWHから BigQuery へ 検討すべき3つの項目 1.
既存業務の継続性担保 2. 処理性能担保 3. 大容量の移行方式の確立 a. 利用しているシステムを止められない b. データがTB以上存在
21.
データ種類からみる2段階の移行 更新されないデータが対象、いつでも移行可能 1 . 事前移行 システム処理やユーザ操作により更新される可能性があるデータが対象 更新されないことを担保する必要があるためシステム停止が必要 2
. 切替移行
22.
ケーススタディ ● データセンタは都内 ● システム停止は12時間以内 ●
データ総量量は、5TB(非圧縮30TB) ● 専用線未契約 ● データの80%以上はBIでユーザ部門が利用 ● BigQuery はUSリージョンを利用
23.
ケーススタディ Data Source群 DataWhar ehouse データ移行 DataPrep ETL 接続先切替 接続先切替 BIツール 分析アプリケーション ※本資料ではこの「データ移行」について話をします Data Source群Data Source群
24.
DWHの中のデータ種類 データマート (利用部門の用途 により最適化) データレイク (構造化データ) 過去データ 現在利用データ 更新なし 更新あり 月次 日次 切替時に静止が必 要
25.
データ種別分類の方法 表:切替時対象の調査シート例
26.
データ移行の考え方
27.
Google Cloud Platform (Region
に注意)作業エリア Data Center データ移行のシステム面での制約 「切替移行」に割り当てられる「時間」を把握する DWH 媒体 Data Export 媒体 搬送 Cloud Storage BigQuery 転送 (専用回線) GCS 経由の 読み込み Transfer Appliance USでは利用可能
28.
事前移行 (a) Google Cloud
Storage を経由した一括登録(1) ポイント ● GCS 経由が早い ● 非圧縮ファイルが優位 ● GCS-BQ はリージョン影響を 受けにくい(近い GCSを利 用) Cloud Storage Cloud Functions BigQuery DC (On-premise) DHW Export Transfer Transfer (Internet or 専用線) 一時保管
29.
事前移行 (a) Google Cloud
Storage を経由した一括登録(2) 留意点 ● 既存DWHからのエクスポート が時間的にも媒体接続におい てもボトルネック ● 専用線が利用できない場合に は転送速度がボトルネックに なる(並列で転送を検討) 図:GCS 転送と BQ Load の時間差を最小限に制御
30.
切替移行 (b) Dataflow を利用した
BQ 読み込み ポイント ● レコード単位でクレンジング 等の処理を追加可能 ● BigQuery のStreaming機能 でデータ追加が可能 ● Java/Pythonで記述( DWH側 のライブラリ必要) BigQuery DC (On-premise) DHW Export Transfer Dataflowから DWHに接続 Cloud Dataflow
31.
切替移行 (c) API(Cli)を利用した BQ
読み込み メリット ● 処理がシンプル ● 端末からの直接データアップ ロードが可能 BigQuery DC (On-premise) DHW Export Transfer Transfer (Internet or 専用線)
32.
切替移行 (d) Dataprepを利用した BQ
読み込み メリット ● 学習コストが低い(GUI) ● データソースに対してデータ 加工が可能 ● 多重処理が可能 (処理の実 態は Dataflow) DC (On-premise) DHW Cloud Dataprep BigQuery Cloud Dataflow
33.
切替移行 (e) ETLを利用した BQ
読み込み メリット ● 恒常的なデータ連携として利 用可能 ● GUIで設定可能 ● 購入が容易(Marketplaceか ら提供,SaaSではないため外 部にデータが送信されない) https://www.matillion.com/
34.
データ移行計画 図:システム停止時間後の業務データの反映 ● システム移行後の既存DWH の利用方針を決める ● 停止時間とデータロードの時 間が足りない場合には更に 仕組みを考える ●
データソース側の切替計画
35.
3 まとめ
36.
まとめ ● オンプレミスDWHから BigQuery
に移行するポイント ○ BQ の製品特性を理解してBI製品(分析アプリケーション) の構築 及び選定を行うことで最大限にメリットを享受出来る ● 移行実施する際に検討すべきポイント ○ 全体データ量の棚卸し ○ 静止点におけるデータ量を最小化(移行対象データを利用する業 務部門との調整)
37.
日本情報通信株式会社の取り組み BigQuery
38.
ブース紹介 プリンスパークタワー東京 ブース番号12
39.
Thank you.
Download now