2020年7月5日に開催された、「第9回 GCPUG 女子会 BigQuery ではじめる SQL 入門」初出の、Google Cloud 一般公開データセットについてのスライドです。 使用されたクエリは https://bit.ly/gcpug-joshi-public-datasets で参照できます。

1. Proprietary + Confidential
Google Cloud
一般公開データセット
Emma Haruka Iwao (@Yuryu)
Developer Advocate, Google Cloud
2020-07-04

2. Proprietary + Confidential
自己紹介
岩尾 エマはるか (Twitter: @Yuryu)
グーグルでDeveloper Advocate しています
大阪出身、現在シアトル
最近中国語の勉強をしています
以前円周率の計算で世間を騒がせました
計算にはBigQuery使ってないです
趣味はゲームと旅行
Cities: Skylines, Civilization VI, 真・三國無双7
https://www.bbc.com/japanese/47552083

5. Proprietary + Confidential
https://cloud.google.com/public-datasets

6. Proprietary + Confidential
● 無料*で使えるBigQueryの公開データ
● BigQuery のデモや勉強に使える
● 政府機関提供データから暗号通貨まで、 180種
類以上のデータが使用できる
● 自前のテーブルとJOINもできる
* BigQuery の使用量は別途かかります
一般公開データセット

7. Proprietary + Confidential
それぞれの記事のページビュー数がテーブルに
記事の全文は入っていない
2020年のものは 1.19TB、294億レコード
たとえば Wikipedia

8. Proprietary + Confidential
それぞれの日の人気ページを見てみる
https://bit.ly/gcpug-joshi-public-datasets

9. Proprietary + Confidential

10. Proprietary + Confidential
パーティション分割
● 内部的に複数テーブルのように扱うこと
● 日付や時間を基準にすることが多い
● テーブルすべてを読まずに処理できる
読み込むときにパーティションを指定して読むことを必須にできる
指定していないと出るエラー :
パーティションを指定しましょう
大きなテーブルはパーティション分割されている

11. Proprietary + Confidential
GitHub の300万以上のプロジェクトから集めた 3TB
を超えるデータセット
● 2億4000万コミット
● 23億ファイル
ファイルの中身をクエリで分析可能
たとえば GitHub

12. Proprietary + Confidential
GitHub のクエリの例

13. Proprietary + Confidential
12.2GB を 4.4 秒で処理
文字列処理付き
無料枠 1TB に 80回分以上収まる
有料でも6セント(6円)強
メールアドレスの組織ランキング

14. Proprietary + Confidential
単なる文字列比較だととても早い
2.3TB / 13.4秒 = 171GB/秒
$5/1TB なので $11.5 ぐらい...

15. Proprietary + Confidential
BigQuery が含まれるレポジトリ

16. Proprietary + Confidential
Spaces vs Tabs

17. Proprietary + Confidential

18. Proprietary + Confidential
各国の感染状況や、 Google Community Mobility
Reports が一般公開データセットに含まれる
COVID-19 のデータセットは2020年7月4日クエリ利
用料も無料
COVID-19 のデータセットもある

19. Proprietary + Confidential
一般公開データセットは無料 *で使える
本当のデータを使った分析入門に最適
常に更新されているので本格的な分析もできる
自分のプロジェクトのテーブルと JOIN もできる
GB単位のものもあるのでデータ量にだけ注意
* BigQuery の使用量は別途かかります
Twitter: @Yuryu
まとめ
今日のクエリ: https://bit.ly/gcpug-joshi-public-datasets