Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送

9 月までオンラインで開催された Google Cloud Next '20: OnAir、大変多くの方々にご覧いただきました。その中で、世界ではどのようなセッションが注目を集めたのか、人気のコンテンツを解説します。

  • Login to see the comments

[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送

  1. 1. Cloud OnAir Cloud OnAir Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020 年 9 月 24 日 放送
  2. 2. 写真を配置後 角丸六角形くり抜きの図形を 被せてください https://goo.gl/NcsiAz Speaker Cloud OnAir グーグル・クラウド・ジャパン合同会社 エン タープライズ マーケティング 担当部長 北瀬 公彦
  3. 3. Agenda Cloud OnAir APP316: Anthos 詳細: パート 1 Anthos Deep Dive: Part One DA100: Google Cloud によるデータレイクの構築 Building Data Lakes on Google Cloud DA105: BigQuery Omni を使ったマルチクラウド環境でのデータ分析 Analytics in a Multi-Cloud World with BigQuery Omni 1 3 2
  4. 4. Nitin Motgi, Google Cloud DA100 Building Data Lakes on Google Cloud Google Cloud によるデータレイクの構築
  5. 5. データレイクとは、あらゆる規模の 構造化データ、半構造化データ、 非構造化データをすべて取り込み、 安全かつ一元的に 保存、処理、分析を行うための データ プラットフォームです データレイクとは? 取り込み 保管 処理 分析
  6. 6. ガバナンス データレイクでは、構 築と管理が複雑で 時間のかかる プロセスです... バージョンアップ リソース管理 サイロ 人材採用 コスト
  7. 7. レイクを迅速に構築 レイクを管理、保護 レイクへのアクセスを容易に レイクにデータを迅速に 取り込み すべてのデータを カタログ化し、 レイク全体にわたって 探索を可能に レイクのさまざまな レベルでのアクセス制御、 およびアプリケーション 制御を定義 すべてのジョブの指標とSLA をアクセスし 人気の OSS ツールから レイク内のデータに自動的 にアクセスし、データ サイエ ンス ワークロードを実行 レイク内のデータ パーティションを 最適化し、分析 パフォーマンスを改善 コーディングなしで レイク内のデータを クレンジングし、標準化 コンプライアンスおよび監査 ログ レポートを 管理者に提供 標準テンプレートを使って データをゾーン間で 簡単に移動 レイクをシンプルに! Spark Hive presto
  8. 8. データレイク ユースケース データウェアハウス ステージング Image, Audio, Video Web Logs Social Sensor & Device Spatial Refined Stage Raw Stage Data Lake Curated Stage ● データレイクに保存されているデータ の利用 ● データ変換、クレンジング、整形など
  9. 9. データレイク ユースケース データサイエンス、Hadoop ● Hive, Spark などの オープンソースソフトウェア との連携 ● データ分析、解析用の データの準備 Image, Audio, Video Web Logs Social Sensor & Device Spatial Data Science Stage Raw Stage Data Lake Exploratory Analysis Curated Data Advanced Analytics Machine Learning
  10. 10. データレイク ユースケース アクティブ アーカイブ Image, Audio, Video Web Logs Social Sensor & Device Spatial Raw Stage Data Lake Curated Stage Data Warehouse Archive Stage ● 利用しないデータの オフロード ● アクティブ アーカイブを 有効に ● 外部データソースへのクエリ
  11. 11. Cloud Storage 中央ストレージ 安全で費用対効果の高い Catalog & Metastore メタデータへのアクセスと検索 データ取り込み データを GCS にすばやく安全に転送します セキュリティ データの安全性とユーザーの ID を確保する 検証済み データ処理と分析 好きなデータ処理のパイプラインを使って、記述的および予測的分析 をやります Data Catalog Cloud Dataproc Cloud Dataflow BigQuery KMS Cloud Pub/Sub Data Transfer Service Dedicated Interconnect Partner Interconnect Cloud Data Fusion BigQuery Storage Cloud Machine Learning Engine Dataproc Metastore ALPHA
  12. 12. Analytics in a Multi-Cloud World with BigQuery Omni Emily Rapp, Google Cloud DA105 BigQuery Omni を使ったマルチクラウド環境でのデータ分析
  13. 13. インサイトをすべての人に クラウドスケールの エンタープライズ データ ウェアハウス Unique サーバーレス プラットフォーム 標準 SQL(ANSI 2011 準拠)の DML をサポート 暗号化、耐久性、高可用性 Unique 組み込みML Unique リアルタイムのインサイト Unique Google BigQuery TB 規模から数百 PB 規模のデータを扱うお客様をサポートするデータ ウェアハウス
  14. 14. SQL: 2011 準拠 ペタビット規模ネットワーク 高可用性を備えた コンピュート クラスタ (Borg) ストリーミング インサート 無料の バルクロード 複製済み、 分散ストレージ (Colossus) REST API 7 言語の クライアント ライブラリ Web UI, CLI分散インメモリ シャッフル Google 管理の巨大なクラスタ、エクサバイト規模のストレージ、 etc サーバレス、性能、拡張性、従量課金 BigQuery コンピュートとストレージの分離 拡張性 (コンピュート ストレージを別々に拡張)、可用性 BigQuery アーキテクチャ
  15. 15. BigQuery Omni アーキテクチャ BigQuery コンピュートクラスタ 分散メモリシャッフル層 AWS リージョン (Omni) お客様の S3 ストレージ Google Cloud 上の BigQuery コントロールプレーン (UI / API / CLI) コンピュートとストレージの 分離による優れた柔軟性 powered by Anthos technology ペタビットネットワーク BigQuery コンピュートクラスタ 分散メモリシャッフル層 Google Cloud リージョン BigQuery ストレージ AWS Direct Connect BigQuery Router
  16. 16. BigQuery Omni ユースケース
  17. 17. 営業から得たデータをより 効果的に利用して、新しい オーディエンスを獲得するには どうすればいいのでしょうか?”Data scientist “
  18. 18. “営業から得たデータをより効果的に利用して、 新しいオーディエンスを獲得するには どうすればいいのでしょうか? ” アクティベート 複数のデータストーリー AWS S3 Data Storage Google Analytics 360 BigQuery BigQuery (Omni) Marketing platforms
  19. 19. 私たちは毎日何千ものジョブを 使用してログを処理し、 複数のクラウドで、ETL パイプラインを構築しています。”Data engineer “
  20. 20. “私たちは毎日何千ものジョブを使用して ログを処理し、複数のクラウドで、 ETL パイプラインを構築しています。 ” 最適化 既存のワークロード
  21. 21. BigQuery Omni を是非使ってみて下さい Customer Interest Form こちらから登録ください g.co/cloud/omni-form
  22. 22. Anthos Deep Dive: Part One Vic Iglesias, Google Cloud John Murray, Google Cloud APP 316 Anthos 詳細: パート 1
  23. 23. Anthos を導入することでGoogle Kubernetes Engine(GKE)を GCP に加え、オンプレミス、他社クラウドでも利用出来る他、 サービスメッシュ、サーバーレスなどモダナイゼーションに 有用な機能が提供される https://cloud.google.com/anthos/ Anthos とは アプリケーションのモダナイゼーションのためのプラットフォーム
  24. 24. Anthos の特徴 OSS をベースにしたソフトウェア スタック コンテナ オーケストレーション Kubernetes   Anthos GKE サービスメッシュ Istio   Anthos Service Mesh サーバーレス Knative   Cloud Run for Anthos ビルド、デプロイ、スケールを サーバーレスに実現 サービス間をセキュアに接続し L7 ルーティング、可観測性の提供 インフラの抽象化と高い拡張性 コンテナプラットフォーム
  25. 25. Google Cloud’s Anthos クラウド、オンプレミスで モダンなアプリケーション の開発 ポリシー、セキュリティの 自動適用 Kubernetes を始めとした オープンソース技術を利用した 高いポータビリティ、拡張性 モダナイゼーション セキュリティ ポータビリティ、非ロックイン オンプレミスやクラウドで、 統合管理環境を提供 アプリをどこでも実行できる 一貫性 サブスクリプションベースの 価格設定と TCO の削減 統合管理 一貫性 TCO 削減
  26. 26. 設定、ポリシー管理 Anthos Config Management アプリケーション開発 Cloud Run for Anthos サービス管理 Anthos Service Mesh コンテナ管理 Anthos GKE 運用管理 Cloud Monitoring and Logging Core Components of Anthos
  27. 27. 設定、ポリシー管理 Anthos Config Management アプリケーション開発 Cloud Run for Anthos サービス管理 Anthos Service Mesh コンテナ管理 Anthos GKE 運用管理 Cloud Monitoring and Logging Core Components of Anthos Anthos Deep Dive: Part One
  28. 28. 設定、ポリシー管理 Anthos Config Management アプリケーション開発 Cloud Run for Anthos サービス管理 Anthos Service Mesh コンテナ管理 Anthos GKE 運用管理 Cloud Monitoring and Logging Core Components of Anthos Anthos Deep Dive: Part Two
  29. 29. Simplified Management GKE が選択される理由 Scale to any workload Optimized workloads Easy to start
  30. 30. Kubernetes を 簡単に利用 ワンクリックでクラスタを作成 クラスタと、ワークロードを容易に監視 マネージドの環境
  31. 31. 統合的な Kubernetes の可観測性 オープンソースの採用 どこでも実行可能 マネージド監視サービスとの連携 Google SRE の ベストプラクティスが採用 Kubernetes 環境の監視
  32. 32. ハードウェア アクセラレーション Graphics Processing Units (GPUs) Tensor Processing Units (TPUs) ローカルSSD Master Nodes TPUGPU
  33. 33. コンテナ用にチューニングされたWindows サーバーコンテナの準備 Linux と Windows のコンテナを実行可能 レガシーなWindows サーバーアプリケーションのアップグレードや、クラウドネ イティブなアプリケーションの開発、DevOps の採用 Windows サーバーコンテナ
  34. 34. Google Cloud Other CloudsOn-prem Edge 多様な Anthos のデプロイメント Anthos GKE on AWS
  35. 35. オンプレミスへのデプロイメント が必要なケース Latency Requirements Data Locality Bob from Berlin Alice from Arkansas US Germany <2ms
  36. 36. Anthos GKE on-prem
  37. 37. vSphere Admin ClusterAdmin Workstation gkectl kubectl User Cluster vCenter LB Admin Master (VM) Admin Control Plane kubelet Multiple node Pools 1x Admin Control Plane 2x Add-On Nodes 4 vCPU 8 GB RAM User Master kubelet User Control Plane User Master kubelet User Control Plane 3x User Control Plane 4 vCPU 8 GB RAM Admin Node (VM) Admin Add-Ons kubelet Admin Node (VM) Admin Add-Ons kubelet Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet User Master kubelet User Control Plane Data Center Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet ハイレベル アーキテクチャ
  38. 38. vSphere vCenter Data Center ホストに接続 “gkeadm” 1 1 Jump host ● PC を使って接続 ● “gkeadm” ツールを使って管理 ● Linux, Windows で利用可能 まもなく、Mac でも Anthos GKE on-prem - ハイレベル アーキテクチャ
  39. 39. vSphere Admin Workstation gkectl kubectl vCenter Data Center Admin Workstation ● Linux ワークステーション ● OVA で展開 ● “gkectl” をつかって、 インストール、スケール、 アップデートを行う 2 2 Jump host “gkeadm” Anthos GKE on-prem - ハイレベル アーキテクチャ
  40. 40. Anthos GKE on-prem - ハイレベル アーキテクチャ vSphere Admin ClusterAdmin Workstation gkectl kubectl vCenter Admin Master (VM) Admin Control Plane kubelet 1x Admin Control Plane 2x Add-On Nodes 4 vCPU 8 GB RAM Admin Node (VM) Admin Add-Ons kubelet Admin Node (VM) Admin Add-Ons kubelet Data Center Jump host “gkeadm” Admin Cluster ● User cluster の管理 (インストール、 アップグレードなど) ● User cluster master の監視 ● クラスタの監視 ● セキュリティ、ログ、 監視ツールの利用 33
  41. 41. vSphere Admin ClusterAdmin Workstation gkectl kubectl User Cluster vCenter Admin Master (VM) Admin Control Plane kubelet Multiple node pools 1x Admin Control Plane 2x Add-On Nodes 4 vCPU 8 GB RAM User Master kubelet User Control Plane User Master kubelet User Control Plane 3x User Control Plane 4 vCPU 8 GB RAM Admin Node (VM) Admin Add-Ons kubelet Admin Node (VM) Admin Add-Ons kubelet Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet User Master kubelet User Control Plane Data Center User Cluster(s) ● ユーザーのワークロードを実行 ● サイズや構成を変更可能 ● 別々の vSphere データストアに デプロイ可能 ● ライセンス数には、Worker ノードだけがカウントされる ● Admin cluster 毎に、 10 User cluster と 100 ノードを管 理可能 4 4 Jump host “gkeadm” Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet Anthos GKE on-prem - ハイレベル アーキテクチャ
  42. 42. Anthos GKE on-prem - ハイレベル アーキテクチャ vSphere Admin ClusterAdmin Workstation gkectl kubectl User Cluster vCenter LB Admin Master (VM) Admin Control Plane kubelet Multiple node Pools 1x Admin Control Plane 2x Add-On Nodes 4 vCPU 8 GB RAM User Master kubelet User Control Plane User Master kubelet User Control Plane 3x User Control Plane 4 vCPU 8 GB RAM Admin Node (VM) Admin Add-Ons kubelet Admin Node (VM) Admin Add-Ons kubelet Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet User Master kubelet User Control Plane Data Center Load Balancer ● バンドル済みの LB ● F5 Big IP (Physical & Virtual) ● Bring your load balancer (BYOLB), I.e Citrix and soon NSX 5 5 Jump host “gkeadm” Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet
  43. 43. Google Cloud Other CloudsOn-prem Edge 多様な Anthos のデプロイメント Anthos GKE on AWS
  44. 44. AWS で、GKE を利用 AWS のエコシステムとの連 携 マルチクラウド アーキテクチャ Anthos GKE on AWS
  45. 45. AWS EC2 Jump host “anthos-gke” 1 1 Jump host ● PC を使って接続 ● “anthos-gke” ツールを使って 管理 Anthos GKE on AWS - ハイレベル アーキテクチャ
  46. 46. AWS EC2 Jump host “anthos-gke” 2 Admin Cluster ● PC を使って接続 ● “anthos-gke” ツールを使って 管理 ● Terraform により admin cntrol plane をプロビジョニング Admin Cluster Admin Master (VM) Admin Control Plane kubelet Admin Node (VM) Admin Add-Ons kubelet Admin Node (VM) Admin Add-Ons kubelet 2 Anthos GKE on AWS - ハイレベル アーキテクチャ
  47. 47. AWS EC2 Jump host “anthos-gke” 3 Admin Cluster Admin Master (VM) Admin Control Plane kubelet Admin Node (VM) Admin Add-Ons kubelet Admin Node (VM) Admin Add-Ons kubelet User Cluster Multiple node pools User Master kubelet User Control Plane User Master kubelet User Control Plane 3x User Control Plane 4 vCPU 8 GB RAM Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet User Master kubelet User Control Plane 3 Virtual Machine Workload kubelet Worker Node (VM) Workload kubelet ELB Anthos GKE on AWS - ハイレベル アーキテクチャ User Cluster(s) ● ユーザーのワークロードを実行 ● kubectl を使用した、Admin Cluster の設定 ● Admin cluster によって プロビジョニング ● ELB によるロードバランシング
  48. 48. 設定、ポリシー管理マルチクラスタ管理 Config Sync Policy Controller
  49. 49. Multi-Cloud GCP Other Cloud Provider マルチクラスタ採用のユースケース Low-Latency Services Alice in Arkansas Bob in Berlin US Germany Environment Separation (by Team, Tenant, Dev/Stage/Prod) Team A Team B Team C Canary Clusters (for upgrades) Existing Cluster (v 1.10) Canary Cluster (v 1.11) Data Locality Bob from Berlin Alice from Arkansas US Germany Highly Available Services Region A Region B
  50. 50. Anthos Config Management(ACM) Config Sync と Policy Controller 2 つのサービスから構成 Config Sync Namespace や Quota、RBAC など Kubernetes の 設定を 複数のクラスタ間で GitOps 的に同期 / 管理 Policy Controller クラスタに適用されるマニフェストに対して、 予め定義したポリシー遵守を強制し、 コンプライアンスを強化する
  51. 51. Config Sync の仕組み Git repository k8s クラスタ運用者 セキュリティ担当者 ① 新しいポリシー(コード)を コミット Anthos GKE on GCP Anthos GKE on VMware 各クラスタには Config Management Operator が インストールされる ② 各クラスタは対象のGit リポジトリを定期 的に確認しており、 コードに変更があった場合は、 当該変更をクラスタに自動的に反映する
  52. 52. Policy Controller ● Open Policy Agent (OPA) Gatekeeper がベース ● Constraints を用いてクラスタのコンプライアンスを強化 ● PodSecurityPolicy と同様の要件を適用出来るが、更に 適用前のポリシーの監査をすることが可能 ● Rego と呼ばれるNarive Query Language を使って ポリシーを記述、テンプレートもあり
  53. 53. まとめ Cloud OnAir Anthos 詳細: パート 1 Anthos Deep Dive: Part One Google Cloud によるデータレイクの構築 Building Data Lakes on Google Cloud BigQuery Omni を使ったマルチクラウド環境でのデータ分析 Analytics in a Multi-Cloud World with BigQuery Omni 1 3 2
  54. 54. 2020 年 10月 8 日(木)11:00 〜 19:00 Kubernetes を使った最新の開発アプローチを学ぶ Anthos Day http://goo.gle/anthos4お申込はこちらから
  55. 55. http://goo.gle/appmodern視聴はこちらまで
  56. 56. 10 月 6 日 (火) GKE 講座 10 月 7 日 (水) Anthos 講座 Cloud OnBoard お申し込み:https://goo.gle/33wNmiC
  57. 57. Cloud OnAir Cloud OnAir Thank you

×