SlideShare a Scribd company logo
1 of 268
Azure
2020年7月
(MPNパートナー様向け配布用)
Tech Briefing:
製造リファレンス・アーキテクチャをベースとした
システム構築を行うための基盤技術トレーニング
福原 毅 ( tfukuha )
日本マイクロソフト株式会社
パートナー事業本部 パートナー技術統括本部 第二アーキテクト本部
シニア クラウド ソリューション アーキテクト ( Azure Data & AI )
~ Part 2: Data & AI 基盤
Part 0: 製造リファレンスアーキテクチャについて
Part 0.5: 事例を中心としたユースケース
Part 1: IoT 基盤
Part 2: Data & AI 基盤
Part 3: サーバーレスとシステム間連携基盤
Part 4: Power Platform / Dynamics 365 概説
Part 5: “製品の変革” を支える基盤サービス
製造リファレンス・アーキテクチャをベースとした
システム構築を行うための基盤技術 トレーニング (座学)
製造リファレンス・アーキテクチャの技術要素のうち、
Data & AI 基盤の概要を理解する
本セッションの目的
インテリジェント クラウド + インテリジェント エッジ による
デジタル フィードバック ループ・フレームワーク
THINGS – データ収集 INSIGHTS – データ蓄積・分析 ACTIONS – 業務適用
Power BI
Surface 他
各種スマートデバイス
業務デバイス
• 共通の
データ モデル
• 構造化・非構造化
データ格納
• Azure AD による認
証・アクセス制御
機械学習モデル
開発・管理
Azure Machine Learning
業務アプリケーション
Power
Automate
Cognitive Services
• IoT データ収集
• デバイス管理・プ
ロビジョニング
• 通信規格対応
(HTTP, AMQP,
MQTT)
データ蓄積
(データレイク)
人
各種スマート デバイス
データ保護 - ID / Security
機器/
センサー GitHub
Azure Active Directory
ユーザー管理・認証・アクセス制御
データ収集・
連携
DB
Azure
IoT Hub
Azure
Data Factory
(Synapse Pipeline)
学習済み AI モデル
Microsoft Teams
Azure
Data Lake Storage
Gen2
PowerApps
外部データ
(非構造化)
Azure Security Center
脆弱性チェック、脅威検出・レポート
• ノンコーディングで
アプリ・ビジネス ロジック・レポート作成
• デバイスをを問わないビジネス チャット、オンライン
会議、ファイル共有
• 現場や人に関連するデータ収集
Dynamics
365
Azure
Logic Apps
Azure
Functions
Azure
App Service
Azure
Kubernetes
Service
• Serverless とPaaS、コンテナー オーケストレーター
データ処理・
分析
Azure Synapse Analytics
Azure Cosmos DB
Azure
DevOps
Bonsai
Azure Sphere
セキュア
MCU
セキュア
OS
10 年間
セキュリティ更新
組み込み
IoT デバイス
• OPC- UA 接続
• リアルタイム
データ処理
• 機械学習モデル
による推論実行
• 継続セキュリティ
保護
Azure
IoT Edge
アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB
Appendix
1. Dynamics 365 Customer Insights & Azure Synapse Analytics
2. SAP上のデータとの連携
アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB
Appendix
1. Dynamics 365 Customer Insights & Azure Synapse Analytics
2. SAP上のデータとの連携
アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB
製造業向けリファレンス アーキテクチャの技術要素の前に、なぜクラウド ストレージなのか?
フルマネージドDBの利点
さまざまなデータソース(BLOB、テーブル、リレーショナル、NoSQLなど)にそれぞれのストラテジを
自動バックアップとリカバリ
ストレージの層
レプリケーションや複数データセンターによる、世界中からの迅速な
アクセス
監視、トラブルシューティング、および管理を大規模に
予測可能なパフォーマンスを得るためのデータベースのチューニングとメンテナンス
データの種類やデバイスを意識せずに、データのアクセス/共有/更新を行う
データの永続性、アクセス性、安全性を維持することは自明
クラウドベースのストレージは、データにアクセスするための標準
APIを提供
現代のデータ資産
オンプレミス
オペレーショナルデータベース
データウェアハウス
データレイク
ハイブリッド
クラウド
オペレーショナルデータベース
データウェアハウス
データレイク
セキュリティとパフォーマンス選択の柔軟性
その場所でデータを
利用する理由に合わせて展開
R JAVA
コスト効果:
信頼性:
ストレージのタイプ:
Azure Data Storage vs オンプレミスストレージ
Azure Storage のアーキテクチャ
インテリジェント クラウド
Azure Data Box ファミリー
データのインポートとエクスポート
Azure APIs on the edge
Azure Backup
Azure Site Recovery
Azure File Sync
Azure とデータセンターの統合
ハイブリッド ストレージ
バックアップと災害対策
長期アーカイブ
ストレージ パートナー エコシステム
インテリジェント エッジ
Azure Stack ファミリー
Azure IoT Edge
Azure IoT Sphere
単一のストレージ アーキテクチャ
耐久性、保管時の暗号化、強い一貫性のあるレプリケーション、耐障害性、自動ロードバランシングアーキテクチャ―
ADLS Gen 2
(File Namespace)
ストレージ サービス Azure Blob Storage Azure Disk Storage Azure File Storage
Object REST HDFS SMBBlock NFS
Temperature tiers
Ultra / Premium から Archive までのストレージ階層
Azure HPC Cache
データのワークロード
Backup
& Archive
Application
& User
Analytics HPC, IoT, AI
NFS
Data Workloads
Applications
High Scale Web &
Mobile
CDN – Web & Video
Interactive (low-
latency)
Analytics
Spark (Databricks) &
Hive
Hadoop Ecosystem
(HDFS)
Machine Learning
Data Warehouse
HPC
Autonomous Driving
Oil & Gas
Genomics
EDA
Cloud Burst
Media transcoding
Finserv & Insurance
Cold
Backup & DR
Logs
Media Archives
Medical Imaging
Storage services
Blobs
REST経由でアクセスする
オブジェクト ストレージ
ストリーム及びランダムな
オブジェクトアクセスの
シナリオ
Files
SMB/REST経由で
アクセスする
ファイル ストレージ
リフト & シフトの
シナリオ
Tables
REST経由でアクセスする
NoSQLストレージ
KeyValue ストア
Queues
REST経由でアクセスする
信頼性の高い
メッセージング
非同期タスクを
スケジューリング
Disks
REST経由で、IaaS
仮想マシンVHDディスク
アクセス
仮想マシン用
永続ディスク
Premium オプション
Temperature tiers
サーバーのバックアップ
リポジトリ
医療情報の
アーカイブ
クラウド ネイティブ
アプリケーションのデータ
インターラクティブ
トランザクション
テレメトリー
ArchiveCoolHotPremium
2019年7月現在の東日本リージョンでの提供価格。最新の価格は、以下のURLをご確認ください。
https://azure.microsoft.com/ja-jp/pricing/details/storage/blobs/➔
Temperature tiers
ストレージのアクセス層
Premium ストレージ: 頻繁にアクセスするデータ
向けの、高いパフォーマンスのハードウェアを提供
ホット ストレージ: 頻繁にアクセスするデータを保
存するために最適化
クール ストレージ: 少なくとも30日間は保存し、
それほど頻繁にアクセスされないデータを保存す
るために最適化
アーカイブ ストレージ: 柔軟な遅延要件 (数時
間の単位)で、少なくとも180日間 は保存し、
稀にしかアクセスされないデータの保存に最適
化
Temperature tiers
アーカイブ ストレージ
Point
ストレージ料金は非常に安価
ホット、クール、アーカイブの3層間で移動可能
最低180日以上保持
用途
長期間のバックアップやセカンダリバックアップ
長期間保存が必要で、かつアクセスされることがないコン
プライアンスやアーカイブデータ
利用する上での注意
アーカイブストレージのデータ読み取りのためには、一度
ホットかクールに変更する必要があります(リハイドレート
処理)。最大15時間かかる場合もあります。
アクセス層を変更する場合に課金が発生します。
ホット クール アーカイブ
最初の 50 テラバイト
(TB)/月
¥2.24/GB ¥1.68/GB ¥0.28/GB
次の 450 TB/月 ¥2.16/GB ¥1.68/GB ¥0.28/GB
500 TB 超/月 ¥2.07/GB ¥1.68/GB ¥0.28/GB
移行元と移行先 課金
よりクール層
への移動
ホット→クール
ホット→アーカイブ
クール→アーカイブ
移動先のアクセス層への書き込
み操作課金
よりホット層へ
の移動
アーカイブ→ホット
アーカイブ→クール
クール→ホット
移動元のアクセス層からの読み
取り操作課金
Architecture
冗長性とレプリケーション
LRS ( Locally Redundant Storage )
99.9% の Read / Write SLA
※クールアクセスレベルでは99%
リージョン内3レプリカ
ディスク、ノード、ラックレベル障害
への保護
全レプリカがコミットでACK
データ耐久性
99.999999999 (11ナイン)
GRS ( Geo-Redundant Storage )
99.9% の Read / Write SLA
※クールアクセスレベルでは99%
2 リージョン、6 レプリカ
広域災害の保護
セカンダリへの非同期書き込み
( ペア リージョン間でコピー作成 )
データ耐久性
99.99999999999999 (16ナイン)
RA-GRS ( Read Access – Geo-Redundant
Storage )
99.99 % の Read SLA
※クールアクセスレベルでは99.9%
GRS + セカンダリの読み取り機能
セカンダリエンドポイントの分離
ゾーン 1
ZRS ( Zone-Redundant Storage )
99.9% の Read / Write SLA
※クールアクセスレベルでは99%
3 ゾーン、3 レプリカ
ディスク、ノード、ラック、ゾーンレベル障
害への保護
3つのゾーンへの同期書き込み
データ耐久性
99.9999999999 (12ナイン)
ゾーン 2 ゾーン 3
※耐久性とSLAは異なります。
Azure Storage API on the Edge
シナリオに合わせて、適切な利用環境を選択可能
Azure
Storage
Blob
REST APIセンサー
Azure Storage SDK
によるカスタムモジュール
Azure IoT Edge デバイス
Azure Blob
Storage
on IoT Edge
データ処理
エッジ側の
ローカル
blob
記憶域
https://docs.microsoft.com/ja-
jp/azure/iot-edge/how-to-store-data-blob➔
https://docs.microsoft.com/
ja-jp/azure/storage/
/Docs について
現代のデータ資産
Azure Data Services
Azure Data Services
データウェアハウス
オペレーショナルデータベース データレイクと分析
リレーショナルデータ用
Azure SQL Database
どんなサイズ、形状、速度の
データも処理し、分析できる
Azure Data Lake
非リレーショナル/NoSQLデータ用
Azure Cosmos DB
オープンソース
Azure Database for MySQL、
PostgreSQL、およびMariaDB
ビッグデータ分析および
AIソリューション用
Azure Databricks
オープンソースベースの分析
Azure HDInsight
セキュリティとパフォーマンス選択の柔軟性
その場所でデータを
利用する理由に合わせて展開
ペタバイトのデータに対する複雑なクエリ用
Azure Synapse Analytics
( Formerly Azure SQL Data Warehouse )
Azure SQL Database
既存のSQL Server のクラウド化では最適で最も経済的
シームレス及び
互換性
競争力の高い
TCO
ビルトインされた
インテリジェンス
画期的な
生産性と
パフォーマンス
業界トップクラス
のセキュリティ
エンタープライズ グレードのセキュリティ
多層防御
Azure SQL Database マネージドインスタンス
SQL Serverの優れた機能と、フルマネージドでインテリジェントなサービスの利点を融合
Azure SQL Edgeプレビュー
一貫性のあるデータ & 分析エンジンをエッジに提供
SQL Server Azure SQL Database新製品
既存の Azure IoT Edge サービスを補完
接続状態またはオフラインで実行される、
省スペース、ターンキー、ML 対応を特長とするエッジ向けの
データ エンジン
ミッション クリティカルなワークロードに
対応する、完全な AI/ML 機能を備えた、
業界をリードするデータ エンジン
Azure SQL Edgeプレビュー
フットプリントが小さく、エッジ向けに最適化され、AI が組み込まれている
プラットフォームの選択肢 AI の組み込み
エッジ
時系列の組み込み
データ センター/
クラウド
アプリを一度開発すれば、任意の場所に展開可能
フットプリントが
小さいエンジン
(500 MB)
組み込みの
時系列ストリーミング
および分析
待ち時間の短い分析の
ための機械学習
ターンキー管理
1 つの管理画面で
展開 & 更新
比類ないパフォーマンスとセ
キュリティ
最高のセキュリティと
業界をリードする
パフォーマンス
オールインワンのローカル ストリーミング、
ストレージ、分析
SQL
時系列
0
20
40
60
80
100
120
140
160
180
200
1 2 3 4 5 6
脆弱性(2010~2018)
ARM64 x64
エッジ コンピューティング導入以前は、クラウドでの分析が問題を指摘した時
点で、応答時間と、場合によっては製品を無駄にしていました。Azure SQL
Edgeにより、応答時間と必要なサイクル数の両方を削減します。
MAXIMILIAN STUETZ
IT Solutions Manager, ZEISS
従業員の
働き方支援
製品の
変革
オペレーション
の最適化
光学系メーカーのZeissは、生産ラインのマシンで Azure SQL
Edgeを使用して IoT テレメトリ データを処理および保存します。
推論アルゴリズムは、モデルとストリーム データを使用して、異常
を自動的に検出して警告し、生産パラメータを調整し、必要な
メンテナンスを予測します。
各工場にビッグ データ クラスターを展開し、すべての Azure SQL Edgeの
データベースからのデータを処理および格納します。
データ仮想化により、生産ラインのマシンからのデータとビジネス アプリケー
ション データベースのデータをダッシュボードに簡単に結合できます。
予測分析の機械学習モデルは、Spark を使用してこれらの結合されたデー
タ ソース全体でトレーニングされます。
Azure SQL Edgeを利用したアーキテクチャ
エッジ-クラウド-オンプレミス データセンターが接続されている場合
SQL Server 2019 ビッグ データ クラスター
SQL Server、PolyBase、HDFS、Spark、機械学習の組み合わせを 1 つのソリューションで提供
構造化データと非構造化データの
両方を管理
データ間の障壁を取り除く 組込みの機械学習機能
SQL Server マスター インスタンス
…
ストレージ プールを使用するデータ レイク
コンピューティング プールによるパフォーマンスのスケーリング
…SQL コンピューティング
ノード
SQL コンピューティング
ノード
SQL コンピューティング
ノード
HDFS
SQL
Server
Spark
分析カスタム アプリ BI
外部データソース
HDFS
SQL
Server
Spark
HDFS
SQL
Server
Spark
…
ツール
Kubernetes
データ プールによる
データマートのスケールアウト
PolyBase
SQL Server 2019
業界をリードするパフォーマンスとセキュリティ、すべてのデータについてのインテリジェンス
0
20
40
60
80
100
120
140
160
180
200
1 2 3 4 5 6
脆弱性(2010~2019)
Power BI Report Server による
Power BI と SQL Server
Reporting Services の長所
No.1 の OLTP パフォーマンス1
1 TB2、10 TB3、および
30 TB4 において No.1 の
DW パフォーマンス
インテリジェントなデータベース
プライベート クラウド パブリック クラウド
最も一貫性のあるデータ プラットフォームすべてのワークロード間でインメモリ
Oracle の 10 分の 1 のコスト
T-SQL
Java
C/C++
PHP
Node.js
C#/VB.NET
Python
Ruby
あらゆるデバイスで
洞察を数分で取得
好みのプラットフォーム、
言語、およびコンテナー
過去 9 年間にわたり5
最も安全
業界をリードする
パフォーマンスと可用性
すべてのデータについての
インテリジェンス
SQL と Spark の力を利用したすべ
てのデータでの AI および機械学習
エッジ
すべての TPC データは 2019 年 9 月 23 日現在のものです。
1 http://www.tpc.org/4081、2 http://www.tpc.org/3331、3 http://www.tpc.org/3336、4 http://www.tpc.org/3337、5 米国国立標準技術研究所 (NIST) Comprehensive Vulnerability Database
SQL Server 2019
すべてのデータのハブとして機能
現代のデータ資産
Azure Data Services
Azure Data Services
データウェアハウス
オペレーショナルデータベース データレイクと分析
リレーショナルデータ用
Azure SQL Database
どんなサイズ、形状、速度の
データも処理し、分析できる
Azure Data Lake
非リレーショナル/NoSQLデータ用
Azure Cosmos DB
オープンソース
Azure Database for MySQL、
PostgreSQL、およびMariaDB
ビッグデータ分析および
AIソリューション用
Azure Databricks
オープンソースベースの分析
Azure HDInsight
セキュリティとパフォーマンス選択の柔軟性
その場所でデータを
利用する理由に合わせて展開
ペタバイトのデータに対する複雑なクエリ用
Azure Synapse Analytics
( Formerly Azure SQL Data Warehouse )
Azure Database Services for MySQL、PostgreSQL、およびMariaDB
Azureのエコシステムとサービスへのさらなる選択肢と完全な統合
マネージドなコミュニティ版
MySQL、PostgreSQL、
およびMariaDB
組み込み済みの高可用性、
秒単位のスケール
セキュリティとコンプライアンスお好みの言語とフレームワーク 業界トップクラスの
グローバルリーチ
容易なリフト&
シフト
エンタープライズで
利用可能
My
データベースではなく、
アプリケーションに集中
エンタープライズ クラスで、クラウド ネイティブな、
PostgreSQL / MySQL / MariaDB の
マネージド サービス
オンプレミス
PostgreSQL
IaaS
Azure VM
PostgreSQL
PaaS
Azure Database for
PostgreSQL,
MySQL, MariaDB
データセンター管理
Hardware
オペレーティングシステムの
展開と更新
データベースの展開、
更新、スケーリング
Virtualization
データ
アプリケーション
高可用性、災害対策、
バックアップ
データセンター管理
Hardware
仮想化
オペレーティングシステム
データベースの展開、
更新、スケーリング
データ
アプリケーション
高可用性、災害対策、
バックアップ
データ
アプリケーション
データセンター管理
Hardware
仮想化環境
オペレーティングシステム
データベースの展開、
更新、スケーリング
高可用性、災害対策、
バックアップ
インテリジェント
パフォーマンス
Microsoft による運用
お客様による運用
機械学習による機能
インテリジェント
セキュリティ
標準で99.99%のSLA
レプリカを作る必要のない高可用性
…
Azure Storage
MySQL or
PostgreSQL
Server
セキュアなコンテナー
XMySQL or
PostgreSQL
Server
セキュアなコンテナー
X
PostgreSQL: 5432
MySQL: 3306
クライアント
Azure
データの冗長化のために
3つのコピーを保持
コンピュータの冗長化
標準で、クィックにスケーリング
従来の仮想マシンによるスケーリングの先を行く柔軟なスケーリングを実現
メリット
• 秒単位でコンピューターを
スケールアップ、スケールダウン
• ストレージを瞬時に拡張
PostgreSQL: 5432
MySQL: 3306
Azure Storage
MySQL or
PostgreSQL
Server
MySQL or
PostgreSQL
Server
セキュアなコンテナー セキュアなコンテナー
クライアント
Azure
Oracle から PostgreSQL | なぜ?
• この2年間で、私たちは多くの顧客がOracle によるアプリケーションのホスティングから離れ、他の RDBMS
データストアに移行するケースを目にしています
• お客様がOracleから遠ざかっている理由は当然のことながら、ライセンスコストとサポートコストの節約が最も
大きなトリガーです
• PostgreSQLはオープンプラットフォームであり、そしてOracleをはるかに上回るオープンソースのメリットを享受
できます
一般的に、Oracle の代替データベースとして PostgreSQL を推奨する理由は 5 つあります。
I. PostgreSQLは機能豊富なデータベースであり、エンタープライズ対応の信頼性を高めています
II. 総所有コスト(TCO)を削減できます
III. オープンソースへの移行を促します
IV. OracleとPostgreSQLの類似点により、移行作業は容易です
V. Azure では、Azure Database for PostgreSQL を使用した柔軟なスケーリングと組み込みの HA を
提供しています
• Ora2pgツールで Oracle から Postgre に移行
• ora2pg は Oracle カタログを読み取り、同等の Postgres オブジェクト (テーブル、ビュー、シーケン
ス、インデックス) を作成し、ユニーク、プライマリ、外部キー、およびチェック制約を文法的な落とし
穴にはまらないように作成します
• データ移行にも使用する場合、ora2pgはOracleに接続し、Postgres互換フォーマットでデータをダ
ンプします (高度に設定可能で、Postgresに接続し、その場ですべてを移行します)
• Azure DMS はもう一つのデータ移行方法(オンライン)です
https://docs.microsoft.com/ja-jp/azure/dms/tutorial-oracle-azure-postgresql-online
• Ora2pg は移行評価レポートを提供します
• Ora2pg は移行プロジェクトを作成します
• すべてのトリガー、関数、プロシージャー、およびパッケージがエクスポートされ、PLPGSQL に変換され
ます
• 複雑なプロシージャは手動で変換する必要があるかもしれません
• Oracle固有のコードは常に書き換える必要があります
• 外部モジュール (DBMS、UTL、.)
• CONNECTED BY (CTE “WITH RECURSIVE" を使用)
• OUTER JOIN (+)
• DECODE
• Oracle Spatial から PostGis へのエクスポート
• Ora2Pg のインストール手順と構成のサンプルは以下のリンクから
移行 | Ora2pg を使用してアセスメントとスキーマを移行
http://ora2pg.darold.net/
• https://docs.microsoft.com/ja-
jp/azure/sql-database/
• https://docs.microsoft.com/ja-
jp/azure/postgresql/
• https://docs.microsoft.com/ja-
jp/azure/mysql/
• https://docs.microsoft.com/ja-
jp/azure/mariadb/
/Docs について
クラウドのイノベーションを保護するために
Microsoft Azure IP Advantage (AIPA)
Azure 上のお客様のアプリケーションMicrosoft*
Online
Services
特許の選択
Patent Pick
特許ライセンスの提供
Springing License + LOT
上限なしの補償
Uncapped Indemnification
⚫ 知財リスクに対する業界トップレベルの保護
⚫ マイクロソフトによってAzureサービスに組み
込まれたOSSもカバー
1
⚫ 既定でMicrosoft Cloudのすべてのお客様が対
象
⚫ 特許訴訟を抑止して防ぐ
⚫ マイクロソフトの1万件の特許から1件の特許を
選択
⚫ Azureを使用されているすべてのお客様が利
用可能
2
⚫ 将来的な特許の保護によって安心を確保
⚫ 将来的にマイクロソフトがNPEに特許を販売し
た場合でも、お客様にライセンスを提供
⚫ Azureを使用されているすべてのお客様が利
用可能
3
https://azure.microsoft.com/en-us/overview/azure-ip-advantage/
1. ご契約条件が適用されます
2. (i) 過去3か月にわたってAzureを1か月あたり1,000ドル利用していること、(ii) 過去2年間以内にAzureの他のお客様に対してそのお客様のAzureワークロードに関する特許侵
害訴訟を起こしていないこと、(iii) Microsoft Azure Advantageの開始後に発生した現行の特許訴訟に関する証拠を提示すること
3. (i) 過去3か月にわたってAzureを1か月あたり1,000ドル利用していること
* 中国では、21Vianetが運
営し、上限なしの補償を提
供しています
Azure Hybrid
Azure であらゆる場所を革新
Management | Security + Identity | App + Data Services | Dev Tools + DevOps
New!
Microsoft Azure
Azure Arc
お客様のユース ケース
https://azure.microsoft.com/ja-jp/blog/azure-services-now-run-anywhere-with-new-
hybrid-capabilities-announcing-azure-arc/
Azure Arc: アーキテクチャ
Management
experiences
Azure Portal
Azure CLI
Azure SDK
Azure Arc
technologies:
Azure
Identity
RBAC
Policy
Index
Groups
Etc.
Azure Resource
Manager
Azure Arc data
RP
Container
registry
Azure Arc
K8s RP
Azure Arc
server RP
Azure Data Services
Wave 1
• SQL
• PostgreSQL
Azure Arc data controller
Kubernetes
Azure PaaS
Control
K8s Cluster
Azure Arc data
agent
GitOps
Manager
Azure Arc K8s
agent
Servers
Linux
Windows
Server
Azure Arc
server agent
Resource specific tools
Azure Data Studio
Cluster provisioning​
Cluster upgrade and patch
management​
Cluster lifecycle management​
Cluster monitoring
K8s Native Tools
Server Admin Tools
Customer locations
Azure Arc: Azure data services anywhere
Azure data services anywhere:
https://azure.microsoft.com/ja-jp/services/azure-arc/hybrid-data-services/
Azure Arc: Azure data services anywhereプレビュー
今後、他の Azure Data Services も追加の予定
Azure Arc上の
Azure Database for
PostgreSQL Hyperscale
Azure Arc上の
Azure SQL Database
Azure Arc: Azure data services anywhere – 全体像
アプリケーションと BI
カスタム
アプリ 分析BI
AKS
…
あらゆる Kubernetes
あらゆる ハードウェア
Azure Data Services
Microsoft
Azure Site
Recovery
OEM ハードウェア
Azure Arc による管理
Kubernetes OPENSHIFT
Azure Site RecoveryAzure MonitorAzure Security
展開
HA/DR
スケーリング
アップデート
バックアップ
診断
Azure Stack
Azure Arc data controller
バックアップ監視とログ
制御 API Azure Arc 統合 HA/DR スケーリング
パッチ適用とアップデート
展開
永続ストレージ
ノード ノード ノード ノード ノード ノード
Azure Data Studio
ID
Azure RBAC & Policy
高度なデータ セキュリティ
展開
リソースのインベントリー
ログとテレメトリー
バックアップと保持期間
利用
azdata CLI
kubectl CLI
Microsoft Container
Registry
SQL DB SQL DB (HA付)
Azure ポータル
Azure Data Studio
CLI
サードパーティ
Kubernetes
API
PostgreSQL Hyperscale* データベース サービス 分析サービス
Azure Arc: Azure data services anywhere アーキテクチャ
オンプレミスとハイブリッドのデータをモダナイズ
Azureによる、あらゆる場所での革新
Azure SQL DB Edge
データ インテリジェンスをエッジに拡張
SQL Server 2019
オンプレミスのデータ資産のハブ
エ ッ ジ
ハ イ ブ リ ッ ド
オ ン プ レ ミ ス
Azure Arc
あらゆる場所でAzure Data Services
現代のデータ資産
Azure Data Services
Azure Data Services
データウェアハウス
オペレーショナルデータベース データレイクと分析
リレーショナルデータ用
Azure SQL Database
どんなサイズ、形状、速度の
データも処理し、分析できる
Azure Data Lake
非リレーショナル/NoSQLデータ用
Azure Cosmos DB
オープンソース
Azure Database for MySQL、
PostgreSQL、およびMariaDB
ビッグデータ分析および
AIソリューション用
Azure Databricks
オープンソースベースの分析
Azure HDInsight
セキュリティとパフォーマンス選択の柔軟性
その場所でデータを
利用する理由に合わせて展開
ペタバイトのデータに対する複雑なクエリ用
Azure Synapse Analytics
( Formerly Azure SQL Data Warehouse )
Azure Cosmos DB
グローバル分散型のマルチモデル データベース サービス
MongoDB
テーブル
API
ターンキー グローバル分散
ストレージとスループットの弾力的なスケールアウト
99thパーセンタイルでの低レイテンシーの保証
包括的なSLA
明確に定義された5つの整合性モデル
ドキュメントカラムファミリ
キー値 グラフ
コア(SQL)
API
グローバルソリューション
Azure Cosmos DB は、最新のアプリパターンとユースケースをサポート
これにより、業界をリードする組織はデータの価値を解放し、グローバルな顧客や変化するビジネスダイナミクスに
リアルタイムで対応できるようになります
世界中に分散され、
利用可能なデータ
ユーザーがいる場所にデータ
を配置します
リアルタイムのカスタマー
エクスペリエンスの構築
遅延の影響を受けやすい
パーソナライゼーション、入札、
および不正検出を可能に
します。
ゲーム、IoT、eコマースに
最適
トラフィックが急増した場合
でも予測可能で高速な
サービス
サーバーレスアーキテクチャ
による開発の簡素化
柔軟なコンピューティング
能力を備え、フルマネージ
ドでイベント駆動型の
マイクロサービス
オペレーショナルデータに
対するSpark 分析の
実行
高速でグローバルなデータ
に対してすばやくインサイト
を提供
NoSQL データのリフト&
シフト
MongoDBおよび
Cassandraのワークロード
のリフト&シフト
高可用性
自動および手動フェールオーバー
マルチホームAPI により、アプリケーションの再デプロイが不要に
低レイテンシー(世界中どこでも)
パケットは光の速度よりも速く移動できません
理想的なネットワーク条件下でも世界中にパケットを送信するには、
100ミリ秒かかります
データの局所性を利用して、光の速度の制限を乗り越えることができます
• CDN は、静的コンテンツに対して解決します
• Azure Cosmos DB は、動的コンテンツに対して解決します
グローバル分散
一貫性と信頼性のある
グローバル サービス
ユーザーのいる場所にデータを配置し、すべて
の製造とオペレーションのイベントを透過的に、
リアルタイムに提供
あらゆる 世界のAzure リージョンにわたる、
ターンキーのデータ レプリケーショ
低遅延のエクスペリエンスを世界中のユーザーに保証
高可用性と障害復旧のための回復性
Cosmos DBの一般的なユースケース:
https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
リアルタイムのカスタマー
エクスペリエンスの構築
最も負荷の高い期間に、同期を維持して、
あらゆるツールを自由に
瞬時にエラスティックにスケーリングし、需要変動を処理
中断のないグローバルなユーザー体験
大規模に変動するユーザーに対して、低遅延のデータアクセスと処
理を提供
複数データセンターにわたり、高可用性を提供
Cosmos DBの一般的なユースケース:
https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
IoT データから実行可能な
洞察を抽出
問題発生前に、機器の状況を分析、
予測することで、俊敏性を維持
機械学習済みモデルが、物理プロセス全体にわたる推奨事項を生成
大量のIoTデータをミリ秒分析
低遅延により、世界中で高いアプリケーションのパフォーマンスと、
瞬間的に効率的な洞察を保証
迅速な洞察のために、データの一貫性モデルをチューニング
Cosmos DBの一般的なユースケース:
https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
IoT テレメトリを活用し、差別化されたエクスペリエンスを構築
予測できないほど大量のリアルタイムデータを、
ビジネスを中断することなしに処理
• テレマティクスは、正確な診断のためにリアルタイム クエリとインデ
キシング機能を提供
• 書き込みの多いワークロードを扱うために、瞬時の柔軟なスケーリ
ング
• SLAによって保証された推測可能なパフォーマンス
Azure Cosmos DB
(Telemetry & device state)
Apache Storm on
Azure HDInsight
Azure Storage
(archival)
Azure Web Jobs
(Change feed
processor)
Logic apps
Azure IoT Hub
Azure Cosmos DB was chosen due
to its ability to ingest data at
massive scale with high availability
guarantee.
オペレーショナルデータに対するSpark 分析の実行
リアルタイム分析アーキテクチャ
https://github.com/microsoft/MCW-Cosmos-DB-Real-Time-Advanced-Analytics より抜粋
サーバーレス アーキテクチャ
で、イノベーションを加速
市場投入までの時間を短縮し、
スケーラビリティを強化し、
さらに、イベント駆動型マイクロサービスにより、
開発者をフレームワークの管理から解放
あらゆるデータの出力、もしくはデータ量をシームレスに処理
データをすぐに利用可能にし、自動的にインデックス付け
安定した収集とクエリー パフォーマンスを提供しつつ、毎秒、多量の
書き込み
リアルタイムで、回復性のある変更フィードを継続的に記録し、いつ
でもアクセス可能
Azure Functionsとネイティブに統合
ドキュメント
スマートでスケーラブルな
SCM
高いスケーラビリティと
回復性のあるアーキテクチャにより、
適切な部品を適切なタイミングで生産
適切な一貫性、可用性、およびパフォーマンスを
Azure Cosmos DB が提供
コンポーネントを独立してスケール
信頼性を高めるイベントベースのマイクロサービス
ドキュメント
NoSQL データの
リフト& シフト
NoSQLワークロードをシームレスにクラウドへ移
行することで、簡単にデータ モダナイゼーション
現在稼働中のNoSQLからアプリケーションデータを移動し、Cosmos
DB APIs が、MongoDB, Cassandra, および SQL (Core) によるア
クセスを提供
既存ツール、ドライバー、およびライブラリを活用し、既存アプリケー
ションの現在のSDKsを継続して利用
ターンキーのジオ レプリケーション
インフラも仮想マシンの管理も不要
MongoDB
Couchbase
CouchDB
Neo4j
HBase
Cassandra
DynamoDB
Cosmos DBの一般的なユースケース:
https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
世界に広がる採用事例
Azure Cosmos DBを使用する10の理由
異なる形式のデータ
マルチ テナントとエンタープ
ライズ グレードのセキュリ
ティ
ターンキーのグローバル分
散機能
ミッション クリティカル
大規模なストレージとスケー
ラビリティのあるスループット
スピードとコ
ストを最適化
5つの明確に定義された整
合性モデル
分析に対応し、イベ
ント駆動型アーキテクチャ
世界の99%のパーセンタイ
ルで、一桁ミリ秒の遅延
高可用性と信頼性と共に、
ビッグ データ
https://docs.microsoft.com/ja-
jp/azure/cosmos-
db/introduction
/Docs について
アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB
現代のデータ資産
Azure Data Services
Azure Data Services
データウェアハウス
オペレーショナルデータベース データレイクと分析
リレーショナルデータ用
Azure SQL Database
どんなサイズ、形状、速度の
データも処理し、分析できる
Azure Data Lake
非リレーショナル/NoSQLデータ用
Azure Cosmos DB
オープンソース
Azure Database for MySQL、
PostgreSQL、およびMariaDB
オープンソースベースの分析
Azure HDInsight
セキュリティとパフォーマンス選択の柔軟性
その場所でデータを
利用する理由に合わせて展開
ビッグデータ分析および
AIソリューション用
Azure Databricks
ペタバイトのデータに対する複雑なクエリ用
Azure Synapse Analytics
( Formerly Azure SQL Data Warehouse )
クラウド スケールの分析基盤
蓄積
前処理 提供収集
( & 前処理 )
Azure
Data Factory
Azure Data Lake Storage
Azure
Databricks
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI
Azure
Machine Learning
Azure Synapse Analytics
(Formerly Azure SQL DW)
クラウド スケールの分析基盤
“Gartner Magic Quadrant for Analytics and Business Intelligence Platforms” で、12年連続リーダーポジション
https://info.microsoft.com/ww-landing-gartner-mq-bi-analytics-2019.html?LCID=JA-JP
サブシナリオ2: 見える化 / サブシナリオ3: 工程間情報統合
Factory of the Future
クラウド スケールの分析基盤
• Azure Data Lake Storage ( Azure Storage )
• Azure Databricks
• Azure Synapse Analytics (旧SQL DWH)
• Azure Data Factory
• Power BI
• Azure Data Share / Azure Data Catalog
2 Data Lake
3 データ加工
4 Synapse Analytics / BIツール
リファレンスアーキテクチャ
Factory of the Future:
2. 工場モニタリング (見える化)
3. 簡易工場デジタルツイン作成
Expectation for Partners
• 装置ログなどから有意なデータ構造を見出すデータ加工(❸)
• 分散処理PaaS等を利用した大規模データ処理ソリューション(❸)
• 工程横断データ分析ソリューション(❹)
IoT Hubから受け取った製造記録(装置ログ・検査結果など)を時系列データの
まま格納する。
格納の時点では対象装置や検査工程ごとのデータであり、製造対象品ごとに紐づ
いていない。
Data Lake2
データ加工結果をBIツールで見える化し、不良要因分析や傾向分析を行う。
Synapse Analytics / BIツール4
Edge PC / Gateway Device1
製造装置のログやセンサデータ、検査結果を時系列で取得し、IoT EdgeからIoT
Hubに送信する。
Data Lake に蓄積された大規模データを Synapse Analytics 上の Apache
Spark で分散処理することにより、高速に構造化データに加工できる。
データ加工の例
• 正規化: 手入力データやアナログ値データを整形し、データ間の比較を可能に
する。
• 変化点検出: 時系列データが変化するタイミングに対してイベントを定義する。
• 工程別データの紐付け: 製造対象品毎に工程、検査などのデータを紐付け、
トレーサビリティ管理が可能なデータ構造にする。
データ加工3
RFID/QRリーダ
装置ログ/
センサデータ
製造・組立装置
Power BI
テレメトリ
製造履歴
装置設定 検査実施
Azure Data Lake
StorageAzure Stream Analytics
生技 品管
IoT Hub
センサデータ
ストリーム
1
製造指示・指図
テレメトリ
検査結果
製造ログ
BOM/BOP
2
4
X
X
X
X
:
時刻
加工前データ
A
工程1
A
B
B
:
型番
a
工程2
a
a
b
:
合格
検査結果
OK
NG
可
:
X
X
X
X
:
加工後データ
A
工程1
A
B
B
:
型番
a
工程2
a
a
b
:
OK
検査結果
OK
NG
OK
:
変化点
変化点
IoT Hub
Gateway
Device
IoT Edge Runtime / Agent
OPC
Twin & Proxy
OPC
Publisher
On-premise
data gateway
IoT Hub
Gateway
Device
Azure Synapse Analytics
Azure Synapse
SQL
Azure Synapse
Pipeline
3
リファレンスアーキテクチャ
Factory of the Future:
2. 工場モニタリング (見える化)
3. 簡易工場デジタルツイン作成
品管担当者などが不良要因分析を実施
適正温度範囲
各Edge PCから
データ収集
検査結果/センサデータを蓄積
工程別の時系列データや
検査結果データなどを
製造業の標準的データモデルに
あてはめて一連のデータセットに
紐づける
BIツールで
不良要因分析の
データアクセス手段を提供
S/N 1 S/N 2 S/N 3
不良
検査結果検査画像
リフロー炉
温度
不良画像
サブシナリオ3: 工程間情報統合 – 補足
品質管理が抱える課題
歩留まり
熟練工
AI & IoTの活用
Factory of the Future
サブシナリオ3: 工程間情報統合 – 補足
データがバラバラだと...
工程1 工程2 工程3 工程N・・・原材料
データソース
?
?
どこの工程が原因か
わからない...データがバラバラで
関係性がすぐにわからない...
Factory of the Future
サブシナリオ3: 工程間情報統合 – 補足
統合データ
Factory of the Future
工程1 工程2 工程3
統合データ
工程N・・・
各工程データを上手に結合することで、
工程をまたがった品質把握が可能に!
原材料
運転条件 外部環境
作業員特性
`
サブシナリオ3: 工程間情報統合 – 補足
結合データの例
ID 品質 工程1-温度 工程2-粘度 工程2-外気温
1111 OK 23.2 89 30
1112 NG 24.3 86 29
1113 OK 23.3 75 31
1114 OK 25.6 79 31
1115 OK 23.0 88 29
1116 NG 23.0 80 31
1117 OK 22.6 90 28
工程3-振動数
1200
1197
1220
1201
1173
1185
1233
※分析要件やデータの特性によって作成方法は異なります。
Factory of the Future
サブシナリオ3: 工程間情報統合 – 補足
品質管理のロードマップ
Factory of the Future
データ可視化
1変数の解析
多変数の解析
予測
最適化・自動化
工程能力指数
コスト(クレーム、人件費、欠品)
稼働率
箱ひげ図
ヒストグラム
検定
回帰分析
相関分析
主成分分析
外観検査
品質特性値予測
製造工程
自動化
リソース最適化
Mixed Reality
ソフトセンサー
クレーム率
製造プロセスの統合データがあれば、
要因探索から最適化までスムーズに
ステップアップが可能に
統合データ
1. Connected Sales
Product as a Service
クラウド スケールの分析基盤
• Azure Data Lake Storage ( Azure Storage )
• Azure Databricks
• Azure Synapse Analytics (旧SQL DWH)
• Azure Data Factory
• Power BI
• Azure Data Share / Azure Data Catalog
3 顧客情報の集約
リファレンスアーキテクチャ
Product as a Service:
1. Connected Sales
Expectation for Partners
• 営業情報や製品利用状況を活用したマーケティングエンジン(❶❷❸)
• マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー
ションとMSプラットフォームとの連携強化(❹❺)
コアとなる顧客情報は Dynamics 365 の DB で管理し、顧客との関係構築を行
いつつ営業情報を管理する。また、Workplace Analytics や Teams を組み合わ
せ、提案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。
営業支援・ナレッジシェアリング2
顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧
客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする
ことによって、顧客の購買・利用行動をデータ上で表現する。
顧客情報集約3
一元管理された多数の顧客行動データを Customer 360 によって分析することに
より、顧客のセグメンテーションやモデル化を行う。
外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ
シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。
顧客のモデル化と最適提案4
計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた
め、適切な関連システムへのインプットを行う。例えば、Dynamics 365 を経由して
営業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが
考えられる。
営業活動の計画自動化5
顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。
製品からの稼働状況収集1
SharePoint
Power Platform
Office 365
Teams
SQL Server
Dynamics 365
IoT Hub
2
Azure Data
Lake Storage
Logic AppsAzure Machine
Learning
分析者
Customer 360
営業顧客 設計営業
営業計画 営業活動実績・製品情報製品稼働
状況
製品稼働
状況
パブリック
DMP
(顧客情報など)
外部システム
(ダイナミック
プライシングなど)
1
3
4
5
Azure
Synapse
Analytics Apache Spark PipelineSQL
Dynamics 365
Customer
Insights
リファレンスアーキテクチャ
Product as a Service:
1. Connected Sales
顧客における製品の利用状
況をIoT Hubで収集・蓄積。
利用状況に応じたOne2One
の提案のインプットにする。
数多くの商品から構成されるソリューション商材であっても、CPQエンジンの自動見積・価格決定機
能と連携することで、営業担当者の手間を最低限に抑えながら、合理的・かつ高速に自動で見積
もり作成と価格の決定を行うことができる。
結果、従来日本企業が苦手としていた、見積もりの短期提出が可能になり、外資系競合に対する
競争力がアップする。
前回訪問時のメモなども共有
されており、チーム内で案件進
捗・顧客の反応は共有済。
推奨製品と提案タイミングを
Dynamics365に登録し、営
業担当に通知
これまでの提案状況(SFA)、
DMPから得られる顧客/業種
の関心仮説等を一元化し、
顧客軸でデータを紐づける
Teamsに蓄積・共有されてい
る提案書や営業活動実績か
ら、担当している企業に似た
案件での成約事例を抽出し
ておく。
リファレンスアーキテクチャ
Product as a Service:
1. Connected Sales
顧客における製品の利用状
況をIoT Hubで収集・蓄積。
当該製品の実動における稼
働環境(温度・稼働時間な
ど)を把握する。
アフターセールスや製品利用状況から、顧客への提案タイミングを検知。
類似顧客の関心のある製品群や対象顧客の製品稼働環境に合わせ、リーズナブルな製品構成を
自動的に推定。
提案書や営業活動実績を
Teamsで共有。
関連製品の他社向け営業担
当者との情報連携を行う
推奨製品と提案タイミングを
Dynamics365に登録し、営
業担当に通知
提案状況や製品利用状況を
顧客を軸に紐付け管理。
さらに、DMPを活用して類似
顧客が関心のある製品情報
を収集。
Intelligent Supply Chain
クラウド スケールの分析基盤
• Azure Data Lake Storage ( Azure Storage )
• Azure Databricks
• Azure Synapse Analytics (旧SQL DWH)
• Azure Data Factory
• Power BI
• Azure Data Share / Azure Data Catalog
2 サプライチェーンデータの一元管理(データオーケストレーション)
リファレンスアーキテクチャIntelligent Supply Chain:
Azure Machine
Learning
外
部
最
適
化
エ
ン
ジ
ン
生産計画
分析モデル開発者
Cognitive
Text Analytics
Cognitive
Text
Logic AppsAzure Machine
Learning
分析モデル
SQL
Azure Logic AppsAzure API Management
Azure Blockchain
Service
Azure
Security
Center
Azure
Active
Directory
設計情報
生産計画
システム
サプライヤーの
物流・調達
システム
調達
システム
Dynamics 365SharePoint
サプライヤ 調達 販売計画
1
2
3
4
5
Azure Data Lake
Storage
Azure
Synapse
Analytics
Azure Functions
Expectation for Partners
• サプライチェーンプラットフォームを利用する各種サービスの開発(❶)
• サプライチェーンプラットフォームの開発・インプリ(❷)
• SCMにおける最適計画立案・最適化エンジンの開発(❸)
• ブロックチェーン等によるSCM技術の確立(❹)
各システムから収集した調達・出荷に関するデータをスケーラブルなデータベースに格納す
る。長期に渡って格納されたデータはサイズが肥大化するが、Synapse Analytics の
Apache Spark や Pipeline の組み合わせなどにより、高速な紐付けや整形を行うこと
でサプライチェーンデータとして構造化できる。
サプライチェーンデータの一元管理(データオーケストレーション)2
分析モデルの開発者が Azure ML 上で蓄積データを参照し、最適在庫量計算などの
元となる分析モデルを作成する。作成された分析モデルに基づいて Azure ML で定常
的かつ自動的にデータ分析を実行する。需要予測や在庫水準最適化など様々な分
析が考えられ、必要に応じて Logic Apps で外部の最適化エンジンと連携することで
実現する。
分析モデルの作成/最適計画立案(アナリティクス)3
一元管理されているサプライチェーンデータや最適化計画は既存システムへの反映の他、
必要に応じて権限管理しながら外部のサプライヤ等と連携するアプリや API を公開す
る。また、Blockchain 上のスマートコントラクトと組み合わせると厳密な契約/履歴管
理を行うことができる。
ワークフロー実行/スマートコントラクト4
これらのシステムをAzure上に構築することで、Azure Active Directory による社内外
のユーザアクセス権やシステム間連携の権限管理、Azure Security Center等による挙
動監視が可能となり、多要素認証へも対応したセキュアなプラットフォームを構築できる。
セキュリティ5
生産計画や調達など既存の関連システムからデータを収集する。また、最適計画の立
案結果などを各システムに配信する。 Function Appsや Logic Apps と Azure API
Management を活用し、柔軟なインタフェース構築が可能となる。業務上不適切な
発注を行うAPI呼び出しなどを検知するために、すべてのAPI Management を経由し
たAPI 呼び出しをストリームすることも可能。
関連システムとのデータインタフェース(インターフェース)1
Spark Pipeline
Azure Service Bus
クラウド スケールの分析基盤
蓄積
前処理 提供収集
( & 前処理 )
Azure
Data Factory
Azure Data Lake Storage
Azure
Databricks
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI
Azure
Machine Learning
Azure Synapse Analytics
(Formerly Azure SQL DW)
Azure Data Lake Storage Gen2 – 蓄積
Object Tiering と
Lifecycle Policy Management
AAD 統合, RBAC,
ストレージアカウントセキュリティ
ZRS と RA-GRS による
HA/DR サポート
Common Blob Storage Foundation
Blob API Gen2 API
サーバー バックアップ,
アーカイブ ストレージ,
半構造化データ
非構造化
オブジェクトデータ
Hadoop ファイルシステム,
ファイルとフォルダーの階層,
粒度の高い POSIX準拠のACL,
ファイル トランザクション
分析データ
Azure Data Lake Storage Gen2 – 蓄積
Preview Coming Soon: Public Cloud Object storage access through NFS v3 is an industry first
Object Tiering と
Lifecycle Policy Management
AAD 統合, RBAC,
ストレージアカウントセキュリティ
ZRS と RA-GRS による
HA/DR サポート
Common Blob Storage Foundation
Blob API NFS v3
サーバー バックアップ,
アーカイブ ストレージ,
半構造化データ
非構造化
オブジェクトデータ
HPC データ、規模の大きいシーケンシャル
リード データセットをNFS v3で利用する
アプリケーション
ファイル
データ
Hadoop ファイルシステム,
ファイルとフォルダーの階層,
粒度の高い POSIX準拠のACL,
ファイル トランザクション
分析データ
Gen2 API
https://docs.microsoft.com/
ja-jp/azure/storage/
/Docs について
クラウド スケールの分析基盤
蓄積
前処理 分析収集
( & 前処理 )
Azure
Data Factory
Azure Data Lake Storage
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI
Azure
Machine Learning
Azure Synapse Analytics
(Formerly Azure SQL DW)
Azure
Databricks
Azure Databricks – 前処理
Azure 上の Apache Spark の位置づけ
最大の制御 簡単に使える
インストールベース。
カスタマイズされたインフラ
運用負荷の少ない、
最適化された Spark クラスター
Azure Databricks
IaaS クラスター 管理されたクラスター
Azure Virtual Machine
(VMSS, VNet, 他)
ワークロードに最適化された
マネージド クラスター
Azure HDInsight
管
理
の
削
減
Azure Data Lake Store
Azure Storage
ス
ト
レ
ー
ジ
層
分
析
層
Apache Spark on Azure – 前処理
Azure HDInsight
を利用するモチベーション
従来のアプローチ: 複雑なMapReduceジョブ、対話型のクエリー、(遅い)ディスクI/Oを多く含んだ、オンラインイベントハブ処理
HDFS
Read
HDFS
Write
HDFS
Read
HDFS
Write
CPU
Iteration 1
Memory CPU
Iteration 2
Memory
を利用するモチベーション
HDFS
Read
HDFS
Write
HDFS
Read
HDFS
Write
CPU
Iteration 1
Memory CPU
Iteration 2
Memory
HDFS
Read
Input
CPU
Iteration 1
Memory CPU
Iteration 2
Memory
ネットワークやディスク
より10~100倍速い
Minimal
Read/Write Disk
Bottleneck
Chain Job Output
into New Job Input
解決策: 新しい分散処理エンジンで、データをメモリー内に保持
従来のアプローチ: 複雑なMapReduceジョブ、対話型のクエリー、(遅い)ディスクI/Oを多く含んだ、オンラインイベントハブ処理
Apache Spark on Azure – 前処理
Azure Databricks
Azure リソース マネージャ
ワークスペース、リソース、ロックさ
れたリソース グループの作成
VM の作成/削除
Apache Spark on Azure – 前処理
Azure Databricks: Unified Analytics Platform
Databricks Workspace
Collaborative Notebooks, Production Jobs
Databricks Runtime
Databricks Cloud Service
Transactions Indexing
ML Frameworks
Blob Storage
Data Lake Store
AZURE
DATA SOURCES
Event Hub
IoT Hub
SQL DB / DW
Cosmos DB
Azure Data Factory
https://docs.microsoft.com/ja
-jp/azure/azure-databricks/
/Docs について
クラウド スケールの分析基盤
蓄積
前処理 提供収集
( & 前処理 )
Azure
Data Factory
Azure Data Lake Storage
Azure
Databricks
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI
Azure
Machine Learning
Azure Synapse Analytics
(Formerly Azure SQL DW)
Azure Data Factory – 収集 & 前処理
Azure Database File Storage NoSQL Services and Apps Generic
Azure Blob Storage Amazon Redshift SQL Server Amazon S3 Couchbase Dynamics 365 Salesforce HTTP
Azure Data Lake
Store
Oracle MySQL File System Cassandra Dynamics CRM Salesforce Service
Cloud
OData
Azure SQL DB Netezza PostgreSQL FTP MongoDB SAP C4C ServiceNow ODBC
Azure SQL DW SAP BW SAP HANA SFTP Oracle CRM Hubspot
Azure Cosmos DB Google BigQuery Informix HDFS Oracle Service
Cloud
Marketo
Azure DB for
MySQL
Sybase DB2 SAP ECC Oracle Responsys
Azure DB for
PostgreSQL
Greenplum MariaDB Zendesk Oracle Eloqua
Azure Search Microsoft Access Drill Zoho CRM
Salesforce
ExactTarget
Azure Table
Storage
Hive Phoenix Amazon
Marketplace
Atlassian Jira
Azure File Storage Hbase Presto Megento Concur
Impala Spark PayPal QuickBooks Online
Vertica Shopify Xero
GE Historian Square
Web table
• サポートされるファイルフォーマット: CSV, AVRO, ORC, Parquet, JSON
• サポートされる圧縮形式: GZip、Deflate、BZip2、ZipDeflate
90を超えるコネクター (随時追加) https://docs.microsoft.com/ja-jp/azure/data-factory/copy-activity-overview
Azure Data Factory – 収集 & 前処理
Mapping Data Flow と Wrangling Data Flow
• Mapping Data Flow (データフローの変換) を使用すると、コードを記述しなくても、グラフィカルなデータ変換ロジックを作成可能。
• Wrangling Data Flow を使用すると、 Power Query Online との統合で、コードなしのデータ準備をクラウド規模で繰り返し実行。
• 生成されたデータ フローは、スケールアウトされた Spark クラスターを使用し、Azure Data Factory パイプライン内でアクティビティとして実行。
https://docs.microsoft.com/ja-jp/azure/data-factory/concepts-data-flow-overview https://docs.microsoft.com/ja-jp/azure/data-factory/wrangling-data-flow-overview
Azure Data Factory – 収集 & 前処理
Mapping Data Flow
• Mapping Data Flow (データフローの変換) を使用すると、コードを記述しなくても、グラフィカルなデータ変換ロジックを作成可能。
• 生成されたデータ フローは、スケールアウトされた Apache Spark クラスターを使用し、Azure Data Factory パイプライン内でアクティビティとして実行。
GUI を利用して、
結合・集計等のデータ処理を作成
処理自体は Spark
の並列分散処理基盤で実行
https://docs.microsoft.com/ja-jp/azure/data-factory/concepts-data-flow-overview
Azure Data Factory Service
クラウドアプリケーション
サービスとデータ
オンプレミス アプリケーションとデータ
ユーザー インターフェイス
Azure Data Factory – 収集 & 前処理
Azure Data Factory での CI/CD と Git
https://docs.microsoft.com/ja-jp/azure/data-factory/continuous-integration-deployment
https://github.com/devlace/datadevops
https://docs.microsoft.com/
ja-jp/azure/data-factory/
/Docs について
クラウド スケールの分析基盤
蓄積
前処理 提供収集
( & 前処理 )
Azure
Data Factory
Azure Data Lake Storage
Azure
Databricks
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI
Azure
Machine Learning
Azure Synapse Analytics
(Formerly Azure SQL DW)
Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供
Compute Optimized Gen2 Architecture
ComputeRemoteStorageControl
Azure Storage
・・・
Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供
価格対性能比 @ 30TB価格対性能比のリーダー
• Redshift よりも 25% 低コスト
• BigQuery よりも 94% 低コスト
GigaOm が総所有コストを複合クエリで除算した TPC-H メトリックとして計算した値。
結果は GigaOm が 2019 年 1 月に発表した TPC-H の結果に基づく。
$0
$10
$20
$30
$40
$50
$60
$550
$600
$40
$33
$47
$54
$48
$51
$564
$103
$110
$152
$80
$100
$120
$140
https://azure.microsoft.com/ja-jp/blog/analytics-in-azure-is-up-to-14x-faster-and-costs-94-less-than-other-cloud-providers-why-go-anywhere-else/ より抜粋
Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供
ワークロード管理の概要
リソースを管理し、リソースを効率的に利用する
ことを保証し、投資対効果 ( ROI ) を最大化
ワークロード管理の3つの概念
1. ワークロードの分類: ワークロード グループに要求を割り当て、重
要度のレベルを設定するという概念
2. ワークロードの重要度: リソースへのアクセス リクエストの順序に影
響
3. ワークロードの分離: ワークロード グループにリソースを予約
ワークロード管理の概念
分
類
重
要
度
分
離
Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供
セキュリティ: 多層防御
包括的な
セキュリティ
転送中のデータ保護
データ暗号化 (サービス管理による鍵とユーザー管理による鍵)
データの検出と分類
行レベル セキュリティ
テーブルとビューのセキュリティ (許可 / 拒否)
列レベル セキュリティ
動的データ マスク
SQL 認証
Azure Active Directory 認証
統合認証
多要素認証
仮想ネットワーク (VNET)
SQL ファイヤーウォール ( サーバー )
ExpressRoute
SQL 脅威の検出
SQL 監査
脆弱性評価
データ保護
カテゴリー 機能 AZURE
SYNAPSE ANALYTICS
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
Yes
企業は重要でありながら独立した2つの分析システムを
維持することを余儀なくされてきた
実験
高速な検索
セミ構造化データ
ビッグデータ
もしくは
実証済みのセキュリティと
プライバシー
信頼性の高いパフォーマンス
運用データ
リレーショナル データ
データ レイク データ ウェアハウス
Azure は、これら 2 つの世界を 1 つのサービスにまとめて、
制限のない分析環境を提供します
ようこそ、制限のない世界へ
簡単に使える
高速な検索
直ぐに始められる
実証済みのセキュリティ
気密性の高いプライバシー
信頼性の高いパフォーマンス
データ ウェアハウスとビッグ データ 分析を1つのサービスへ
Azure は、これら 2 つの世界を 1 つのサービスにまとめて、
制限のない分析環境を提供します
ようこそ、制限のない世界へ
データ ウェアハウスとビッグ データ 分析を1つのサービスへ
Azure Synapse Analytics
Azure
Synapse
Analytics
2019年11月4日、米国オーランドにて発表
データ ウェアハウスとビッグデータ分析システム
全体のあらゆるデータから、驚異的なスピードで
インサイトを提供する無制限の分析サービス
簡単に言うと、Azure Synapse は、Azure
SQL Data Warehouse の進化系です
業界最高水準のデータ ウェアハウスを手に入れ、
同時に全く新しいレベルのパフォーマンスと機能レ
ベルに進化させました
クラウド スケールの分析基盤
蓄積
前処理 提供収集
( & 前処理 )
Azure
Data Factory
Azure Data Lake Storage
Azure
Databricks
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI
Azure
Machine Learning
Azure Synapse Analytics
(Formerly Azure SQL DW)
Azure Synapse Analytics
比類なき処理能力を持つ、制限のないデータウェアハウス
2
蓄積 Azure Data Lake Storage
Azure Synapse Analytics
Power BI
Azure
Machine Learning
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Azure Synapse Analytics
BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム
プラットフォーム
Azure
Data Lake Storage
Common Data Model
Enterprise Security
Optimized for Analytics
メタ ストア
セキュリティ
管理
監視
データ統合
分析ランタイム
プロビジョン型 サーバーレス型
展開方法
SQL
開発言語
Python .NET Java Scala R
エクスペリエンス Synapse Analytics Studio
AI / Machine Learning / IoT / Intelligent Apps /
BI をシングルサービスで提供
Synapse Studio は、Activity ハブに分けています
これらのハブは、分析ソリューションを構築する為に必要なタスクに整理
Synapse Studio
Overview Data
Monitor Manage
Quick-access to common
gestures, most-recently used
items, and links to tutorials
and documentation.
Explore structured and
unstructured data
Centralized view of all resource
usage and activities in the
workspace.
Configure the workspace, pool,
access to artifacts
Develop
Write code and the define
business logic of the pipeline
via notebooks, SQL scripts,
Data flows, etc.
Orchestrate
Design pipelines that that
move and transform data.
Synapse Studioプレビュー
Data Hub
Azure ストレージアカウント (非構造化データ)、 Synapse データセット (準構造化データ) 、Synapse データベース (構
造化データ) をシングルウィンドウで表示し、データ探索を行うことができます。
Data Hub – Storage accounts
Azure Data Lake Storage Gen2 アカウントとファイルシステムの表示 – Explorer のようにデータを見ることが出来ます
ADLS Gen2 Account
Container (filesystem)
Filepath
Data Hub – Storage accounts
簡単なアクションで、SQL スクリプトや Notebook を使った分析を開始できます
T-SQL や PySpark コードを自動生成します
Data Hub – Databases
1つのワークスペースに存在している異なる複数のデータベース (SQL pool,
SQL on-demand, Spark SQL) を1つのウィンドウで探索できます
SQL pool
SQL on-demand
Spark
Data Hub – Databases
テーブルの SQL メタデータから T-SQL スクリプトを簡単に生成
できます
テーブルから DataFrame にロードする PySpark コードを簡単に生成する
ことができます
Data Hub – Datasets
Synapse Orchestrate データセットを用いて、永続化されたデータを定義でき、パイプラインにおけるソースデータ、シンクデータとして利
用することができます。
概要
• クエリ、分析、データモデリングに対する
開発者エクスペリエンスを提供
利点
• 1つのウィンドウで、データ分析に必要な
複数の言語をサポート
• コンテンツを見失うことなく、Notebook と
スクリプトを切り替えが可能
• インテリセンスによって、高品質のコード開発
をサポート
• 洞察に満ちたビジュアル化が可能
Develop Hub
SQL スクリプトを開発
プロビジョニング型の SQL Pool
やオンデマンド型の SQL on-
demand 上で、SQL スクリプト
を実行
個々の SQL スクリプトや複数
の SQL スクリプトをパブリッシュ
(Publish) 可能
SQL 構文チェック、インテリセン
スによるコード補完
Develop Hub - SQL scripts
1つの Notebook 内で、複数言語の記
述が可能
%%<言語名>
言語を横断した一時テーブルを利用可能
構文の強調表示、構文エラー、構文コード
補完、 スマートインデント、コード折りたた
みなどの言語サポート機能を提供
実行結果のエクスポートが可能
開発者によるセッションの設定が可能で、
Notebook の実行に必要なリソースを調
整
Develop Hub - Notebooks
Develop Hub – Power BI
Synapse ワークスペースから Power BI Service ワークスペースに編集済みレポートをパブリッシュ可能
Synapse ワークスペース内で、Save ボタン
をクリックするだけで、変更がパブリッシュ
Azure Synapse Analytics
BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム
プラットフォーム
Azure
Data Lake Storage
Common Data Model
Enterprise Security
Optimized for Analytics
メタ ストア
セキュリティ
管理
監視
データ統合
分析ランタイム
プロビジョン型 サーバーレス型
展開方法
SQL
開発言語
Python .NET Java Scala R
エクスペリエンス Synapse Analytics Studio
AI / Machine Learning / IoT / Intelligent Apps /
BI をシングルサービスで提供
Azure
統合ランタイム
コマンドと制御
凡例
データ
トリガー パイプライン
アクティビティ アクティビティ
アクティビティ アクティビティ
アクティビティ
Self-hosted
統合ランタイム
Linked
Service
Orchestration @ Scale
Azure Data Factory を統合
Azure Synapse Analytics
BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム
プラットフォーム
Azure
Data Lake Storage
Common Data Model
Enterprise Security
Optimized for Analytics
メタ ストア
セキュリティ
管理
監視
データ統合
分析ランタイム
プロビジョン型 サーバーレス型
展開方法
SQL
開発言語
Python .NET Java Scala R
エクスペリエンス Synapse Analytics Studio
AI / Machine Learning / IoT / Intelligent Apps /
BI をシングルサービスで提供
類似点
分散型 Analytics Engine
T-SQL のサポート
データ ウェアハウス機能
相違点
サーバーレス クエリ
データはデータレイクに存在し、データロード不要
管理オーバーヘッドが無い
適用領域
データレイクに対するダイレクト クエリ
SQL Analytics – プロビジョン型とサーバーレス型
サーバーレス型: SQL on-demandプロビジョン型: SQL pool
類似点
分散型 Analytics Engine
T-SQL のサポート
データ ウェアハウス機能
相違点
プロビジョニングされている
ロードデータに対するガバナンスが有効
ワークロードに特化した最適化
先進的なワークロード マネジメント
適用領域
ロードデータに対する最適化されたワークロード
SQL On-Demand: 機能上の5つの柱
SQL クエリを実行するだけ, 管理インフラは不要 !
データは、Azure Storage に配置するだけ, コピーやロードは不要 !
Spark で定義したテーブルが自動的に利用可能, データの 2 重保持は不要 !
SQL のスキルと好みのツールを利用, 新たな学習は不要 !
SQL グレードのセキュリティ, 妥協の必要はなし !
SQL On-Demand: アーキテクチャの5つの柱
Data Lake 上のあらゆるデータをペタバイト スケールでクエリ可能
ステートレス型のサービス アーキテクチャ – 状態とコンピューティングの分離
同一形態のサービスとしては、最高レベルの性能
自己チューニング型のワークロード マネジメント:キャパシティ プランニング, アクセス制御, リソース
ガバナンス
リソース状況認識型タスクスケジューラーによる高い同時実行性
Overview
An interactive query service that provides T-SQL queries over
high scale data in Azure Storage.
Benefits
Serverless
No infrastructure
Pay only for query execution
No ETL
Offers security
Data integration with Databricks, HDInsight
T-SQL syntax to query data
Supports data in various formats (Parquet, CSV, JSON)
Support for BI ecosystem
SQL On-Demand
Azure Storage
SQL On
Demand
Query
Power BI
Azure Data Studio
SSMS
Read and write
data files
Curate and transform data
Sync table
definitions
Read and write
data files
Overview
Uses OPENROWSET function to access data
Benefits
Ability to read CSV File with
- no header row, Windows style new line
- no header row, Unix-style new line
- header row, Unix-style new line
- header row, Unix-style new line, quoted
- header row, Unix-style new line, escape
- header row, Unix-style new line, tab-delimited
- without specifying all columns
SQL On Demand – Querying CSV File
SELECT *
FROM OPENROWSET(
BULK 'https://XXX.blob.core.windows.net/csv/population/populat
ion.csv',
FORMAT = 'CSV',
FIELDTERMINATOR =',',
ROWTERMINATOR = '¥n'
)
WITH (
[country_code] VARCHAR (5) COLLATE Latin1_General_BIN2,
[country_name] VARCHAR (100) COLLATE Latin1_General_BIN2,
[year] smallint,
[population] bigint
) AS [r]
WHERE
country_name = 'Luxembourg'
AND year = 2017
Azure Synapse Analytics
提供機能
無限のスケール 一般提供 プレビュー
プロビジョニング済みコンピューティング
(データ ウェアハウス)
✔
マテリアライズド ビュー ✔
ワークロードの重要度 ✔
ワークロードの分離 ✔
オンデマンド クエリ ✔
強力な分析情報 一般提供 プレビュー
Power BI 統合 ✔
Azure Machine Learning 統合 ✔
データ レイクの探索 ✔
ストリーミング分析
(データ ウェアハウス)
✔
Apache Spark 統合 ✔
比類のないセキュリティ 一般提供 プレビュー
列レベルおよび行レベルのセキュリティ ✔
動的データ マスキング ✔
プライベート エンドポイント ✔
統合されたエクスペリエンス 一般提供 プレビュー
ハイブリッド データ インジェスト ✔
Azure Synapse スタジオ ✔
https://azure.microsoft.com/ja-jp/services/synapse-analytics/ より抜粋
- T-SQL ベースのエクスペリエンス (対話型/バッチ型 スコアリング)
- 他の場所で構築されたその他のモデルとの相互運用性
- データが存在する場所で、スコアリングを実行
機械学習が有効化されたデータウェアハウスプレビュー
--T-SQL syntax for scoring data in SQL DW
SELECT d.*, p.Score
FROM PREDICT(MODEL = @onnx_model, DATA = dbo.mytable AS
d)
WITH (Score float) AS p;
モデルの
アップロード
T-SQL Language
Data Warehouse
Data
+
モデルの
実行
Model
モデルの
作成
Predictions
=
SQL Analytics
蓄積
可視化収集 前処理 変換とエンリッチ 提供
AZURE SYNAPSE ANALYTICS
クラウド スケールの分析基盤
• https://docs.microsoft.com/j
a-jp/azure/synapse-
analytics/overview-what-is
• https://docs.microsoft.com/j
a-jp/azure/sql-data-
warehouse/
/Docs について
従業員の
働き方支援
バックミラーを見る代わりに、分析により、人々は未来を予測でき
るようになりました。それにより、私たちの会社の文化は完全に変
革しました。
JANE MORAN
CIO, Unilever
製品の
変革
データ変革; 予測された知見が主導する組織になるための、
ユニリーバの歩みを加速
販売とブランド パフォーマンス
デジタル化された工場とサプライ チェイン
AI/IoTを活用して工場のデジタル化を行い、予測
メンテナンス+エネルギーコストの削減+廃棄物削減
+歩留まりの改善を実現。工場労働者にセルフサ
ービスの知見を提供
ユニリーバ フード ソリューション
アップセルでの売り上げ向上のため、DTC
チャネルを介したデータ駆動型マーケティング
に対するデータ サイエンスを導入
人事
従業員の業務簡素化、従業員の手にデータを配置し、会話
型AI(Una)を介して手動反復タスクのコストを削減することで、
Employee 2020ビジョンを実現
財務
法務
デジタル化された研究開発
科学的な知見の改善を可能にするビッグ サイエンスの
取組 ( プロセス分析、統合生物学 ) に向けて、ビッグ
データのモデリングとイノベーションの高速化により、市
場投入までのコストと時間を削減
マーケティング
資産のデジタル化
コネクテッドコーヒー自動販売機、浄水器、アイスクリー
ムキャビネットにIoT/AIを活用した新しいビジネスモデル
と消費者体験の向上を実現。在庫/資産の損金処
理を削減
Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
モダン データウェアハウスの論理的な構成
Universal Data Lake (UDL)
Business Data Lake
(BDL)
Business Data Lake
(BDL)
Business Data Lake
(BDL)
Product Product Product Product Product
• Implemented using ADLS
• Implemented using ADLS
• Each product will have its own
resource group for cataloguing
and cross-charging purposes
• Generally implemented using
SQL DW, AAS, PBI, but
flexibility based on
requirements
ADFADF
Orchestration
• Implemented using Azure
Databricks
Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
Azure Synapse Analyticsプレビュー
(旧 Azure SQL DW)
Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
 3か月以下のプレビュー期間
 データ統合、データ・ウェアハウス、ビッグデータ処理機能を大規模に統合
 BI、AI、インテリジェントアプリケーションの提供を加速
 単一のワークスペース内の 1 か所で、収集から BI レポートの作成までの
分析ソリューションを構築
 容易な管理
 統合された DevOps 環境
 容易な展開
 セキュアな環境
 集中監視とアラート
 追加機能
Unilever と Azure Synapse Analyticsプレビュー
Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
分析プロセスをさらに合理化
ビジネス価
値を向上させるために
インフラストラクチャの複雑さを軽減
より高速な分析、より迅速なインサ
イト
素早い道筋
大容量のデータから迅速かつ簡単
に、イライラすることなく探索でき
クラウド スケールの分析基盤
蓄積 Azure Data Lake Storage
Azure Synapse Analytics
Power BI
Azure
Machine Learning
クラウド上のデータ
SaaS 上のデータ
オンプレミス上のデータ
デバイスからのデータ
Power BI 概要
Power BI ファミリー
https://docs.microsoft.com/
ja-jp/power-bi/
/Docs について
(ご参考までに) ビッグ データ と 可視化のアーキテクチャ
https://github.com/Microsoft/MCW-Big-Data-and-Visualization
External Data
(CSV Files)
Historical Data
(CSV Files)
Azure Data
Factory
Azure
Databricks
(Spark SQL)
Power BI
Visualize Predictions
Azure Web Apps
Web Portal
3rd Party API
Azure
Kubernetes
Service
Containerized AI
Services ( Predictions )
Create, train, & export
ML model
Azure Machine
Learning
Store and operationalize
trained ML model
Operationalize ML
model
Copy data to blob storage
Execute Databricks Notebook for
batch scoring
Integration Runtime
Move on-premises
data to Azure
Storage
Azure Synapse Analytics
( Formerly Azure SQL DW )
Azure Data Lake Storage /
Azure Blob Storage
アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB
業界を超えたビッグ データのコラボレーションの必要性
流通
需要予測と価
格最適化のため
の売上、在庫、
人口統計データ
金融
定量分析のた
めの金融市場
データ
公共インフラ
保全、代替エ
ネルギーに関す
る研究のため
の公共インフラ
のデータ
農業
センサー、作物収
量、スマート農業
のための気象デー
タ
自動車
パーソナライズさ
れたエクスペリ
エンスと故障分
析のためのコネ
クテッドカーIoT
データ
ヘルスケア
ヘルスケア、研
究のための学
生データ
行政教育
研究・予防のた
めの患者データ
交通、計画と公
正のための犯罪
データ
Azure Data Shareによる、分析基盤の拡張
強化
• パートナーと顧客からのデータを使用して、
最新のデータ ウェアハウスの洞察を強化
•
コラボレーション
• 業界固有のコンソーシアムを形成し、
メンバー間でデータを共有
•
革新
• カスタム ソリューションに統合:
新しいサービス機能を通じて市場を拡大
•
Azure Synapse
Pipeline
Azure
Databricks
(データの前処理)
Azure Data
Lake Storage
Azure Synapse
SQL (Provisioned)
Power BI
収集と前処理
蓄積
提供 見える化
Azure
Data Share
A企業
Azure
Data Share
共有
Azure
Data Share
B企業
Azure
Data Share
C企業
Azure
Data Share
Azure
Data Share
Azure
Machine Learning
機械学習
オンプレミス中心の従来のデータ共有方法
データ利用者 #1
データ利用者 #2
データ利用者 #3
電子メール、もしくは
USBでの送付
FTP サーバーへコピー
API もしくは、
Webアプリケーション
データ抽出
データ提供者
運用や追跡が難しく、ビッグ データには不向き
テナントを越えて データ共有
データ提供者が 共有を開始
• 何を共有するか?
• 誰と共有するか?
• 利用規約
• スナップショットか、インプレースか?
データ利用者が 共有を承諾
• どこで受け取るか?
Azure Blob、Azure Data Lake Storage、Azure
SQL DB、Azure Synapse Analytics、Azure Data
Explorer、にて提供
Azure Data Shareの動作
ソースの
ストア
ターゲット
のストア
データ提供者 データ利用者
招待メール
インプレースでアクセス
スナップショット
サポートされる Azure Data Store
共有するソースとターゲット間で、異種のストレージ リソースをサポート
ソース
ターゲット
Blob Storage ADLS Gen1 ADLS Gen2 Azure SQL DB
Azure Synapse
Analytics
Azure Data
Explorer
Blob Storage Snapshot Snapshot
ADLS Gen1 Snapshot Snapshot
ADLS Gen2 Snapshot Snapshot
Azure SQL DB
Snapshot
(public preview)
Snapshot
(public preview)
Snapshot
(public preview)
Snapshot
(public preview)
Azure Synapse Analytics
Snapshot
(public preview)
Snapshot
(public preview)
Snapshot
(public preview)
Snapshot
(public preview)
Azure Data Explorer
In-place
(sign up for preview)
Azure Data Catalog
セルフ サービスでデータ ソースを
検出可能にする、企業全体の
メタデータ カタログ
情報資産を管理し、検索性を
向上し、見つけたデータ資産を
理解し、これらのデータ資産に
接続できるように設計
洞察の時間を短縮し、データ活
用を促進
https://docs.microsoft.com/
ja-jp/azure/data-share/
https://docs.microsoft.com/
ja-jp/azure/data-catalog/
/Docs について
アジェンダ
クラウド スケールの分析基盤
• 蓄積: Azure Data Lake Storage
• 収集 ( & 前処理 ): Azure Data Factory
• 前処理: Azure Databricks
• 分析: Azure Synapse Analytics
• 共有: Azure Data Catalog と、Azure Data Share
• 見える化: Power BI
AI 基盤
• 機械学習: Azure Machine Learning
• 学習済モデル: Cognitive Service
• AIの民主化: Power Platform
Azure Storage の基本
• なぜ、クラウド ストレージなのか?
• Azure Storageのアーキテクチャ
• Azure Blob Storage / Azure Data Lake Storage
オペレーショナル データベース基盤
• SQL Server: Azure SQL Database
• オープンソースRDBMSサービス:
Azure Database for PostgreSQL / MySQL / Maria DB
• NoSQLサービス: Azure Cosmos DB
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI )
サブシナリオ5: 処理の自動化 ( ワークフロー / アラート )
Factory of the Future
• Azure Machine Learning
• Cognitive Services
• Power Platform による、AIの民主化
1 Edgeでの装置監視・アラート
2 機械学習/AIのモデル作成
3 予測・最適化
リファレンスアーキテクチャ
Factory of the Future:
4. 最適値算出/分析自動化(アナリティクス、ML、AI)
5. 処理の自動化 ( ワークフロー / アラート )
Expectation for Partners
• Edgeでのリアルタイム異常検知ソリューション(❶)
• MLやCognitiveによる工場特化型分析ソリューション(❷)
• ERPなど周辺システムと連携する生産最適化ソリューション(❹)
Edgeでの装置監視・アラート(Hot path)1
装置からのセンサデータストリームに対して、機械学習モデルで異常判定を行い、異
常時は警報イベントを発報する。異常判定時の静止画をAzure Blob on Edgeと
Azure Blob Storageの同期機能で送信することで、クラウド側での学習に使用で
きる。機械学習モデルについては、クラウド側で作成されたものをIoT Hubから配布
し、IoT Edge デバイスにデプロイすることで、多数のEdge PCに同時に適用できる。
分析モデルの開発者が Azure ML 上で、Data Lake や Synapse Analytics の蓄
積データを使用して分析モデルを作成する。
機械学習/AIのモデル作成(Cold path)2
Logic AppsのコネクタでERPから生産計画・調達計画を参照し、Azure Machine
Learningで作成したモデルが算出する最適値と比較を行う。比較および通知の
ワークフローを Logic App で自動実行して Teams への通知を行う。
作業指示4
Synapse SQL に格納された製造履歴を参照し、Machine Learning により機械
学習モデルを作成。モデルを Kubernetes へ展開し、品質予測や在庫最適値を
算出する。
予測・最適化3
Teamsやモバイルアプリから各担当のモバイル端末へ通知を行う。
Surface Hub をアンドンとして使用し、通知を表示する。
通知5
モバイル製造・組立装置
製造履歴
画像
Azure
Kubernetes Service
Azure
Data Lake
Storage
Azure Stream Analytics
Power Apps
IoT Hub
カメラ
動画 センサデータ
メッセージ 通知
4
5
Logic Apps
model
テレメトリ
Stream Analytics
on Edge
警報装置
発報
model
Model
deploy
ERP
Teams
予測値・最適値
通知
分析モデル
開発者
Azure Machine
Learning
Cognitive
Custom Vision
1
計画値・
実績値
32
画像
Azure Synapse Analytics
Azure Blob Storage
Blob
on Edge
Azure Container
Registry
IoT Edge Runtime / Agent
ML Model (ONNX)
リファレンスアーキテクチャ
Factory of the Future:
4. 最適値算出/分析自動化(アナリティクス、ML、AI)
5. 処理の自動化 ( ワークフロー / アラート )
リフロー炉
温度
装置故障の
可能性がある急激な
温度変動を
リアルタイムに検出
監視カメラ
映像
作業員の転倒や
不適切なエリアへの
侵入を映像から
リアルタイムに検知
パトライトなど
ラインサイドで
警告表示
各Edge PCからデータ収集
作成した分析モデルを
各エッジに配布
検査結果/センサデータを蓄積 蓄積した製造データを横断的に
分析する環境を提供
データ分析担当者によって
故障予兆や異常検知の
分析モデルを作成
定時バッチなどで
分析モデルを元に
故障予測を計算
既存システムと連携して
現在の保全計画・実績と
故障予測を比較し、
保全計画を最適化する
最適化した保全計画に
基づいて
担当者に作業指示を通知
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足
設備保全のレベル
Factory of the Future
故障発生の都度
メンテナンスを行う
故障する前に
メンテナンスを行う
故障の予兆を検知
制約条件を考慮した
最適なアクション自動化
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足
メンテナンスの適切なタイミングを知る
Factory of the Future
Time
Quality
劣化発生
メンテナンス
最適時期
オーバーメンテナンス
予測
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足
異常検知の基本的なアプローチ方法
Factory of the Future
振動数
回転数 稼働日数
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足
設備保全モデルの考え方
Factory of the Future
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足
設備保全モデル
Factory of the Future
回帰 分類 クラスタリング時系列予測
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足
高度な設備保全イメージ
Factory of the Future
!
モデルデプロイ
エッジデバイスで故障の
予兆を検知しアラート
On-Premise
Cloud
!
クラウド分析基盤
サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足
LSTMによるRULの予測の例
Factory of the Future
?
お客様に納入した機械は
いつまで使えるだろうか....
無駄な部品交換は
避けたい...
200日
320日
250日
あと何日使える
1. Connected Sales
Product as a Service
• Azure Machine Learning
• Cognitive Services
• Power Platform による、AIの民主化
4 顧客のモデル化と最適提案
リファレンスアーキテクチャ
Expectation for Partners
• 営業情報や製品利用状況を活用したマーケティングエンジン(❶❷❸)
• マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー
ションとMSプラットフォームとの連携強化(❹❺)
コアとなる顧客情報はDynamics 365 のDBで管理し、顧客との関係構築を行い
つつ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、
提案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。
営業支援・ナレッジシェアリング2
顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧
客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする
ことによって、顧客の購買・利用行動をデータ上で表現する。
顧客情報集約3
一元管理された多数の顧客行動データを Customer 360 によって分析することに
より、顧客のセグメンテーションやモデル化を行う。
外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ
シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。
顧客のモデル化と最適提案4
計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた
め、適切な関連システムへのインプットを行う。例えば、Dynamics 365を経由して
営業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが
考えられる。
営業活動の計画自動化5
顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。
製品からの稼働状況収集1
SharePoint
Power Platform
Office365
Teams
SQL Server
Dynamics 365
IoT Hub
2
Azure Data
Lake Storage
Logic AppsAzure Machine
Learning
分析者
Customer 360
営業顧客 設計営業
営業計画 営業活動実績・製品情報製品稼働
状況
製品稼働
状況
パブリック
DMP
(顧客情報など)
外部システム
(ダイナミック
プライシングなど)
1
3
4
5
Azure
Synapse
Analytics Synapse Spark Synapse PipelineSynapse SQL
Product as a Service:
1. Connected Sales
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)

More Related Content

What's hot

Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)Takeshi Fukuhara
 
Synapse lakedatabase
Synapse lakedatabaseSynapse lakedatabase
Synapse lakedatabaseRyoma Nagata
 
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!Teruchika Yamada
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門Satoru Ishikawa
 
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)Takeshi Fukuhara
 
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL PoolベストプラクティスAzure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL PoolベストプラクティスMicrosoft
 
データ活用を加速するAWS分析サービスのご紹介
データ活用を加速するAWS分析サービスのご紹介データ活用を加速するAWS分析サービスのご紹介
データ活用を加速するAWS分析サービスのご紹介Amazon Web Services Japan
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)日本マイクロソフト株式会社
 
Sql server 構築 運用 tips
Sql server 構築 運用 tipsSql server 構築 運用 tips
Sql server 構築 運用 tipsMasayuki Ozawa
 
AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)
AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)
AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)Amazon Web Services Japan
 
Cookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なことCookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なことMinero Aoki
 
(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらいYoshimasa Katakura
 
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応Ryoma Nagata
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)日本マイクロソフト株式会社
 
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)Amazon Web Services Japan
 
BigData Architecture for Azure
BigData Architecture for AzureBigData Architecture for Azure
BigData Architecture for AzureRyoma Nagata
 
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05都元ダイスケ Miyamoto
 

What's hot (20)

Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 1: IoT 基盤 (製造リファレンス・アーキテクチャ勉強会)
 
Synapse lakedatabase
Synapse lakedatabaseSynapse lakedatabase
Synapse lakedatabase
 
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
Power BI をアプリに埋め込みたい? ならば Power BI Embedded だ!
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
 
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
Part 5: "製品の変革" を支える基盤サービス (製造リファレンス・アーキテクチャ勉強会)
 
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL PoolベストプラクティスAzure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL Poolベストプラクティス
 
Azure Network 概要
Azure Network 概要Azure Network 概要
Azure Network 概要
 
データ活用を加速するAWS分析サービスのご紹介
データ活用を加速するAWS分析サービスのご紹介データ活用を加速するAWS分析サービスのご紹介
データ活用を加速するAWS分析サービスのご紹介
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
 
Sql server 構築 運用 tips
Sql server 構築 運用 tipsSql server 構築 運用 tips
Sql server 構築 運用 tips
 
AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)
AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)
AWS初心者向けWebinar RDBのAWSへの移行方法(Oracleを例に)
 
Cookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なことCookpad TechConf 2016 - DWHに必要なこと
Cookpad TechConf 2016 - DWHに必要なこと
 
(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい(Fix)Azure Network Security Group(NSG)のおさらい
(Fix)Azure Network Security Group(NSG)のおさらい
 
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
 
Big Data Architecture 全体概要
Big Data Architecture 全体概要Big Data Architecture 全体概要
Big Data Architecture 全体概要
 
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
 
Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)Amazon Aurora Deep Dive (db tech showcase 2016)
Amazon Aurora Deep Dive (db tech showcase 2016)
 
BigData Architecture for Azure
BigData Architecture for AzureBigData Architecture for Azure
BigData Architecture for Azure
 
Azure Datalake 大全
Azure Datalake 大全Azure Datalake 大全
Azure Datalake 大全
 
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
 

Similar to Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)

Azure IaaS update (2018年6月~8月 発表版)
Azure IaaS update (2018年6月~8月 発表版) Azure IaaS update (2018年6月~8月 発表版)
Azure IaaS update (2018年6月~8月 発表版) Takamasa Maejima
 
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとはdb tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとはKoji Shinkubo
 
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsMicrosoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsShohei Nagata
 
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密ShuheiUda
 
Oracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデートOracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデートオラクルエンジニア通信
 
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...日本マイクロソフト株式会社
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門Yoichi Kawasaki
 
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)Takeshi Fukuhara
 
わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料Shinichiro Isago
 
わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料guest628c07
 
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターンEffective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターンNoritaka Sekiyama
 
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクルエンジニア通信
 
Azure Data Box Family Overview and Microsoft Intelligent Edge Strategy
Azure Data Box Family Overview and Microsoft Intelligent Edge StrategyAzure Data Box Family Overview and Microsoft Intelligent Edge Strategy
Azure Data Box Family Overview and Microsoft Intelligent Edge StrategyTakeshi Fukuhara
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~griddb
 
Data & AI Update 情報 - 2020年4月版
Data & AI Update 情報 - 2020年4月版Data & AI Update 情報 - 2020年4月版
Data & AI Update 情報 - 2020年4月版Takeshi Fukuhara
 
Managed Instance チートシート
Managed Instance チートシートManaged Instance チートシート
Managed Instance チートシートMasayuki Ozawa
 
自律型データベース Oracle Autonomous Database 最新情報
自律型データベース Oracle Autonomous Database 最新情報自律型データベース Oracle Autonomous Database 最新情報
自律型データベース Oracle Autonomous Database 最新情報オラクルエンジニア通信
 
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!満徳 関
 

Similar to Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会) (20)

Azure IaaS update (2018年6月~8月 発表版)
Azure IaaS update (2018年6月~8月 発表版) Azure IaaS update (2018年6月~8月 発表版)
Azure IaaS update (2018年6月~8月 発表版)
 
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとはdb tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
 
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse AnalyticsMicrosoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
 
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
サポート エンジニアが語る、Microsoft Azure を支えるインフラの秘密
 
Oracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデートOracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2019年10月度サービス情報アップデート
 
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
 
アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門アプリケーション開発者のためのAzure Databricks入門
アプリケーション開発者のためのAzure Databricks入門
 
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
Part 3: サーバーレスとシステム間連携基盤 (製造リファレンス・アーキテクチャ勉強会)
 
Serverless analytics on aws
Serverless analytics on awsServerless analytics on aws
Serverless analytics on aws
 
わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料
 
わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料わんくま東京勉強会#46 Azureセッション資料
わんくま東京勉強会#46 Azureセッション資料
 
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターンEffective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターン
 
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
 
Azure Data Box Family Overview and Microsoft Intelligent Edge Strategy
Azure Data Box Family Overview and Microsoft Intelligent Edge StrategyAzure Data Box Family Overview and Microsoft Intelligent Edge Strategy
Azure Data Box Family Overview and Microsoft Intelligent Edge Strategy
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
 
Data & AI Update 情報 - 2020年4月版
Data & AI Update 情報 - 2020年4月版Data & AI Update 情報 - 2020年4月版
Data & AI Update 情報 - 2020年4月版
 
JAZUG仙台#1勉強会
JAZUG仙台#1勉強会JAZUG仙台#1勉強会
JAZUG仙台#1勉強会
 
Managed Instance チートシート
Managed Instance チートシートManaged Instance チートシート
Managed Instance チートシート
 
自律型データベース Oracle Autonomous Database 最新情報
自律型データベース Oracle Autonomous Database 最新情報自律型データベース Oracle Autonomous Database 最新情報
自律型データベース Oracle Autonomous Database 最新情報
 
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
 

More from Takeshi Fukuhara

Data & AI Update 情報 - 2020年8月版
Data & AI Update 情報 - 2020年8月版Data & AI Update 情報 - 2020年8月版
Data & AI Update 情報 - 2020年8月版Takeshi Fukuhara
 
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )Takeshi Fukuhara
 
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)Takeshi Fukuhara
 
Azure IoT 関連最新情報 (Microsoft Build 2020版)
Azure IoT 関連最新情報 (Microsoft Build 2020版)Azure IoT 関連最新情報 (Microsoft Build 2020版)
Azure IoT 関連最新情報 (Microsoft Build 2020版)Takeshi Fukuhara
 
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)Takeshi Fukuhara
 
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)Takeshi Fukuhara
 
Data & AI Update 情報 - 2020年6月版
Data & AI Update 情報 - 2020年6月版Data & AI Update 情報 - 2020年6月版
Data & AI Update 情報 - 2020年6月版Takeshi Fukuhara
 
Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法Takeshi Fukuhara
 
Microsoft Azure Storage 概要
Microsoft Azure Storage 概要Microsoft Azure Storage 概要
Microsoft Azure Storage 概要Takeshi Fukuhara
 
Visual StudioやAzureからAzure DevOpsを使う
Visual StudioやAzureからAzure DevOpsを使うVisual StudioやAzureからAzure DevOpsを使う
Visual StudioやAzureからAzure DevOpsを使うTakeshi Fukuhara
 
.NETアプリケーションのクラウド最適化
.NETアプリケーションのクラウド最適化.NETアプリケーションのクラウド最適化
.NETアプリケーションのクラウド最適化Takeshi Fukuhara
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesTakeshi Fukuhara
 
Using Azure Compute with VMSS, Kubernetes, and Service Fabric
Using Azure Compute with VMSS, Kubernetes, and Service FabricUsing Azure Compute with VMSS, Kubernetes, and Service Fabric
Using Azure Compute with VMSS, Kubernetes, and Service FabricTakeshi Fukuhara
 
Azure Kubernetes Service Overview
Azure Kubernetes Service OverviewAzure Kubernetes Service Overview
Azure Kubernetes Service OverviewTakeshi Fukuhara
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesTakeshi Fukuhara
 
Modernization of IT Infrastructure by Microsoft Azure
Modernization of IT Infrastructure by Microsoft AzureModernization of IT Infrastructure by Microsoft Azure
Modernization of IT Infrastructure by Microsoft AzureTakeshi Fukuhara
 
Azure App Service Overview
Azure App Service OverviewAzure App Service Overview
Azure App Service OverviewTakeshi Fukuhara
 
Windows Server Container and Windows Subsystem for Linux
Windows Server Container and Windows Subsystem for LinuxWindows Server Container and Windows Subsystem for Linux
Windows Server Container and Windows Subsystem for LinuxTakeshi Fukuhara
 
Azure IoT Customer Stories
Azure IoT Customer StoriesAzure IoT Customer Stories
Azure IoT Customer StoriesTakeshi Fukuhara
 
Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.
Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.
Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.Takeshi Fukuhara
 

More from Takeshi Fukuhara (20)

Data & AI Update 情報 - 2020年8月版
Data & AI Update 情報 - 2020年8月版Data & AI Update 情報 - 2020年8月版
Data & AI Update 情報 - 2020年8月版
 
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
Azure Digital Twins 最新事例紹介 ( IoTビジネス共創ラボ 第16回勉強会 )
 
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
Part 4: Power Platform 概説 (製造リファレンス・アーキテクチャ勉強会)
 
Azure IoT 関連最新情報 (Microsoft Build 2020版)
Azure IoT 関連最新情報 (Microsoft Build 2020版)Azure IoT 関連最新情報 (Microsoft Build 2020版)
Azure IoT 関連最新情報 (Microsoft Build 2020版)
 
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
Part 0.5: 事例を中心としたユースケース (製造リファレンス・アーキテクチャ勉強会)
 
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
Part 0: 製造リファレンス・アーキテクチャとは?(製造リファレンス・アーキテクチャ勉強会)
 
Data & AI Update 情報 - 2020年6月版
Data & AI Update 情報 - 2020年6月版Data & AI Update 情報 - 2020年6月版
Data & AI Update 情報 - 2020年6月版
 
Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法Azure Monitor Logで実現するモダンな管理手法
Azure Monitor Logで実現するモダンな管理手法
 
Microsoft Azure Storage 概要
Microsoft Azure Storage 概要Microsoft Azure Storage 概要
Microsoft Azure Storage 概要
 
Visual StudioやAzureからAzure DevOpsを使う
Visual StudioやAzureからAzure DevOpsを使うVisual StudioやAzureからAzure DevOpsを使う
Visual StudioやAzureからAzure DevOpsを使う
 
.NETアプリケーションのクラウド最適化
.NETアプリケーションのクラウド最適化.NETアプリケーションのクラウド最適化
.NETアプリケーションのクラウド最適化
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge Technologies
 
Using Azure Compute with VMSS, Kubernetes, and Service Fabric
Using Azure Compute with VMSS, Kubernetes, and Service FabricUsing Azure Compute with VMSS, Kubernetes, and Service Fabric
Using Azure Compute with VMSS, Kubernetes, and Service Fabric
 
Azure Kubernetes Service Overview
Azure Kubernetes Service OverviewAzure Kubernetes Service Overview
Azure Kubernetes Service Overview
 
Microsoft Intelligent Edge Technologies
Microsoft Intelligent Edge TechnologiesMicrosoft Intelligent Edge Technologies
Microsoft Intelligent Edge Technologies
 
Modernization of IT Infrastructure by Microsoft Azure
Modernization of IT Infrastructure by Microsoft AzureModernization of IT Infrastructure by Microsoft Azure
Modernization of IT Infrastructure by Microsoft Azure
 
Azure App Service Overview
Azure App Service OverviewAzure App Service Overview
Azure App Service Overview
 
Windows Server Container and Windows Subsystem for Linux
Windows Server Container and Windows Subsystem for LinuxWindows Server Container and Windows Subsystem for Linux
Windows Server Container and Windows Subsystem for Linux
 
Azure IoT Customer Stories
Azure IoT Customer StoriesAzure IoT Customer Stories
Azure IoT Customer Stories
 
Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.
Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.
Microsoft Azure Stack Overview and Roadmap - March 7th, 2019.
 

Part 2: Data & AI 基盤 (製造リファレンス・アーキテクチャ勉強会)

  • 1. Azure 2020年7月 (MPNパートナー様向け配布用) Tech Briefing: 製造リファレンス・アーキテクチャをベースとした システム構築を行うための基盤技術トレーニング 福原 毅 ( tfukuha ) 日本マイクロソフト株式会社 パートナー事業本部 パートナー技術統括本部 第二アーキテクト本部 シニア クラウド ソリューション アーキテクト ( Azure Data & AI ) ~ Part 2: Data & AI 基盤
  • 2. Part 0: 製造リファレンスアーキテクチャについて Part 0.5: 事例を中心としたユースケース Part 1: IoT 基盤 Part 2: Data & AI 基盤 Part 3: サーバーレスとシステム間連携基盤 Part 4: Power Platform / Dynamics 365 概説 Part 5: “製品の変革” を支える基盤サービス 製造リファレンス・アーキテクチャをベースとした システム構築を行うための基盤技術 トレーニング (座学)
  • 3. 製造リファレンス・アーキテクチャの技術要素のうち、 Data & AI 基盤の概要を理解する 本セッションの目的
  • 4. インテリジェント クラウド + インテリジェント エッジ による デジタル フィードバック ループ・フレームワーク THINGS – データ収集 INSIGHTS – データ蓄積・分析 ACTIONS – 業務適用 Power BI Surface 他 各種スマートデバイス 業務デバイス • 共通の データ モデル • 構造化・非構造化 データ格納 • Azure AD による認 証・アクセス制御 機械学習モデル 開発・管理 Azure Machine Learning 業務アプリケーション Power Automate Cognitive Services • IoT データ収集 • デバイス管理・プ ロビジョニング • 通信規格対応 (HTTP, AMQP, MQTT) データ蓄積 (データレイク) 人 各種スマート デバイス データ保護 - ID / Security 機器/ センサー GitHub Azure Active Directory ユーザー管理・認証・アクセス制御 データ収集・ 連携 DB Azure IoT Hub Azure Data Factory (Synapse Pipeline) 学習済み AI モデル Microsoft Teams Azure Data Lake Storage Gen2 PowerApps 外部データ (非構造化) Azure Security Center 脆弱性チェック、脅威検出・レポート • ノンコーディングで アプリ・ビジネス ロジック・レポート作成 • デバイスをを問わないビジネス チャット、オンライン 会議、ファイル共有 • 現場や人に関連するデータ収集 Dynamics 365 Azure Logic Apps Azure Functions Azure App Service Azure Kubernetes Service • Serverless とPaaS、コンテナー オーケストレーター データ処理・ 分析 Azure Synapse Analytics Azure Cosmos DB Azure DevOps Bonsai Azure Sphere セキュア MCU セキュア OS 10 年間 セキュリティ更新 組み込み IoT デバイス • OPC- UA 接続 • リアルタイム データ処理 • 機械学習モデル による推論実行 • 継続セキュリティ 保護 Azure IoT Edge
  • 5. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか? • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB Appendix 1. Dynamics 365 Customer Insights & Azure Synapse Analytics 2. SAP上のデータとの連携
  • 6. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか? • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB Appendix 1. Dynamics 365 Customer Insights & Azure Synapse Analytics 2. SAP上のデータとの連携
  • 7. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか? • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
  • 8. 製造業向けリファレンス アーキテクチャの技術要素の前に、なぜクラウド ストレージなのか? フルマネージドDBの利点 さまざまなデータソース(BLOB、テーブル、リレーショナル、NoSQLなど)にそれぞれのストラテジを 自動バックアップとリカバリ ストレージの層 レプリケーションや複数データセンターによる、世界中からの迅速な アクセス 監視、トラブルシューティング、および管理を大規模に 予測可能なパフォーマンスを得るためのデータベースのチューニングとメンテナンス データの種類やデバイスを意識せずに、データのアクセス/共有/更新を行う データの永続性、アクセス性、安全性を維持することは自明 クラウドベースのストレージは、データにアクセスするための標準 APIを提供
  • 11. Azure Storage のアーキテクチャ インテリジェント クラウド Azure Data Box ファミリー データのインポートとエクスポート Azure APIs on the edge Azure Backup Azure Site Recovery Azure File Sync Azure とデータセンターの統合 ハイブリッド ストレージ バックアップと災害対策 長期アーカイブ ストレージ パートナー エコシステム インテリジェント エッジ Azure Stack ファミリー Azure IoT Edge Azure IoT Sphere 単一のストレージ アーキテクチャ 耐久性、保管時の暗号化、強い一貫性のあるレプリケーション、耐障害性、自動ロードバランシングアーキテクチャ― ADLS Gen 2 (File Namespace) ストレージ サービス Azure Blob Storage Azure Disk Storage Azure File Storage Object REST HDFS SMBBlock NFS Temperature tiers Ultra / Premium から Archive までのストレージ階層 Azure HPC Cache データのワークロード Backup & Archive Application & User Analytics HPC, IoT, AI NFS
  • 12. Data Workloads Applications High Scale Web & Mobile CDN – Web & Video Interactive (low- latency) Analytics Spark (Databricks) & Hive Hadoop Ecosystem (HDFS) Machine Learning Data Warehouse HPC Autonomous Driving Oil & Gas Genomics EDA Cloud Burst Media transcoding Finserv & Insurance Cold Backup & DR Logs Media Archives Medical Imaging
  • 13. Storage services Blobs REST経由でアクセスする オブジェクト ストレージ ストリーム及びランダムな オブジェクトアクセスの シナリオ Files SMB/REST経由で アクセスする ファイル ストレージ リフト & シフトの シナリオ Tables REST経由でアクセスする NoSQLストレージ KeyValue ストア Queues REST経由でアクセスする 信頼性の高い メッセージング 非同期タスクを スケジューリング Disks REST経由で、IaaS 仮想マシンVHDディスク アクセス 仮想マシン用 永続ディスク Premium オプション
  • 15. Temperature tiers ストレージのアクセス層 Premium ストレージ: 頻繁にアクセスするデータ 向けの、高いパフォーマンスのハードウェアを提供 ホット ストレージ: 頻繁にアクセスするデータを保 存するために最適化 クール ストレージ: 少なくとも30日間は保存し、 それほど頻繁にアクセスされないデータを保存す るために最適化 アーカイブ ストレージ: 柔軟な遅延要件 (数時 間の単位)で、少なくとも180日間 は保存し、 稀にしかアクセスされないデータの保存に最適 化
  • 16. Temperature tiers アーカイブ ストレージ Point ストレージ料金は非常に安価 ホット、クール、アーカイブの3層間で移動可能 最低180日以上保持 用途 長期間のバックアップやセカンダリバックアップ 長期間保存が必要で、かつアクセスされることがないコン プライアンスやアーカイブデータ 利用する上での注意 アーカイブストレージのデータ読み取りのためには、一度 ホットかクールに変更する必要があります(リハイドレート 処理)。最大15時間かかる場合もあります。 アクセス層を変更する場合に課金が発生します。 ホット クール アーカイブ 最初の 50 テラバイト (TB)/月 ¥2.24/GB ¥1.68/GB ¥0.28/GB 次の 450 TB/月 ¥2.16/GB ¥1.68/GB ¥0.28/GB 500 TB 超/月 ¥2.07/GB ¥1.68/GB ¥0.28/GB 移行元と移行先 課金 よりクール層 への移動 ホット→クール ホット→アーカイブ クール→アーカイブ 移動先のアクセス層への書き込 み操作課金 よりホット層へ の移動 アーカイブ→ホット アーカイブ→クール クール→ホット 移動元のアクセス層からの読み 取り操作課金
  • 17. Architecture 冗長性とレプリケーション LRS ( Locally Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99% リージョン内3レプリカ ディスク、ノード、ラックレベル障害 への保護 全レプリカがコミットでACK データ耐久性 99.999999999 (11ナイン) GRS ( Geo-Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99% 2 リージョン、6 レプリカ 広域災害の保護 セカンダリへの非同期書き込み ( ペア リージョン間でコピー作成 ) データ耐久性 99.99999999999999 (16ナイン) RA-GRS ( Read Access – Geo-Redundant Storage ) 99.99 % の Read SLA ※クールアクセスレベルでは99.9% GRS + セカンダリの読み取り機能 セカンダリエンドポイントの分離 ゾーン 1 ZRS ( Zone-Redundant Storage ) 99.9% の Read / Write SLA ※クールアクセスレベルでは99% 3 ゾーン、3 レプリカ ディスク、ノード、ラック、ゾーンレベル障 害への保護 3つのゾーンへの同期書き込み データ耐久性 99.9999999999 (12ナイン) ゾーン 2 ゾーン 3 ※耐久性とSLAは異なります。
  • 18. Azure Storage API on the Edge シナリオに合わせて、適切な利用環境を選択可能 Azure Storage Blob REST APIセンサー Azure Storage SDK によるカスタムモジュール Azure IoT Edge デバイス Azure Blob Storage on IoT Edge データ処理 エッジ側の ローカル blob 記憶域 https://docs.microsoft.com/ja- jp/azure/iot-edge/how-to-store-data-blob➔
  • 20. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB ビッグデータ分析および AIソリューション用 Azure Databricks オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
  • 21. Azure SQL Database 既存のSQL Server のクラウド化では最適で最も経済的 シームレス及び 互換性 競争力の高い TCO ビルトインされた インテリジェンス 画期的な 生産性と パフォーマンス 業界トップクラス のセキュリティ
  • 23. Azure SQL Database マネージドインスタンス SQL Serverの優れた機能と、フルマネージドでインテリジェントなサービスの利点を融合
  • 24. Azure SQL Edgeプレビュー 一貫性のあるデータ & 分析エンジンをエッジに提供 SQL Server Azure SQL Database新製品 既存の Azure IoT Edge サービスを補完 接続状態またはオフラインで実行される、 省スペース、ターンキー、ML 対応を特長とするエッジ向けの データ エンジン ミッション クリティカルなワークロードに 対応する、完全な AI/ML 機能を備えた、 業界をリードするデータ エンジン
  • 25. Azure SQL Edgeプレビュー フットプリントが小さく、エッジ向けに最適化され、AI が組み込まれている プラットフォームの選択肢 AI の組み込み エッジ 時系列の組み込み データ センター/ クラウド アプリを一度開発すれば、任意の場所に展開可能 フットプリントが 小さいエンジン (500 MB) 組み込みの 時系列ストリーミング および分析 待ち時間の短い分析の ための機械学習 ターンキー管理 1 つの管理画面で 展開 & 更新 比類ないパフォーマンスとセ キュリティ 最高のセキュリティと 業界をリードする パフォーマンス オールインワンのローカル ストリーミング、 ストレージ、分析 SQL 時系列 0 20 40 60 80 100 120 140 160 180 200 1 2 3 4 5 6 脆弱性(2010~2018) ARM64 x64
  • 27.
  • 28. 光学系メーカーのZeissは、生産ラインのマシンで Azure SQL Edgeを使用して IoT テレメトリ データを処理および保存します。 推論アルゴリズムは、モデルとストリーム データを使用して、異常 を自動的に検出して警告し、生産パラメータを調整し、必要な メンテナンスを予測します。
  • 29. 各工場にビッグ データ クラスターを展開し、すべての Azure SQL Edgeの データベースからのデータを処理および格納します。 データ仮想化により、生産ラインのマシンからのデータとビジネス アプリケー ション データベースのデータをダッシュボードに簡単に結合できます。 予測分析の機械学習モデルは、Spark を使用してこれらの結合されたデー タ ソース全体でトレーニングされます。
  • 31. SQL Server 2019 ビッグ データ クラスター SQL Server、PolyBase、HDFS、Spark、機械学習の組み合わせを 1 つのソリューションで提供 構造化データと非構造化データの 両方を管理 データ間の障壁を取り除く 組込みの機械学習機能 SQL Server マスター インスタンス … ストレージ プールを使用するデータ レイク コンピューティング プールによるパフォーマンスのスケーリング …SQL コンピューティング ノード SQL コンピューティング ノード SQL コンピューティング ノード HDFS SQL Server Spark 分析カスタム アプリ BI 外部データソース HDFS SQL Server Spark HDFS SQL Server Spark … ツール Kubernetes データ プールによる データマートのスケールアウト PolyBase
  • 32. SQL Server 2019 業界をリードするパフォーマンスとセキュリティ、すべてのデータについてのインテリジェンス 0 20 40 60 80 100 120 140 160 180 200 1 2 3 4 5 6 脆弱性(2010~2019) Power BI Report Server による Power BI と SQL Server Reporting Services の長所 No.1 の OLTP パフォーマンス1 1 TB2、10 TB3、および 30 TB4 において No.1 の DW パフォーマンス インテリジェントなデータベース プライベート クラウド パブリック クラウド 最も一貫性のあるデータ プラットフォームすべてのワークロード間でインメモリ Oracle の 10 分の 1 のコスト T-SQL Java C/C++ PHP Node.js C#/VB.NET Python Ruby あらゆるデバイスで 洞察を数分で取得 好みのプラットフォーム、 言語、およびコンテナー 過去 9 年間にわたり5 最も安全 業界をリードする パフォーマンスと可用性 すべてのデータについての インテリジェンス SQL と Spark の力を利用したすべ てのデータでの AI および機械学習 エッジ すべての TPC データは 2019 年 9 月 23 日現在のものです。 1 http://www.tpc.org/4081、2 http://www.tpc.org/3331、3 http://www.tpc.org/3336、4 http://www.tpc.org/3337、5 米国国立標準技術研究所 (NIST) Comprehensive Vulnerability Database
  • 34. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB ビッグデータ分析および AIソリューション用 Azure Databricks オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
  • 35. Azure Database Services for MySQL、PostgreSQL、およびMariaDB Azureのエコシステムとサービスへのさらなる選択肢と完全な統合 マネージドなコミュニティ版 MySQL、PostgreSQL、 およびMariaDB 組み込み済みの高可用性、 秒単位のスケール セキュリティとコンプライアンスお好みの言語とフレームワーク 業界トップクラスの グローバルリーチ 容易なリフト& シフト エンタープライズで 利用可能 My
  • 36. データベースではなく、 アプリケーションに集中 エンタープライズ クラスで、クラウド ネイティブな、 PostgreSQL / MySQL / MariaDB の マネージド サービス オンプレミス PostgreSQL IaaS Azure VM PostgreSQL PaaS Azure Database for PostgreSQL, MySQL, MariaDB データセンター管理 Hardware オペレーティングシステムの 展開と更新 データベースの展開、 更新、スケーリング Virtualization データ アプリケーション 高可用性、災害対策、 バックアップ データセンター管理 Hardware 仮想化 オペレーティングシステム データベースの展開、 更新、スケーリング データ アプリケーション 高可用性、災害対策、 バックアップ データ アプリケーション データセンター管理 Hardware 仮想化環境 オペレーティングシステム データベースの展開、 更新、スケーリング 高可用性、災害対策、 バックアップ インテリジェント パフォーマンス Microsoft による運用 お客様による運用 機械学習による機能 インテリジェント セキュリティ
  • 37. 標準で99.99%のSLA レプリカを作る必要のない高可用性 … Azure Storage MySQL or PostgreSQL Server セキュアなコンテナー XMySQL or PostgreSQL Server セキュアなコンテナー X PostgreSQL: 5432 MySQL: 3306 クライアント Azure データの冗長化のために 3つのコピーを保持 コンピュータの冗長化
  • 39. Oracle から PostgreSQL | なぜ? • この2年間で、私たちは多くの顧客がOracle によるアプリケーションのホスティングから離れ、他の RDBMS データストアに移行するケースを目にしています • お客様がOracleから遠ざかっている理由は当然のことながら、ライセンスコストとサポートコストの節約が最も 大きなトリガーです • PostgreSQLはオープンプラットフォームであり、そしてOracleをはるかに上回るオープンソースのメリットを享受 できます 一般的に、Oracle の代替データベースとして PostgreSQL を推奨する理由は 5 つあります。 I. PostgreSQLは機能豊富なデータベースであり、エンタープライズ対応の信頼性を高めています II. 総所有コスト(TCO)を削減できます III. オープンソースへの移行を促します IV. OracleとPostgreSQLの類似点により、移行作業は容易です V. Azure では、Azure Database for PostgreSQL を使用した柔軟なスケーリングと組み込みの HA を 提供しています
  • 40. • Ora2pgツールで Oracle から Postgre に移行 • ora2pg は Oracle カタログを読み取り、同等の Postgres オブジェクト (テーブル、ビュー、シーケン ス、インデックス) を作成し、ユニーク、プライマリ、外部キー、およびチェック制約を文法的な落とし 穴にはまらないように作成します • データ移行にも使用する場合、ora2pgはOracleに接続し、Postgres互換フォーマットでデータをダ ンプします (高度に設定可能で、Postgresに接続し、その場ですべてを移行します) • Azure DMS はもう一つのデータ移行方法(オンライン)です https://docs.microsoft.com/ja-jp/azure/dms/tutorial-oracle-azure-postgresql-online • Ora2pg は移行評価レポートを提供します • Ora2pg は移行プロジェクトを作成します • すべてのトリガー、関数、プロシージャー、およびパッケージがエクスポートされ、PLPGSQL に変換され ます • 複雑なプロシージャは手動で変換する必要があるかもしれません • Oracle固有のコードは常に書き換える必要があります • 外部モジュール (DBMS、UTL、.) • CONNECTED BY (CTE “WITH RECURSIVE" を使用) • OUTER JOIN (+) • DECODE • Oracle Spatial から PostGis へのエクスポート • Ora2Pg のインストール手順と構成のサンプルは以下のリンクから 移行 | Ora2pg を使用してアセスメントとスキーマを移行 http://ora2pg.darold.net/
  • 41. • https://docs.microsoft.com/ja- jp/azure/sql-database/ • https://docs.microsoft.com/ja- jp/azure/postgresql/ • https://docs.microsoft.com/ja- jp/azure/mysql/ • https://docs.microsoft.com/ja- jp/azure/mariadb/ /Docs について
  • 42.
  • 43. クラウドのイノベーションを保護するために Microsoft Azure IP Advantage (AIPA) Azure 上のお客様のアプリケーションMicrosoft* Online Services 特許の選択 Patent Pick 特許ライセンスの提供 Springing License + LOT 上限なしの補償 Uncapped Indemnification ⚫ 知財リスクに対する業界トップレベルの保護 ⚫ マイクロソフトによってAzureサービスに組み 込まれたOSSもカバー 1 ⚫ 既定でMicrosoft Cloudのすべてのお客様が対 象 ⚫ 特許訴訟を抑止して防ぐ ⚫ マイクロソフトの1万件の特許から1件の特許を 選択 ⚫ Azureを使用されているすべてのお客様が利 用可能 2 ⚫ 将来的な特許の保護によって安心を確保 ⚫ 将来的にマイクロソフトがNPEに特許を販売し た場合でも、お客様にライセンスを提供 ⚫ Azureを使用されているすべてのお客様が利 用可能 3 https://azure.microsoft.com/en-us/overview/azure-ip-advantage/ 1. ご契約条件が適用されます 2. (i) 過去3か月にわたってAzureを1か月あたり1,000ドル利用していること、(ii) 過去2年間以内にAzureの他のお客様に対してそのお客様のAzureワークロードに関する特許侵 害訴訟を起こしていないこと、(iii) Microsoft Azure Advantageの開始後に発生した現行の特許訴訟に関する証拠を提示すること 3. (i) 過去3か月にわたってAzureを1か月あたり1,000ドル利用していること * 中国では、21Vianetが運 営し、上限なしの補償を提 供しています
  • 44. Azure Hybrid Azure であらゆる場所を革新 Management | Security + Identity | App + Data Services | Dev Tools + DevOps New! Microsoft Azure
  • 46. Azure Arc: アーキテクチャ Management experiences Azure Portal Azure CLI Azure SDK Azure Arc technologies: Azure Identity RBAC Policy Index Groups Etc. Azure Resource Manager Azure Arc data RP Container registry Azure Arc K8s RP Azure Arc server RP Azure Data Services Wave 1 • SQL • PostgreSQL Azure Arc data controller Kubernetes Azure PaaS Control K8s Cluster Azure Arc data agent GitOps Manager Azure Arc K8s agent Servers Linux Windows Server Azure Arc server agent Resource specific tools Azure Data Studio Cluster provisioning​ Cluster upgrade and patch management​ Cluster lifecycle management​ Cluster monitoring K8s Native Tools Server Admin Tools Customer locations
  • 47. Azure Arc: Azure data services anywhere Azure data services anywhere: https://azure.microsoft.com/ja-jp/services/azure-arc/hybrid-data-services/
  • 48. Azure Arc: Azure data services anywhereプレビュー 今後、他の Azure Data Services も追加の予定 Azure Arc上の Azure Database for PostgreSQL Hyperscale Azure Arc上の Azure SQL Database
  • 49. Azure Arc: Azure data services anywhere – 全体像 アプリケーションと BI カスタム アプリ 分析BI AKS … あらゆる Kubernetes あらゆる ハードウェア Azure Data Services Microsoft Azure Site Recovery OEM ハードウェア Azure Arc による管理 Kubernetes OPENSHIFT Azure Site RecoveryAzure MonitorAzure Security 展開 HA/DR スケーリング アップデート バックアップ 診断 Azure Stack
  • 50. Azure Arc data controller バックアップ監視とログ 制御 API Azure Arc 統合 HA/DR スケーリング パッチ適用とアップデート 展開 永続ストレージ ノード ノード ノード ノード ノード ノード Azure Data Studio ID Azure RBAC & Policy 高度なデータ セキュリティ 展開 リソースのインベントリー ログとテレメトリー バックアップと保持期間 利用 azdata CLI kubectl CLI Microsoft Container Registry SQL DB SQL DB (HA付) Azure ポータル Azure Data Studio CLI サードパーティ Kubernetes API PostgreSQL Hyperscale* データベース サービス 分析サービス Azure Arc: Azure data services anywhere アーキテクチャ
  • 51. オンプレミスとハイブリッドのデータをモダナイズ Azureによる、あらゆる場所での革新 Azure SQL DB Edge データ インテリジェンスをエッジに拡張 SQL Server 2019 オンプレミスのデータ資産のハブ エ ッ ジ ハ イ ブ リ ッ ド オ ン プ レ ミ ス Azure Arc あらゆる場所でAzure Data Services
  • 52. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB ビッグデータ分析および AIソリューション用 Azure Databricks オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
  • 53. Azure Cosmos DB グローバル分散型のマルチモデル データベース サービス MongoDB テーブル API ターンキー グローバル分散 ストレージとスループットの弾力的なスケールアウト 99thパーセンタイルでの低レイテンシーの保証 包括的なSLA 明確に定義された5つの整合性モデル ドキュメントカラムファミリ キー値 グラフ コア(SQL) API
  • 54. グローバルソリューション Azure Cosmos DB は、最新のアプリパターンとユースケースをサポート これにより、業界をリードする組織はデータの価値を解放し、グローバルな顧客や変化するビジネスダイナミクスに リアルタイムで対応できるようになります 世界中に分散され、 利用可能なデータ ユーザーがいる場所にデータ を配置します リアルタイムのカスタマー エクスペリエンスの構築 遅延の影響を受けやすい パーソナライゼーション、入札、 および不正検出を可能に します。 ゲーム、IoT、eコマースに 最適 トラフィックが急増した場合 でも予測可能で高速な サービス サーバーレスアーキテクチャ による開発の簡素化 柔軟なコンピューティング 能力を備え、フルマネージ ドでイベント駆動型の マイクロサービス オペレーショナルデータに 対するSpark 分析の 実行 高速でグローバルなデータ に対してすばやくインサイト を提供 NoSQL データのリフト& シフト MongoDBおよび Cassandraのワークロード のリフト&シフト
  • 56. 一貫性と信頼性のある グローバル サービス ユーザーのいる場所にデータを配置し、すべて の製造とオペレーションのイベントを透過的に、 リアルタイムに提供 あらゆる 世界のAzure リージョンにわたる、 ターンキーのデータ レプリケーショ 低遅延のエクスペリエンスを世界中のユーザーに保証 高可用性と障害復旧のための回復性 Cosmos DBの一般的なユースケース: https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
  • 59. IoT テレメトリを活用し、差別化されたエクスペリエンスを構築 予測できないほど大量のリアルタイムデータを、 ビジネスを中断することなしに処理 • テレマティクスは、正確な診断のためにリアルタイム クエリとインデ キシング機能を提供 • 書き込みの多いワークロードを扱うために、瞬時の柔軟なスケーリ ング • SLAによって保証された推測可能なパフォーマンス Azure Cosmos DB (Telemetry & device state) Apache Storm on Azure HDInsight Azure Storage (archival) Azure Web Jobs (Change feed processor) Logic apps Azure IoT Hub Azure Cosmos DB was chosen due to its ability to ingest data at massive scale with high availability guarantee.
  • 63. NoSQL データの リフト& シフト NoSQLワークロードをシームレスにクラウドへ移 行することで、簡単にデータ モダナイゼーション 現在稼働中のNoSQLからアプリケーションデータを移動し、Cosmos DB APIs が、MongoDB, Cassandra, および SQL (Core) によるア クセスを提供 既存ツール、ドライバー、およびライブラリを活用し、既存アプリケー ションの現在のSDKsを継続して利用 ターンキーのジオ レプリケーション インフラも仮想マシンの管理も不要 MongoDB Couchbase CouchDB Neo4j HBase Cassandra DynamoDB Cosmos DBの一般的なユースケース: https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-cases
  • 65. Azure Cosmos DBを使用する10の理由 異なる形式のデータ マルチ テナントとエンタープ ライズ グレードのセキュリ ティ ターンキーのグローバル分 散機能 ミッション クリティカル 大規模なストレージとスケー ラビリティのあるスループット スピードとコ ストを最適化 5つの明確に定義された整 合性モデル 分析に対応し、イベ ント駆動型アーキテクチャ 世界の99%のパーセンタイ ルで、一桁ミリ秒の遅延 高可用性と信頼性と共に、 ビッグ データ
  • 67. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか? • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
  • 68. 現代のデータ資産 Azure Data Services Azure Data Services データウェアハウス オペレーショナルデータベース データレイクと分析 リレーショナルデータ用 Azure SQL Database どんなサイズ、形状、速度の データも処理し、分析できる Azure Data Lake 非リレーショナル/NoSQLデータ用 Azure Cosmos DB オープンソース Azure Database for MySQL、 PostgreSQL、およびMariaDB オープンソースベースの分析 Azure HDInsight セキュリティとパフォーマンス選択の柔軟性 その場所でデータを 利用する理由に合わせて展開 ビッグデータ分析および AIソリューション用 Azure Databricks ペタバイトのデータに対する複雑なクエリ用 Azure Synapse Analytics ( Formerly Azure SQL Data Warehouse )
  • 69. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
  • 70. クラウド スケールの分析基盤 “Gartner Magic Quadrant for Analytics and Business Intelligence Platforms” で、12年連続リーダーポジション https://info.microsoft.com/ww-landing-gartner-mq-bi-analytics-2019.html?LCID=JA-JP
  • 71. サブシナリオ2: 見える化 / サブシナリオ3: 工程間情報統合 Factory of the Future クラウド スケールの分析基盤 • Azure Data Lake Storage ( Azure Storage ) • Azure Databricks • Azure Synapse Analytics (旧SQL DWH) • Azure Data Factory • Power BI • Azure Data Share / Azure Data Catalog 2 Data Lake 3 データ加工 4 Synapse Analytics / BIツール
  • 72. リファレンスアーキテクチャ Factory of the Future: 2. 工場モニタリング (見える化) 3. 簡易工場デジタルツイン作成 Expectation for Partners • 装置ログなどから有意なデータ構造を見出すデータ加工(❸) • 分散処理PaaS等を利用した大規模データ処理ソリューション(❸) • 工程横断データ分析ソリューション(❹) IoT Hubから受け取った製造記録(装置ログ・検査結果など)を時系列データの まま格納する。 格納の時点では対象装置や検査工程ごとのデータであり、製造対象品ごとに紐づ いていない。 Data Lake2 データ加工結果をBIツールで見える化し、不良要因分析や傾向分析を行う。 Synapse Analytics / BIツール4 Edge PC / Gateway Device1 製造装置のログやセンサデータ、検査結果を時系列で取得し、IoT EdgeからIoT Hubに送信する。 Data Lake に蓄積された大規模データを Synapse Analytics 上の Apache Spark で分散処理することにより、高速に構造化データに加工できる。 データ加工の例 • 正規化: 手入力データやアナログ値データを整形し、データ間の比較を可能に する。 • 変化点検出: 時系列データが変化するタイミングに対してイベントを定義する。 • 工程別データの紐付け: 製造対象品毎に工程、検査などのデータを紐付け、 トレーサビリティ管理が可能なデータ構造にする。 データ加工3 RFID/QRリーダ 装置ログ/ センサデータ 製造・組立装置 Power BI テレメトリ 製造履歴 装置設定 検査実施 Azure Data Lake StorageAzure Stream Analytics 生技 品管 IoT Hub センサデータ ストリーム 1 製造指示・指図 テレメトリ 検査結果 製造ログ BOM/BOP 2 4 X X X X : 時刻 加工前データ A 工程1 A B B : 型番 a 工程2 a a b : 合格 検査結果 OK NG 可 : X X X X : 加工後データ A 工程1 A B B : 型番 a 工程2 a a b : OK 検査結果 OK NG OK : 変化点 変化点 IoT Hub Gateway Device IoT Edge Runtime / Agent OPC Twin & Proxy OPC Publisher On-premise data gateway IoT Hub Gateway Device Azure Synapse Analytics Azure Synapse SQL Azure Synapse Pipeline 3
  • 73. リファレンスアーキテクチャ Factory of the Future: 2. 工場モニタリング (見える化) 3. 簡易工場デジタルツイン作成 品管担当者などが不良要因分析を実施 適正温度範囲 各Edge PCから データ収集 検査結果/センサデータを蓄積 工程別の時系列データや 検査結果データなどを 製造業の標準的データモデルに あてはめて一連のデータセットに 紐づける BIツールで 不良要因分析の データアクセス手段を提供 S/N 1 S/N 2 S/N 3 不良 検査結果検査画像 リフロー炉 温度 不良画像
  • 74. サブシナリオ3: 工程間情報統合 – 補足 品質管理が抱える課題 歩留まり 熟練工 AI & IoTの活用 Factory of the Future
  • 75. サブシナリオ3: 工程間情報統合 – 補足 データがバラバラだと... 工程1 工程2 工程3 工程N・・・原材料 データソース ? ? どこの工程が原因か わからない...データがバラバラで 関係性がすぐにわからない... Factory of the Future
  • 76. サブシナリオ3: 工程間情報統合 – 補足 統合データ Factory of the Future 工程1 工程2 工程3 統合データ 工程N・・・ 各工程データを上手に結合することで、 工程をまたがった品質把握が可能に! 原材料 運転条件 外部環境 作業員特性 `
  • 77. サブシナリオ3: 工程間情報統合 – 補足 結合データの例 ID 品質 工程1-温度 工程2-粘度 工程2-外気温 1111 OK 23.2 89 30 1112 NG 24.3 86 29 1113 OK 23.3 75 31 1114 OK 25.6 79 31 1115 OK 23.0 88 29 1116 NG 23.0 80 31 1117 OK 22.6 90 28 工程3-振動数 1200 1197 1220 1201 1173 1185 1233 ※分析要件やデータの特性によって作成方法は異なります。 Factory of the Future
  • 78. サブシナリオ3: 工程間情報統合 – 補足 品質管理のロードマップ Factory of the Future データ可視化 1変数の解析 多変数の解析 予測 最適化・自動化 工程能力指数 コスト(クレーム、人件費、欠品) 稼働率 箱ひげ図 ヒストグラム 検定 回帰分析 相関分析 主成分分析 外観検査 品質特性値予測 製造工程 自動化 リソース最適化 Mixed Reality ソフトセンサー クレーム率 製造プロセスの統合データがあれば、 要因探索から最適化までスムーズに ステップアップが可能に 統合データ
  • 79. 1. Connected Sales Product as a Service クラウド スケールの分析基盤 • Azure Data Lake Storage ( Azure Storage ) • Azure Databricks • Azure Synapse Analytics (旧SQL DWH) • Azure Data Factory • Power BI • Azure Data Share / Azure Data Catalog 3 顧客情報の集約
  • 80. リファレンスアーキテクチャ Product as a Service: 1. Connected Sales Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン(❶❷❸) • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化(❹❺) コアとなる顧客情報は Dynamics 365 の DB で管理し、顧客との関係構築を行 いつつ営業情報を管理する。また、Workplace Analytics や Teams を組み合わ せ、提案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データを Customer 360 によって分析することに より、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dynamics 365 を経由して 営業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが 考えられる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office 365 Teams SQL Server Dynamics 365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer 360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Apache Spark PipelineSQL Dynamics 365 Customer Insights
  • 81. リファレンスアーキテクチャ Product as a Service: 1. Connected Sales 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 利用状況に応じたOne2One の提案のインプットにする。 数多くの商品から構成されるソリューション商材であっても、CPQエンジンの自動見積・価格決定機 能と連携することで、営業担当者の手間を最低限に抑えながら、合理的・かつ高速に自動で見積 もり作成と価格の決定を行うことができる。 結果、従来日本企業が苦手としていた、見積もりの短期提出が可能になり、外資系競合に対する 競争力がアップする。 前回訪問時のメモなども共有 されており、チーム内で案件進 捗・顧客の反応は共有済。 推奨製品と提案タイミングを Dynamics365に登録し、営 業担当に通知 これまでの提案状況(SFA)、 DMPから得られる顧客/業種 の関心仮説等を一元化し、 顧客軸でデータを紐づける Teamsに蓄積・共有されてい る提案書や営業活動実績か ら、担当している企業に似た 案件での成約事例を抽出し ておく。
  • 82. リファレンスアーキテクチャ Product as a Service: 1. Connected Sales 顧客における製品の利用状 況をIoT Hubで収集・蓄積。 当該製品の実動における稼 働環境(温度・稼働時間な ど)を把握する。 アフターセールスや製品利用状況から、顧客への提案タイミングを検知。 類似顧客の関心のある製品群や対象顧客の製品稼働環境に合わせ、リーズナブルな製品構成を 自動的に推定。 提案書や営業活動実績を Teamsで共有。 関連製品の他社向け営業担 当者との情報連携を行う 推奨製品と提案タイミングを Dynamics365に登録し、営 業担当に通知 提案状況や製品利用状況を 顧客を軸に紐付け管理。 さらに、DMPを活用して類似 顧客が関心のある製品情報 を収集。
  • 83. Intelligent Supply Chain クラウド スケールの分析基盤 • Azure Data Lake Storage ( Azure Storage ) • Azure Databricks • Azure Synapse Analytics (旧SQL DWH) • Azure Data Factory • Power BI • Azure Data Share / Azure Data Catalog 2 サプライチェーンデータの一元管理(データオーケストレーション)
  • 84. リファレンスアーキテクチャIntelligent Supply Chain: Azure Machine Learning 外 部 最 適 化 エ ン ジ ン 生産計画 分析モデル開発者 Cognitive Text Analytics Cognitive Text Logic AppsAzure Machine Learning 分析モデル SQL Azure Logic AppsAzure API Management Azure Blockchain Service Azure Security Center Azure Active Directory 設計情報 生産計画 システム サプライヤーの 物流・調達 システム 調達 システム Dynamics 365SharePoint サプライヤ 調達 販売計画 1 2 3 4 5 Azure Data Lake Storage Azure Synapse Analytics Azure Functions Expectation for Partners • サプライチェーンプラットフォームを利用する各種サービスの開発(❶) • サプライチェーンプラットフォームの開発・インプリ(❷) • SCMにおける最適計画立案・最適化エンジンの開発(❸) • ブロックチェーン等によるSCM技術の確立(❹) 各システムから収集した調達・出荷に関するデータをスケーラブルなデータベースに格納す る。長期に渡って格納されたデータはサイズが肥大化するが、Synapse Analytics の Apache Spark や Pipeline の組み合わせなどにより、高速な紐付けや整形を行うこと でサプライチェーンデータとして構造化できる。 サプライチェーンデータの一元管理(データオーケストレーション)2 分析モデルの開発者が Azure ML 上で蓄積データを参照し、最適在庫量計算などの 元となる分析モデルを作成する。作成された分析モデルに基づいて Azure ML で定常 的かつ自動的にデータ分析を実行する。需要予測や在庫水準最適化など様々な分 析が考えられ、必要に応じて Logic Apps で外部の最適化エンジンと連携することで 実現する。 分析モデルの作成/最適計画立案(アナリティクス)3 一元管理されているサプライチェーンデータや最適化計画は既存システムへの反映の他、 必要に応じて権限管理しながら外部のサプライヤ等と連携するアプリや API を公開す る。また、Blockchain 上のスマートコントラクトと組み合わせると厳密な契約/履歴管 理を行うことができる。 ワークフロー実行/スマートコントラクト4 これらのシステムをAzure上に構築することで、Azure Active Directory による社内外 のユーザアクセス権やシステム間連携の権限管理、Azure Security Center等による挙 動監視が可能となり、多要素認証へも対応したセキュアなプラットフォームを構築できる。 セキュリティ5 生産計画や調達など既存の関連システムからデータを収集する。また、最適計画の立 案結果などを各システムに配信する。 Function Appsや Logic Apps と Azure API Management を活用し、柔軟なインタフェース構築が可能となる。業務上不適切な 発注を行うAPI呼び出しなどを検知するために、すべてのAPI Management を経由し たAPI 呼び出しをストリームすることも可能。 関連システムとのデータインタフェース(インターフェース)1 Spark Pipeline Azure Service Bus
  • 85. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
  • 86. Azure Data Lake Storage Gen2 – 蓄積 Object Tiering と Lifecycle Policy Management AAD 統合, RBAC, ストレージアカウントセキュリティ ZRS と RA-GRS による HA/DR サポート Common Blob Storage Foundation Blob API Gen2 API サーバー バックアップ, アーカイブ ストレージ, 半構造化データ 非構造化 オブジェクトデータ Hadoop ファイルシステム, ファイルとフォルダーの階層, 粒度の高い POSIX準拠のACL, ファイル トランザクション 分析データ
  • 87. Azure Data Lake Storage Gen2 – 蓄積 Preview Coming Soon: Public Cloud Object storage access through NFS v3 is an industry first Object Tiering と Lifecycle Policy Management AAD 統合, RBAC, ストレージアカウントセキュリティ ZRS と RA-GRS による HA/DR サポート Common Blob Storage Foundation Blob API NFS v3 サーバー バックアップ, アーカイブ ストレージ, 半構造化データ 非構造化 オブジェクトデータ HPC データ、規模の大きいシーケンシャル リード データセットをNFS v3で利用する アプリケーション ファイル データ Hadoop ファイルシステム, ファイルとフォルダーの階層, 粒度の高い POSIX準拠のACL, ファイル トランザクション 分析データ Gen2 API
  • 89. クラウド スケールの分析基盤 蓄積 前処理 分析収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW) Azure Databricks
  • 90. Azure Databricks – 前処理 Azure 上の Apache Spark の位置づけ 最大の制御 簡単に使える インストールベース。 カスタマイズされたインフラ 運用負荷の少ない、 最適化された Spark クラスター Azure Databricks IaaS クラスター 管理されたクラスター Azure Virtual Machine (VMSS, VNet, 他) ワークロードに最適化された マネージド クラスター Azure HDInsight 管 理 の 削 減 Azure Data Lake Store Azure Storage ス ト レ ー ジ 層 分 析 層
  • 91. Apache Spark on Azure – 前処理 Azure HDInsight
  • 93. を利用するモチベーション HDFS Read HDFS Write HDFS Read HDFS Write CPU Iteration 1 Memory CPU Iteration 2 Memory HDFS Read Input CPU Iteration 1 Memory CPU Iteration 2 Memory ネットワークやディスク より10~100倍速い Minimal Read/Write Disk Bottleneck Chain Job Output into New Job Input 解決策: 新しい分散処理エンジンで、データをメモリー内に保持 従来のアプローチ: 複雑なMapReduceジョブ、対話型のクエリー、(遅い)ディスクI/Oを多く含んだ、オンラインイベントハブ処理
  • 94. Apache Spark on Azure – 前処理 Azure Databricks Azure リソース マネージャ ワークスペース、リソース、ロックさ れたリソース グループの作成 VM の作成/削除
  • 95. Apache Spark on Azure – 前処理 Azure Databricks: Unified Analytics Platform Databricks Workspace Collaborative Notebooks, Production Jobs Databricks Runtime Databricks Cloud Service Transactions Indexing ML Frameworks Blob Storage Data Lake Store AZURE DATA SOURCES Event Hub IoT Hub SQL DB / DW Cosmos DB Azure Data Factory
  • 97. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
  • 98. Azure Data Factory – 収集 & 前処理 Azure Database File Storage NoSQL Services and Apps Generic Azure Blob Storage Amazon Redshift SQL Server Amazon S3 Couchbase Dynamics 365 Salesforce HTTP Azure Data Lake Store Oracle MySQL File System Cassandra Dynamics CRM Salesforce Service Cloud OData Azure SQL DB Netezza PostgreSQL FTP MongoDB SAP C4C ServiceNow ODBC Azure SQL DW SAP BW SAP HANA SFTP Oracle CRM Hubspot Azure Cosmos DB Google BigQuery Informix HDFS Oracle Service Cloud Marketo Azure DB for MySQL Sybase DB2 SAP ECC Oracle Responsys Azure DB for PostgreSQL Greenplum MariaDB Zendesk Oracle Eloqua Azure Search Microsoft Access Drill Zoho CRM Salesforce ExactTarget Azure Table Storage Hive Phoenix Amazon Marketplace Atlassian Jira Azure File Storage Hbase Presto Megento Concur Impala Spark PayPal QuickBooks Online Vertica Shopify Xero GE Historian Square Web table • サポートされるファイルフォーマット: CSV, AVRO, ORC, Parquet, JSON • サポートされる圧縮形式: GZip、Deflate、BZip2、ZipDeflate 90を超えるコネクター (随時追加) https://docs.microsoft.com/ja-jp/azure/data-factory/copy-activity-overview
  • 99. Azure Data Factory – 収集 & 前処理 Mapping Data Flow と Wrangling Data Flow • Mapping Data Flow (データフローの変換) を使用すると、コードを記述しなくても、グラフィカルなデータ変換ロジックを作成可能。 • Wrangling Data Flow を使用すると、 Power Query Online との統合で、コードなしのデータ準備をクラウド規模で繰り返し実行。 • 生成されたデータ フローは、スケールアウトされた Spark クラスターを使用し、Azure Data Factory パイプライン内でアクティビティとして実行。 https://docs.microsoft.com/ja-jp/azure/data-factory/concepts-data-flow-overview https://docs.microsoft.com/ja-jp/azure/data-factory/wrangling-data-flow-overview
  • 100. Azure Data Factory – 収集 & 前処理 Mapping Data Flow • Mapping Data Flow (データフローの変換) を使用すると、コードを記述しなくても、グラフィカルなデータ変換ロジックを作成可能。 • 生成されたデータ フローは、スケールアウトされた Apache Spark クラスターを使用し、Azure Data Factory パイプライン内でアクティビティとして実行。 GUI を利用して、 結合・集計等のデータ処理を作成 処理自体は Spark の並列分散処理基盤で実行 https://docs.microsoft.com/ja-jp/azure/data-factory/concepts-data-flow-overview
  • 101. Azure Data Factory Service クラウドアプリケーション サービスとデータ オンプレミス アプリケーションとデータ ユーザー インターフェイス Azure Data Factory – 収集 & 前処理
  • 102. Azure Data Factory での CI/CD と Git https://docs.microsoft.com/ja-jp/azure/data-factory/continuous-integration-deployment https://github.com/devlace/datadevops
  • 104. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
  • 105. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 Compute Optimized Gen2 Architecture ComputeRemoteStorageControl Azure Storage ・・・
  • 106. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 価格対性能比 @ 30TB価格対性能比のリーダー • Redshift よりも 25% 低コスト • BigQuery よりも 94% 低コスト GigaOm が総所有コストを複合クエリで除算した TPC-H メトリックとして計算した値。 結果は GigaOm が 2019 年 1 月に発表した TPC-H の結果に基づく。 $0 $10 $20 $30 $40 $50 $60 $550 $600 $40 $33 $47 $54 $48 $51 $564 $103 $110 $152 $80 $100 $120 $140 https://azure.microsoft.com/ja-jp/blog/analytics-in-azure-is-up-to-14x-faster-and-costs-94-less-than-other-cloud-providers-why-go-anywhere-else/ より抜粋
  • 107. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 ワークロード管理の概要 リソースを管理し、リソースを効率的に利用する ことを保証し、投資対効果 ( ROI ) を最大化 ワークロード管理の3つの概念 1. ワークロードの分類: ワークロード グループに要求を割り当て、重 要度のレベルを設定するという概念 2. ワークロードの重要度: リソースへのアクセス リクエストの順序に影 響 3. ワークロードの分離: ワークロード グループにリソースを予約 ワークロード管理の概念 分 類 重 要 度 分 離
  • 108. Azure Synapse Analytics ( Formerly Azure SQL DW ) – 提供 セキュリティ: 多層防御
  • 109. 包括的な セキュリティ 転送中のデータ保護 データ暗号化 (サービス管理による鍵とユーザー管理による鍵) データの検出と分類 行レベル セキュリティ テーブルとビューのセキュリティ (許可 / 拒否) 列レベル セキュリティ 動的データ マスク SQL 認証 Azure Active Directory 認証 統合認証 多要素認証 仮想ネットワーク (VNET) SQL ファイヤーウォール ( サーバー ) ExpressRoute SQL 脅威の検出 SQL 監査 脆弱性評価 データ保護 カテゴリー 機能 AZURE SYNAPSE ANALYTICS Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes Yes
  • 111. Azure は、これら 2 つの世界を 1 つのサービスにまとめて、 制限のない分析環境を提供します ようこそ、制限のない世界へ 簡単に使える 高速な検索 直ぐに始められる 実証済みのセキュリティ 気密性の高いプライバシー 信頼性の高いパフォーマンス データ ウェアハウスとビッグ データ 分析を1つのサービスへ
  • 112. Azure は、これら 2 つの世界を 1 つのサービスにまとめて、 制限のない分析環境を提供します ようこそ、制限のない世界へ データ ウェアハウスとビッグ データ 分析を1つのサービスへ Azure Synapse Analytics
  • 113. Azure Synapse Analytics 2019年11月4日、米国オーランドにて発表 データ ウェアハウスとビッグデータ分析システム 全体のあらゆるデータから、驚異的なスピードで インサイトを提供する無制限の分析サービス 簡単に言うと、Azure Synapse は、Azure SQL Data Warehouse の進化系です 業界最高水準のデータ ウェアハウスを手に入れ、 同時に全く新しいレベルのパフォーマンスと機能レ ベルに進化させました
  • 114. クラウド スケールの分析基盤 蓄積 前処理 提供収集 ( & 前処理 ) Azure Data Factory Azure Data Lake Storage Azure Databricks クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ Power BI Azure Machine Learning Azure Synapse Analytics (Formerly Azure SQL DW)
  • 115. Azure Synapse Analytics 比類なき処理能力を持つ、制限のないデータウェアハウス 2 蓄積 Azure Data Lake Storage Azure Synapse Analytics Power BI Azure Machine Learning クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ
  • 116. Azure Synapse Analytics BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム プラットフォーム Azure Data Lake Storage Common Data Model Enterprise Security Optimized for Analytics メタ ストア セキュリティ 管理 監視 データ統合 分析ランタイム プロビジョン型 サーバーレス型 展開方法 SQL 開発言語 Python .NET Java Scala R エクスペリエンス Synapse Analytics Studio AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで提供
  • 117. Synapse Studio は、Activity ハブに分けています これらのハブは、分析ソリューションを構築する為に必要なタスクに整理 Synapse Studio Overview Data Monitor Manage Quick-access to common gestures, most-recently used items, and links to tutorials and documentation. Explore structured and unstructured data Centralized view of all resource usage and activities in the workspace. Configure the workspace, pool, access to artifacts Develop Write code and the define business logic of the pipeline via notebooks, SQL scripts, Data flows, etc. Orchestrate Design pipelines that that move and transform data.
  • 119. Data Hub Azure ストレージアカウント (非構造化データ)、 Synapse データセット (準構造化データ) 、Synapse データベース (構 造化データ) をシングルウィンドウで表示し、データ探索を行うことができます。
  • 120. Data Hub – Storage accounts Azure Data Lake Storage Gen2 アカウントとファイルシステムの表示 – Explorer のようにデータを見ることが出来ます ADLS Gen2 Account Container (filesystem) Filepath
  • 121. Data Hub – Storage accounts 簡単なアクションで、SQL スクリプトや Notebook を使った分析を開始できます T-SQL や PySpark コードを自動生成します
  • 122. Data Hub – Databases 1つのワークスペースに存在している異なる複数のデータベース (SQL pool, SQL on-demand, Spark SQL) を1つのウィンドウで探索できます SQL pool SQL on-demand Spark
  • 123. Data Hub – Databases テーブルの SQL メタデータから T-SQL スクリプトを簡単に生成 できます テーブルから DataFrame にロードする PySpark コードを簡単に生成する ことができます
  • 124. Data Hub – Datasets Synapse Orchestrate データセットを用いて、永続化されたデータを定義でき、パイプラインにおけるソースデータ、シンクデータとして利 用することができます。
  • 125. 概要 • クエリ、分析、データモデリングに対する 開発者エクスペリエンスを提供 利点 • 1つのウィンドウで、データ分析に必要な 複数の言語をサポート • コンテンツを見失うことなく、Notebook と スクリプトを切り替えが可能 • インテリセンスによって、高品質のコード開発 をサポート • 洞察に満ちたビジュアル化が可能 Develop Hub
  • 126. SQL スクリプトを開発 プロビジョニング型の SQL Pool やオンデマンド型の SQL on- demand 上で、SQL スクリプト を実行 個々の SQL スクリプトや複数 の SQL スクリプトをパブリッシュ (Publish) 可能 SQL 構文チェック、インテリセン スによるコード補完 Develop Hub - SQL scripts
  • 127. 1つの Notebook 内で、複数言語の記 述が可能 %%<言語名> 言語を横断した一時テーブルを利用可能 構文の強調表示、構文エラー、構文コード 補完、 スマートインデント、コード折りたた みなどの言語サポート機能を提供 実行結果のエクスポートが可能 開発者によるセッションの設定が可能で、 Notebook の実行に必要なリソースを調 整 Develop Hub - Notebooks
  • 128. Develop Hub – Power BI Synapse ワークスペースから Power BI Service ワークスペースに編集済みレポートをパブリッシュ可能 Synapse ワークスペース内で、Save ボタン をクリックするだけで、変更がパブリッシュ
  • 129. Azure Synapse Analytics BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム プラットフォーム Azure Data Lake Storage Common Data Model Enterprise Security Optimized for Analytics メタ ストア セキュリティ 管理 監視 データ統合 分析ランタイム プロビジョン型 サーバーレス型 展開方法 SQL 開発言語 Python .NET Java Scala R エクスペリエンス Synapse Analytics Studio AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで提供
  • 130. Azure 統合ランタイム コマンドと制御 凡例 データ トリガー パイプライン アクティビティ アクティビティ アクティビティ アクティビティ アクティビティ Self-hosted 統合ランタイム Linked Service Orchestration @ Scale Azure Data Factory を統合
  • 131. Azure Synapse Analytics BI、AI、継続的なインテリジェンス向けの統合データプラットフォーム プラットフォーム Azure Data Lake Storage Common Data Model Enterprise Security Optimized for Analytics メタ ストア セキュリティ 管理 監視 データ統合 分析ランタイム プロビジョン型 サーバーレス型 展開方法 SQL 開発言語 Python .NET Java Scala R エクスペリエンス Synapse Analytics Studio AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで提供
  • 132. 類似点 分散型 Analytics Engine T-SQL のサポート データ ウェアハウス機能 相違点 サーバーレス クエリ データはデータレイクに存在し、データロード不要 管理オーバーヘッドが無い 適用領域 データレイクに対するダイレクト クエリ SQL Analytics – プロビジョン型とサーバーレス型 サーバーレス型: SQL on-demandプロビジョン型: SQL pool 類似点 分散型 Analytics Engine T-SQL のサポート データ ウェアハウス機能 相違点 プロビジョニングされている ロードデータに対するガバナンスが有効 ワークロードに特化した最適化 先進的なワークロード マネジメント 適用領域 ロードデータに対する最適化されたワークロード
  • 133. SQL On-Demand: 機能上の5つの柱 SQL クエリを実行するだけ, 管理インフラは不要 ! データは、Azure Storage に配置するだけ, コピーやロードは不要 ! Spark で定義したテーブルが自動的に利用可能, データの 2 重保持は不要 ! SQL のスキルと好みのツールを利用, 新たな学習は不要 ! SQL グレードのセキュリティ, 妥協の必要はなし !
  • 134. SQL On-Demand: アーキテクチャの5つの柱 Data Lake 上のあらゆるデータをペタバイト スケールでクエリ可能 ステートレス型のサービス アーキテクチャ – 状態とコンピューティングの分離 同一形態のサービスとしては、最高レベルの性能 自己チューニング型のワークロード マネジメント:キャパシティ プランニング, アクセス制御, リソース ガバナンス リソース状況認識型タスクスケジューラーによる高い同時実行性
  • 135. Overview An interactive query service that provides T-SQL queries over high scale data in Azure Storage. Benefits Serverless No infrastructure Pay only for query execution No ETL Offers security Data integration with Databricks, HDInsight T-SQL syntax to query data Supports data in various formats (Parquet, CSV, JSON) Support for BI ecosystem SQL On-Demand Azure Storage SQL On Demand Query Power BI Azure Data Studio SSMS Read and write data files Curate and transform data Sync table definitions Read and write data files
  • 136. Overview Uses OPENROWSET function to access data Benefits Ability to read CSV File with - no header row, Windows style new line - no header row, Unix-style new line - header row, Unix-style new line - header row, Unix-style new line, quoted - header row, Unix-style new line, escape - header row, Unix-style new line, tab-delimited - without specifying all columns SQL On Demand – Querying CSV File SELECT * FROM OPENROWSET( BULK 'https://XXX.blob.core.windows.net/csv/population/populat ion.csv', FORMAT = 'CSV', FIELDTERMINATOR =',', ROWTERMINATOR = '¥n' ) WITH ( [country_code] VARCHAR (5) COLLATE Latin1_General_BIN2, [country_name] VARCHAR (100) COLLATE Latin1_General_BIN2, [year] smallint, [population] bigint ) AS [r] WHERE country_name = 'Luxembourg' AND year = 2017
  • 137. Azure Synapse Analytics 提供機能 無限のスケール 一般提供 プレビュー プロビジョニング済みコンピューティング (データ ウェアハウス) ✔ マテリアライズド ビュー ✔ ワークロードの重要度 ✔ ワークロードの分離 ✔ オンデマンド クエリ ✔ 強力な分析情報 一般提供 プレビュー Power BI 統合 ✔ Azure Machine Learning 統合 ✔ データ レイクの探索 ✔ ストリーミング分析 (データ ウェアハウス) ✔ Apache Spark 統合 ✔ 比類のないセキュリティ 一般提供 プレビュー 列レベルおよび行レベルのセキュリティ ✔ 動的データ マスキング ✔ プライベート エンドポイント ✔ 統合されたエクスペリエンス 一般提供 プレビュー ハイブリッド データ インジェスト ✔ Azure Synapse スタジオ ✔ https://azure.microsoft.com/ja-jp/services/synapse-analytics/ より抜粋
  • 138. - T-SQL ベースのエクスペリエンス (対話型/バッチ型 スコアリング) - 他の場所で構築されたその他のモデルとの相互運用性 - データが存在する場所で、スコアリングを実行 機械学習が有効化されたデータウェアハウスプレビュー --T-SQL syntax for scoring data in SQL DW SELECT d.*, p.Score FROM PREDICT(MODEL = @onnx_model, DATA = dbo.mytable AS d) WITH (Score float) AS p; モデルの アップロード T-SQL Language Data Warehouse Data + モデルの 実行 Model モデルの 作成 Predictions = SQL Analytics
  • 139. 蓄積 可視化収集 前処理 変換とエンリッチ 提供 AZURE SYNAPSE ANALYTICS クラウド スケールの分析基盤
  • 142. データ変革; 予測された知見が主導する組織になるための、 ユニリーバの歩みを加速 販売とブランド パフォーマンス デジタル化された工場とサプライ チェイン AI/IoTを活用して工場のデジタル化を行い、予測 メンテナンス+エネルギーコストの削減+廃棄物削減 +歩留まりの改善を実現。工場労働者にセルフサ ービスの知見を提供 ユニリーバ フード ソリューション アップセルでの売り上げ向上のため、DTC チャネルを介したデータ駆動型マーケティング に対するデータ サイエンスを導入 人事 従業員の業務簡素化、従業員の手にデータを配置し、会話 型AI(Una)を介して手動反復タスクのコストを削減することで、 Employee 2020ビジョンを実現 財務 法務 デジタル化された研究開発 科学的な知見の改善を可能にするビッグ サイエンスの 取組 ( プロセス分析、統合生物学 ) に向けて、ビッグ データのモデリングとイノベーションの高速化により、市 場投入までのコストと時間を削減 マーケティング 資産のデジタル化 コネクテッドコーヒー自動販売機、浄水器、アイスクリー ムキャビネットにIoT/AIを活用した新しいビジネスモデル と消費者体験の向上を実現。在庫/資産の損金処 理を削減 Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
  • 143. モダン データウェアハウスの論理的な構成 Universal Data Lake (UDL) Business Data Lake (BDL) Business Data Lake (BDL) Business Data Lake (BDL) Product Product Product Product Product • Implemented using ADLS • Implemented using ADLS • Each product will have its own resource group for cataloguing and cross-charging purposes • Generally implemented using SQL DW, AAS, PBI, but flexibility based on requirements ADFADF Orchestration • Implemented using Azure Databricks Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
  • 144. Azure Synapse Analyticsプレビュー (旧 Azure SQL DW) Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
  • 145.  3か月以下のプレビュー期間  データ統合、データ・ウェアハウス、ビッグデータ処理機能を大規模に統合  BI、AI、インテリジェントアプリケーションの提供を加速  単一のワークスペース内の 1 か所で、収集から BI レポートの作成までの 分析ソリューションを構築  容易な管理  統合された DevOps 環境  容易な展開  セキュアな環境  集中監視とアラート  追加機能 Unilever と Azure Synapse Analyticsプレビュー Microsoft Ignite 2019 BRK3051より抜粋: https://myignite.techcommunity.microsoft.com/sessions/81055?source=sessions
  • 147. クラウド スケールの分析基盤 蓄積 Azure Data Lake Storage Azure Synapse Analytics Power BI Azure Machine Learning クラウド上のデータ SaaS 上のデータ オンプレミス上のデータ デバイスからのデータ
  • 151. (ご参考までに) ビッグ データ と 可視化のアーキテクチャ https://github.com/Microsoft/MCW-Big-Data-and-Visualization External Data (CSV Files) Historical Data (CSV Files) Azure Data Factory Azure Databricks (Spark SQL) Power BI Visualize Predictions Azure Web Apps Web Portal 3rd Party API Azure Kubernetes Service Containerized AI Services ( Predictions ) Create, train, & export ML model Azure Machine Learning Store and operationalize trained ML model Operationalize ML model Copy data to blob storage Execute Databricks Notebook for batch scoring Integration Runtime Move on-premises data to Azure Storage Azure Synapse Analytics ( Formerly Azure SQL DW ) Azure Data Lake Storage / Azure Blob Storage
  • 152. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか? • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
  • 154. Azure Data Shareによる、分析基盤の拡張 強化 • パートナーと顧客からのデータを使用して、 最新のデータ ウェアハウスの洞察を強化 • コラボレーション • 業界固有のコンソーシアムを形成し、 メンバー間でデータを共有 • 革新 • カスタム ソリューションに統合: 新しいサービス機能を通じて市場を拡大 • Azure Synapse Pipeline Azure Databricks (データの前処理) Azure Data Lake Storage Azure Synapse SQL (Provisioned) Power BI 収集と前処理 蓄積 提供 見える化 Azure Data Share A企業 Azure Data Share 共有 Azure Data Share B企業 Azure Data Share C企業 Azure Data Share Azure Data Share Azure Machine Learning 機械学習
  • 155. オンプレミス中心の従来のデータ共有方法 データ利用者 #1 データ利用者 #2 データ利用者 #3 電子メール、もしくは USBでの送付 FTP サーバーへコピー API もしくは、 Webアプリケーション データ抽出 データ提供者 運用や追跡が難しく、ビッグ データには不向き
  • 156. テナントを越えて データ共有 データ提供者が 共有を開始 • 何を共有するか? • 誰と共有するか? • 利用規約 • スナップショットか、インプレースか? データ利用者が 共有を承諾 • どこで受け取るか? Azure Blob、Azure Data Lake Storage、Azure SQL DB、Azure Synapse Analytics、Azure Data Explorer、にて提供 Azure Data Shareの動作 ソースの ストア ターゲット のストア データ提供者 データ利用者 招待メール インプレースでアクセス スナップショット
  • 157. サポートされる Azure Data Store 共有するソースとターゲット間で、異種のストレージ リソースをサポート ソース ターゲット Blob Storage ADLS Gen1 ADLS Gen2 Azure SQL DB Azure Synapse Analytics Azure Data Explorer Blob Storage Snapshot Snapshot ADLS Gen1 Snapshot Snapshot ADLS Gen2 Snapshot Snapshot Azure SQL DB Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Azure Synapse Analytics Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Snapshot (public preview) Azure Data Explorer In-place (sign up for preview)
  • 158. Azure Data Catalog セルフ サービスでデータ ソースを 検出可能にする、企業全体の メタデータ カタログ 情報資産を管理し、検索性を 向上し、見つけたデータ資産を 理解し、これらのデータ資産に 接続できるように設計 洞察の時間を短縮し、データ活 用を促進
  • 160. アジェンダ クラウド スケールの分析基盤 • 蓄積: Azure Data Lake Storage • 収集 ( & 前処理 ): Azure Data Factory • 前処理: Azure Databricks • 分析: Azure Synapse Analytics • 共有: Azure Data Catalog と、Azure Data Share • 見える化: Power BI AI 基盤 • 機械学習: Azure Machine Learning • 学習済モデル: Cognitive Service • AIの民主化: Power Platform Azure Storage の基本 • なぜ、クラウド ストレージなのか? • Azure Storageのアーキテクチャ • Azure Blob Storage / Azure Data Lake Storage オペレーショナル データベース基盤 • SQL Server: Azure SQL Database • オープンソースRDBMSサービス: Azure Database for PostgreSQL / MySQL / Maria DB • NoSQLサービス: Azure Cosmos DB
  • 161. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) サブシナリオ5: 処理の自動化 ( ワークフロー / アラート ) Factory of the Future • Azure Machine Learning • Cognitive Services • Power Platform による、AIの民主化 1 Edgeでの装置監視・アラート 2 機械学習/AIのモデル作成 3 予測・最適化
  • 162. リファレンスアーキテクチャ Factory of the Future: 4. 最適値算出/分析自動化(アナリティクス、ML、AI) 5. 処理の自動化 ( ワークフロー / アラート ) Expectation for Partners • Edgeでのリアルタイム異常検知ソリューション(❶) • MLやCognitiveによる工場特化型分析ソリューション(❷) • ERPなど周辺システムと連携する生産最適化ソリューション(❹) Edgeでの装置監視・アラート(Hot path)1 装置からのセンサデータストリームに対して、機械学習モデルで異常判定を行い、異 常時は警報イベントを発報する。異常判定時の静止画をAzure Blob on Edgeと Azure Blob Storageの同期機能で送信することで、クラウド側での学習に使用で きる。機械学習モデルについては、クラウド側で作成されたものをIoT Hubから配布 し、IoT Edge デバイスにデプロイすることで、多数のEdge PCに同時に適用できる。 分析モデルの開発者が Azure ML 上で、Data Lake や Synapse Analytics の蓄 積データを使用して分析モデルを作成する。 機械学習/AIのモデル作成(Cold path)2 Logic AppsのコネクタでERPから生産計画・調達計画を参照し、Azure Machine Learningで作成したモデルが算出する最適値と比較を行う。比較および通知の ワークフローを Logic App で自動実行して Teams への通知を行う。 作業指示4 Synapse SQL に格納された製造履歴を参照し、Machine Learning により機械 学習モデルを作成。モデルを Kubernetes へ展開し、品質予測や在庫最適値を 算出する。 予測・最適化3 Teamsやモバイルアプリから各担当のモバイル端末へ通知を行う。 Surface Hub をアンドンとして使用し、通知を表示する。 通知5 モバイル製造・組立装置 製造履歴 画像 Azure Kubernetes Service Azure Data Lake Storage Azure Stream Analytics Power Apps IoT Hub カメラ 動画 センサデータ メッセージ 通知 4 5 Logic Apps model テレメトリ Stream Analytics on Edge 警報装置 発報 model Model deploy ERP Teams 予測値・最適値 通知 分析モデル 開発者 Azure Machine Learning Cognitive Custom Vision 1 計画値・ 実績値 32 画像 Azure Synapse Analytics Azure Blob Storage Blob on Edge Azure Container Registry IoT Edge Runtime / Agent ML Model (ONNX)
  • 163. リファレンスアーキテクチャ Factory of the Future: 4. 最適値算出/分析自動化(アナリティクス、ML、AI) 5. 処理の自動化 ( ワークフロー / アラート ) リフロー炉 温度 装置故障の 可能性がある急激な 温度変動を リアルタイムに検出 監視カメラ 映像 作業員の転倒や 不適切なエリアへの 侵入を映像から リアルタイムに検知 パトライトなど ラインサイドで 警告表示 各Edge PCからデータ収集 作成した分析モデルを 各エッジに配布 検査結果/センサデータを蓄積 蓄積した製造データを横断的に 分析する環境を提供 データ分析担当者によって 故障予兆や異常検知の 分析モデルを作成 定時バッチなどで 分析モデルを元に 故障予測を計算 既存システムと連携して 現在の保全計画・実績と 故障予測を比較し、 保全計画を最適化する 最適化した保全計画に 基づいて 担当者に作業指示を通知
  • 164. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 設備保全のレベル Factory of the Future 故障発生の都度 メンテナンスを行う 故障する前に メンテナンスを行う 故障の予兆を検知 制約条件を考慮した 最適なアクション自動化
  • 165. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 メンテナンスの適切なタイミングを知る Factory of the Future Time Quality 劣化発生 メンテナンス 最適時期 オーバーメンテナンス 予測
  • 166. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 異常検知の基本的なアプローチ方法 Factory of the Future 振動数 回転数 稼働日数
  • 167. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 設備保全モデルの考え方 Factory of the Future
  • 168. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 設備保全モデル Factory of the Future 回帰 分類 クラスタリング時系列予測
  • 169. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 高度な設備保全イメージ Factory of the Future ! モデルデプロイ エッジデバイスで故障の 予兆を検知しアラート On-Premise Cloud ! クラウド分析基盤
  • 170. サブシナリオ4: 最適値算出 / 分析自動化 ( アナリティクス、ML、AI ) – 補足 LSTMによるRULの予測の例 Factory of the Future ? お客様に納入した機械は いつまで使えるだろうか.... 無駄な部品交換は 避けたい... 200日 320日 250日 あと何日使える
  • 171. 1. Connected Sales Product as a Service • Azure Machine Learning • Cognitive Services • Power Platform による、AIの民主化 4 顧客のモデル化と最適提案
  • 172. リファレンスアーキテクチャ Expectation for Partners • 営業情報や製品利用状況を活用したマーケティングエンジン(❶❷❸) • マーケティングオートメーションやSFA、最適レコメンデーションなどの既存ソリュー ションとMSプラットフォームとの連携強化(❹❺) コアとなる顧客情報はDynamics 365 のDBで管理し、顧客との関係構築を行い つつ営業情報を管理する。また、Workplace AnalyticsやTeamsを組み合わせ、 提案資料や製品設計情報などの関連資料の共有やチーム活動の加速を行う。 営業支援・ナレッジシェアリング2 顧客環境での製品稼働状況や営業情報、営業関連資料を収集すると共に、顧 客の外部情報をパブリックDMPなどから収集し、顧客を軸として集約・紐付けする ことによって、顧客の購買・利用行動をデータ上で表現する。 顧客情報集約3 一元管理された多数の顧客行動データを Customer 360 によって分析することに より、顧客のセグメンテーションやモデル化を行う。 外部システムと連携しつつ、製品リストと顧客モデルのマッチングやダイナミックプライ シングを行うことで、顧客ごとの推薦商品、推薦時期を計算する。 顧客のモデル化と最適提案4 計算された推薦商品や時期などの提案計画を顧客へのアクションに結びつけるた め、適切な関連システムへのインプットを行う。例えば、Dynamics 365を経由して 営業担当の活動に結びつける、顧客に製品案内を送信する、などのアクションが 考えられる。 営業活動の計画自動化5 顧客に提供したコネクテッドプロダクトから稼働状況を収集・蓄積する。 製品からの稼働状況収集1 SharePoint Power Platform Office365 Teams SQL Server Dynamics 365 IoT Hub 2 Azure Data Lake Storage Logic AppsAzure Machine Learning 分析者 Customer 360 営業顧客 設計営業 営業計画 営業活動実績・製品情報製品稼働 状況 製品稼働 状況 パブリック DMP (顧客情報など) 外部システム (ダイナミック プライシングなど) 1 3 4 5 Azure Synapse Analytics Synapse Spark Synapse PipelineSynapse SQL Product as a Service: 1. Connected Sales