11. Event Hubs : スケールするフルマネージドのメッセージブローカー
Stream Analytics : SQLでデータストリームをホゲホゲしたい
Event Hubsから入ってくるデータストリームをSQLで処理
処理したデータをEvent Hubsに戻したり他のデータストア
に送る
Point of
Service Devices
Self Checkout
Stations
Kiosks
Smart
Phones
Slates/
Tablets
PCs/
Laptops
Servers
Digital
Signs
Diagnostic
EquipmentRemote Medical
Monitors
Logic
Controllers
Specialized
DevicesThin
Clients
Handhelds
Security
POS
Terminals
Automation
Devices
Vending
Machines
Kinect
ATM
12. SELECT
system.timestamp AS OutTime ,
deviceId AS deviceId,
AVG (windSpeed) AS Avg_windSpeed ,
COUNT (*) AS Cnt_Event
INTO [powerbi-output] FROM [iothub-input]
GROUP BY deviceId,TumblingWindow(Duration(minute,5))
13. Map reduce
Hbase
トランザクショ
ン
HDFS アプリケーションHive クエリ
Azure HDInsight
Hadoop WebHDFS クライアント
Hadoop WebHDFS クライアント
WebHDFS
エンドポイント
WebHDFS
REST API
WebHDFS
REST API
ADL Store file ADL Store file ADL Store file ADL Store fileADL Store file
Azure Data Lake Store
14. REFERENCE ASSEMBLY WebLogExtASM;
@rs =
EXTRACT
UserID string,
Start DateTime,
End DateTime,
Region string,
SitesVisited string,
PagesVisited string
FROM "swebhdfs://Logs/WebLogRecords.csv"
USING WebLogExtractor ();
@result = SELECT UserID,
(End.Subtract(Start)).TotalSeconds AS Duration
FROM @rs ORDER BY Duration DESC FETCH 10;
OUTPUT @result TO "swebhdfs://Logs/Results/top10.txt"
USING Outputter.Tsv();
• 型定義は C# の型定義と同じ
• データをファイルから抽出・読
み込み
するときに、スキーマが必要
Data Lake Store のファイ
ル独自形式を解析するカスタム
関数
C# の関数
行セット
TSV形式で読み取る関数