Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
•
2 likes•2,458 views
JAZUG札幌支部（きたあず） 第17回勉強会での発表資料です。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
Similar to Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン (20)
More from Kazuyuki Miyake
Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
- 1. Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン 2018.1.26 @ JAZUG札幌支部（きたあず） 第17回勉強会 三宅 和之 Kazuyuki Miyake
- 3. A globally distributed, massively scalable, multi-model database service Column-family Document Graph Turnkey global distribution Elastic scale out of storage & throughput Guaranteed low latency at the 99th percentile Comprehensive SLAs Five well-defined consistency models Table API Key-value Azure Cosmos DB MongoDB API
- 4. A globally distributed, massively scalable, multi-model database service Column-family Document Graph Turnkey global distribution Elastic scale out of storage & throughput Guaranteed low latency at the 99th percentile Comprehensive SLAs Five well-defined consistency models Table API Key-value Azure Cosmos DB MongoDB API
- 5. API Apps Search Cosmos DB Blob Storage 利用者 認証 App Service Microsoft Azure Storage Queue Blob Storage Functions Storage Queue SQL Database Cosmos DB Cognitive Services Machine Learning Function s PC Clients(Windows/Mac)Mobile Clients(iOS/Android) API Gateway 外部システム Application Insights Azure Monitor Web Apps Token .NET Identity Framework Functions REST/OAuth2 SPA (Browser App)SPA (Browser App) 負荷モニター/オートスケール Microsoft導入事例サイト: https://www.microsoft.com/ja-jp/casestudies/ffs.fujifilm.aspx
- 10. ﹣ ﹣ ﹣ 参考: A technical overview of Azure Cosmos DB https://azure.microsoft.com/en-us/blog/a-technical-overview-of-azure-cosmos-db/ Dr. Leslie Lamport
- 11. Azure Cosmos DB ﹣ ﹣ Document型 Graph型 Column Family型 • SQL API (DocumentDB) • MongoDB API • Gremlin API• Table API Key-Value型 • Apache Cassandra API（プレビュー）
- 12. ﹣ ﹣ ﹣ ﹣ 参考: Automatic regional failover for business continuity in Azure Cosmos DB https://docs.microsoft.com/ja-jp/azure/cosmos-db/regional-failover
- 14. ﹣ ﹣ ﹣ ﹣ ﹣ https://www.documentdb.com/capacityplanner 参考: Azure Cosmos DB の要求ユニット https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units
- 22. ﹣ ﹣ 参考: NoSQL データベースのドキュメント データのモデル化 https://docs.microsoft.com/ja-jp/azure/cosmos-db/modeling-data • •
- 23. • 1つのJSONは、1つのcsファイルにまとめても良い • 実際には、各プロパティにJsonPropertyを付与してキャメ ルケースに対応させる public class Rootobject { public string Id { get; set; } public string LastName { get; set; } public string FirstName { get; set; } public Address Address { get; set; } public string Title { get; set; } public Contact[] Contacts { get; set; } } public class Address { public string Line1 { get; set; } public string Line2 { get; set; } public string City { get; set; } public string State { get; set; } public int Zip { get; set; } } public class Contact { public string Email { get; set; } }
- 25. ﹣ ﹣ Use the best data store for the job https://docs.microsoft.com/en-us/azure/architecture/guide/design-principles/use-the-best-data-store
- 31. ﹣ ﹣ ﹣ ﹣ ﹣
- 33. 参考: Automatic regional failover for business continuity in Azure Cosmos DB https://docs.microsoft.com/ja-jp/azure/cosmos-db/regional-failover
- 34. // 接続ポリシーの作成 var connectionPolicy = new ConnectionPolicy { ConnectionMode = ConnectionMode.Direct, // ダイレクトモード ConnectionProtocol = Protocol.Tcp // TCPを利用 }; // 読み取りリージョンを優先度順に追加 connectionPolicy.PreferredLocations.Add("Japan West"); connectionPolicy.PreferredLocations.Add("Japan East"); connectionPolicy.PreferredLocations.Add("Southeast Asia"); // DocumentDBクライアントの生成 client = new DocumentClient( new Uri(ConfigurationManager.AppSettings["endpoint"]), ConfigurationManager.AppSettings["authKey"], connectionPolicy ); client.OpenAsync(); // パフォーマンス改善のため一度接続しておく 接続クライアント生成時に、読み取 りリージョンを設定しておく 参考: PaaSがかりの部屋 - Cosmos DBで読み取りリージョンへ明示的にルーティングする https://k-miyake.github.io/blog/cosmos-db-preferred-locations/ 動的設定の 実装例
- 35. Make all things redundant https://docs.microsoft.com/en-us/azure/architecture/guide/design-principles/redundancy
- 37. ﹣ ﹣
- 40. Azure Cosmos DB Triggerを使ったAzure Functionの実行フロー
- 42. • •
- 46. Try Azure Cosmos DB for free! https://azure.microsoft.com/ja-jp/try/cosmosdb/
- 48. Cosmos DBのリソースモデル • • • Account Database Container Item = Collection Graph Table • ドキュメント • ストアドプロシージャ • トリガー • ユーザ定義関数 参考: Azure Cosmos DB 階層型リソース モデルと中心的概念 https://docs.microsoft.com/ja-jp/azure/cosmos-db/documentdb-resources Container（SQL APIでは「コレクション」） が設計上最も重要な単位
- 49. ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ ﹣ Provisionedrequest/sec Time 12000000 10000000 8000000 6000000 4000000 2000000 Nov 2016 Hourly throughput (request/sec) 参考: Azure Cosmos DB コンテナーのスループットの設定 https://docs.microsoft.com/ja-jp/azure/cosmos-db/set-throughput
- 50. • • Document document = await _client.ReadDocumentAsync( UriFactory.CreateDocumentUri(_option.DatabaseId, _option.CollectionId, id), new RequestOptions{ PartitionKey = new PartitionKey(pkey)} ); 参考 :Azure Cosmos DB でのパーティション分割とスケーリング https://docs.microsoft.com/ja-jp/azure/cosmos-db/partition-data
- 51. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB の SLA https://azure.microsoft.com/ja-jp/support/legal/sla/cosmos-db/
- 52. 参考: Azure Cosmos DB での予約されたスループット上限の超過 https://docs.microsoft.com/ja-jp/azure/cosmos-db/request-units#RequestRateTooLarge
- 53. 一貫性 レベル 説明 Strong • 最新バージョンのデータを返すことが保証される • 複数リージョンへの分散ができない Bounded Staleness • 最大でアイテムの K 個のバージョンまたはプレフィックス あるいは期間 t の分だけ、読み取りが書き込みに対し遅れる ことが保証 • kとtは設定変更が可能 Session • クライアント セッション内での一貫性が保証される • デフォルト Consistent Prefix • 返される更新が、それ以外の全更新の一部のプレフィックス となる (ギャップなし) • 書き込みが A, B, C の順で実行された場合、クライアントで は A、A,B、または A,B,C で返る可能性があるが、A,C また は B,A,C などで返されることはない Eventual • 結果整合性 • 読み取りと書き込みの待機時間は最短 • クライアントからの読み取りは順不同となる可能性がある 参考: Azure Cosmos DB の一貫性レベル https://docs.microsoft.com/ja-jp/azure/cosmos-db/consistency-levels
- 55. ﹣ ﹣ 参考: Azure Cosmos DB のサーバー側 JavaScript プログラミング https://docs.microsoft.com/ja-jp/azure/cosmos-db/programming#database-program-transactions
- 56. ﹣ ﹣ ﹣https://www.documentdb.com/sql/demo 参考: Azure Cosmos DB DocumentDB API: SQL 構文 https://docs.microsoft.com/ja-jp/azure/cosmos-db/documentdb-sql-query-reference#select-query
- 57. ﹣ ﹣ PM> Install-Package Microsoft.Azure.DocumentDB • TCP直接接続モードの例 • ポート範囲 10000 ～ 20000 を開けておく必要あり 参考: Azure Cosmos DB .NET SDK https://docs.microsoft.com/ja-jp/azure/cosmos-db/documentdb-sdk-dotnet
- 58. サンプル実装: https://github.com/Azure-Samples/documentdb-dotnet-todo-app/blob/master/src/DocumentDBRepository.cs • SDK利用に多くの解釈がないため、 ほぼ同じようなコードに収束する • Upsertもサポートされている • 実はSQLを直接使う機会 はあまりない DocumentDBRepository抜粋
- 59. ﹣ ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB データベースのセキュリティ https://docs.microsoft.com/ja-jp/azure/cosmos-db/database-security
- 60. ﹣ ﹣ ﹣ ﹣ 参考: Azure Cosmos DB での自動オンライン バックアップと復元 https://docs.microsoft.com/ja-jp/azure/cosmos-db/online-backup-and-restore
- 61. ﹣ 参考: Azure Cosmos DB のメトリックを使用した監視とデバッグ https://docs.microsoft.com/ja-jp/azure/cosmos-db/use-metrics
Editor's Notes
- 3
- 4
- サーバレスデータベース サーバレスアーキテクチャを支えるデータストア もはやいわゆるNoSQLデータストアではない
- DocumentDB API データはJSON形式 SQLが利用可能 MongoDB API 既存のMongoDBツールチェーンとスキルを活用できる ワイヤプロトコル Table Storage API KVS Azure Storage Tableのプレミアム版という位置付け Gremlin API グラフDB グラフトラバーサル言語のGremlinをサポート
- idを含めなければ自動で生成される（手動採番もOK） 大量データなら「インポートツール」も利用可能
- Webアプリ + DBのシステム全体が東西DR構成となる Traffic Managerとの組み合わせ SQL DBも併用可能
- Webアプリ + DBのシステム全体が東西DR構成となる Traffic Managerとの組み合わせ SQL DBも併用可能
- IoTからのセンサーデータや操作ログなどの分析 リアルタイムに分析ができるデータストア 複数ドキュメントを返すクエリはRUの消化が大きくなる
- Functions Cosmos DBトリガーでほぼリアルタイムの検索インデックスを作成 Azure Function Cosmos DBトリガー
- Cosmos DBのSQLでは検索に限界がある SELECT * FROM c WHERE CONTAINS(c.note, '本田技研') 表記揺れ、ゆらぎなどへの対応ができない 検索結果のスコアリングができない ページングの実装がシンプルになる
- Get insights into your Azure #CosmosDB: partition heatmaps, OMS, and more - https://azure.microsoft.com/en-us/blog/get-new-insights-into-your-azure-cosmos-db-partition-heatmaps-azure-monitor-oms-and-audit-log/