More Related Content Similar to Japan Wrap Up re:Invent2018 (20) More from Kameda Harunobu (11) Japan Wrap Up re:Invent20182. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
JapanWrap upSession
Today’sAgenda
16:45-17:00
WelcomeSpeech
17:00-17:45
MachineLearningに関するサービスアップデート
17:45-18:15
DataBaseに関するサービスアップデート
18:15-18:37
ITTransformation関連サービスのまとめ
18:37-19:00
その他主要サービスアップデートのまとめ
3. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
JapanWrap upSession
長崎 忠雄
代表取締役社長
アマゾン ウェブ サービス ジャパン株式会社
4. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
5. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
6. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
7. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
8. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
9. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
10. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Machine Learning
ServicesUpdate
Makoto Shimura
Solution Architect
A W S r e : I n v e n t 2 0 1 8
J a p a n W r a p - u p S e s s i o n
11. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS MachineLearningServicesStack
12. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
今回のアップデートの概要
1. 万人が対象
API サービス - 誰でも機械学習技術を活用できるように
2. [機械学習] 技術者が対象
ML パイプライン - 機械学習のあらゆるプロセスを便利に
3. 機械学習技術者が対象
強化学習 – 機械学習の新たな領域
13. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
API サービス
14. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS MachineLearningServicesStack
15. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
16. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonPersonalize–easy-to-useなパーソナライズ
• Amazon Personalize は機械学習のエキスパートでない人向けの,レコメンデー
ションやパーソナライゼーションが簡単に行えるサービス
• Amazon が培ったレコメンデーションのナレッジを活用して,データを入れたら自
動でレコメンド・パーソナライズの結果を取得可能
• 既存サービスに簡単にレコメンド機能を追加できるように
17. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonPersonalizeの利用イメージ
• 以下のようなユースケースに適用可能
• ユーザーの行動ログデータをベースとしたレコメンデーションを実行
• ユーザーごとに検索結果をパーソナライズして,表示順序を変更
• ノートフィケーションをパーソナライズした形で実行
• バッチデータとストリームデータの両方に対応
• バッチデータは S3 から「ユーザー x 商品」行列形式のデータを取り込む
• ストリームデータは AWS Amplify か AWS SDK 経由でデータを送信
18. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
価格と提供リージョン
• 価格
• データ量,学習数,推論数に応じて課金
• 提供リージョン
• バージニア北部
• オレゴン
• ステータス
• 以下のページからプレビュー申請可能
https://pages.awscloud.com/AmazonPersonalizePreview.html
19. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
20. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonForecast–easy-to-useな時系列予測サービス
• Amazon Forecast は機械学習のエキスパートでない人向けの,時系列データの予
測を簡単に行えるサービス
• Amazon が培った時系列予測のナレッジを活用して,データを入れたら自動で時系
列予測の結果を表示
• ウェブトラフィック,売上データ,商品需要,小売における製品値引きやプロモー
ションの効果などを予測する際に役立つ
21. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
価格と提供リージョン
• 価格
• 作成した予測数,保存データ量,学習にかかった時間の 3 要素に応じて課金
• 提供リージョン
• バージニア北部
• オレゴン
• ステータス
• 以下のページからプレビュー申請可能
https://pages.awscloud.com/AmazonForecast-Preview.html
22. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
23. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonComprehendMedical–メディカルデータ対応
• 文章から様々な情報を抽出する,自然言語理解サービス Amazon
Comprehend の拡張サービスで,メディカルデータ向けのチューニング
を行なったもの
• 症状,治療法,薬等の医療用語,略語に対応できるように追加学習済み
• 医療上の文脈やエンティティの関係性を認識
• Protected health Information (PHI) を抜き出す API も用意.ただし
100 % の精度で検出できるわけではないので,その点に注意して使用す
る必要あり
24. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonComprehend Medical の利用イメージ
• 症状や治療法のようなエンティティを認識
• 文章構造をみて,単語間の関係性も認識することが可能
25. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
価格と提供リージョン
• 価格
• $0.01/unit : Medical Named Entity and Relationship Extraction API
• $0.0014/unit : Medical PHI Data Extraction and Identification API
• 1 unit は 100 文字
• 対応言語
• 英語
• 提供リージョン
• バージニア北部
• オレゴン
• オハイオ
• アイルランド
26. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
27. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonTextract–文章構造も認識可能なOCR
概要
• Amazon Textract は高機能な OCR を提供
• 見出し,ヘッダー,フォーム,テーブル等の構造情報
も認識
• 既存の OCR にあるような文書章フォーマットのテン
プレートをメンテナンスする必要はない
価格
• $1.50 / 1000 pages
ステータス
• 以下のページからプレビュー申請可能
https://pages.awscloud.com/textract-preview.html
28. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
29. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonTranslateCustomTerminology–カスタム語彙
• Amazon Translate は高機能な多言語
間翻訳サービス
• ただ固有名詞等,決まった特定の形
で処理をしたいものに関しては,必
ずしもうまく対応できなかった
• カスタム語彙を追加することで,こ
の問題に対応できるように
• ただし多用しすぎると翻訳の質を逆に下げてし
まう
• 商品名,固有名詞のような常に一定の規則で変
換されるもの留めることを推奨
• 言語ごとのカスタム語彙利用推奨,
非推奨は右図の通り
30. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
31. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
MLModelsinAWSMarketplace–
機械学習モデルのマーケットプレイスを新たに提供開始
• さまざまな会社が提供する機械
学習モデルを,マーケットプレ
イス経由でサブスクライブし,
Amazon SageMaker の学習
ジョブおよび,推論エンドポイ
ントやバッチ推論ジョブで利用
可能に
• 200 以上のアルゴリズムがすで
に公開済み
• 自社アルゴリズムの販売も当然
可能
32. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker でのマーケットプレイスモデルの利用
学習ジョブ実行時 モデル作成時
33. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS MachineLearningServicesStack
34. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ML パイプライン
35. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習の分類
ラベルや値を学習
正解あり
ラベルや値を学習
正解なし
36. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
一般的な機械学習のプロセス
37. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
実際の機械学習のプロセス
38. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データ
準備
実際の機械学習のプロセス
39. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習の分類
ラベルや値を学習
正解あり
ラベルや値を学習
正解なし
40. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
41. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonSageMakerGroundTruth–
効率的アノテーション作業の支援サービス
• Amazon SageMaker Ground Truth は,機械学習の正解データ作成(ア
ノテーションと呼ばれる)作業をサポートするマネージドサービス
• 画像や文章に正解ラベルを付与するのは,非常に手間のかかるプロセス
だが,精度の高い正解データ作成は,機械学習活用には必須
• 例えば以下のようなアノテーションを実行可能
• 画像分類(ネコ画像とイヌ画像を分類)
• 物体検出(画像内の複数の物体を,物体の範囲を四角形で囲む形で検出)
• セマンティックセグメンテーション(ピクセルレベルで画像内の領域を分割)
• テキスト分類(ポジティブな文章とネガティブな文章を分類)
• 自分で定義したさまざまなタスク
42. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
GroundTruthによるアノテーション
• ピクセル単位,バウンディングボックス等さまざまなタスクに対応
• アクティブラーニングによる効率的なアノテーション
• ツールを提供するだけでなく,以下のアノーテターを選択可能
• 自社リソース
• 3rd パーティ
• Amazon Mechanical Turk
43. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
アノテーション作業と結果のチェック
44. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
価格と提供リージョン
• 価格
• Amazon Mehcanical Turk および 3rd パーティベンダーのアノテーターを使用するときには,
その利用料が別途かかる
• 提供リージョン
• バージニア北部
• オレゴン
• オハイオ
• アイルランド
• 東京
45. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
実際の機械学習のプロセス
モデル
変換
46. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
47. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonSageMakerNeo–
各種フレームワーク対応のモデル変換
• Amazon SageMaker Neo は Tensorflow や PyTorch などの Deep Learning フレームワークで学習
したモデルを, EC2 インスタンスや Greengrass デバイス上で高速に動作するように変換する
サービス
• モデルの速度は最大 2 倍に(もちろん予測精度を一切下げることなく)
• 従来のフレームワーク上で 500MB-1GB あるようなモデルが,Amazon SageMaker Neo
Runtime 上で 1MB 程度のサイズに
• Apache Software License で OSS として提供
48. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Neoの対応フレームワークとプラットフォーム
• 対応フレームワーク
• Tensorflow
• Apache MXNet
• PyTorch
• ONYX
• XGBoost
• 対応プラットフォーム
• EC2 インスタンス(ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2)
• デバイス
• ARM Cortex-A, Intel Atom, Nvidia Jetson)
• Cadence, Qualcomm, Xilinx にも対応予定
49. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
価格と提供リージョン
• 価格
• 無料
• 提供リージョン
• バージニア北部
• オレゴン
• アイルランド
50. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
実際の機械学習のプロセス
推論
51. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
52. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonElasticInference–GPUによる推論を安価に
• Amazon Elastic Inference は GPU リソースを
推論演算ごとに細切れで利用可能とすること
で,推論にかかる費用を削減しながら高速な
推論を行えるサービス
• 現在の GPU は,主に学習プロセスに最適化
されており,これを推論で用いる場合,コス
ト的な無駄が生じやすかった
• 推論に適した CPU / メモリの EC2 インスタ
ンスを選んだ上で,GPU のスループットを
得るための EIA (Elastic Inference
Accelerator) を以下の 3 つから選択
• eia1.medium: 8TFLOPS の混合精度演算
• eia1.large: 16TFLOPS の混合精度演算
• eia1.xlarge: 32TFLOPS の混合精度演算
53. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
CPUインスタンスの計算をGPUでアクセラレート
• ワークロードに応じた最適なリソース配分
• 画像処理:more GPU, CPU, and Memory
• 音声認識:less GPU, more CPU and Memory
• たとえば画像分類の推論処理をする場合,コストを下げながら十分なパ
フォーマンスを得ることが可能
インスタンス EIA
推論速度
(msec)
価格 ($/hour)
c5.large なし 230 msec $0.085
c5.large eia1.medium 46 msec $0.22
p2.xlarge なし 42 msec $0.90
54. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
価格と提供リージョン
• 価格(東京リージョン)
• eia1.medium: $0.308/h
• eia1.large: $0.630/h
• eia1.xlarge: $1.246/h
• 提供リージョン
• バージニア北部
• オハイオ
• オレゴン
• アイルランド
• ソウル
• 東京
55. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
56. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Inferentia – 機械学習の推論チップ
• AWS Inferentia は,低コストで高性能を実現するように設計された機械学習の推論
チップ
• TensorFlow,Apache MXNet,PyTorch ONNX フォーマットを使用するモデルをサ
ポートし,アプリケーションの計算コストの90%を節約することができる
• 2019 年に提供開始予定で,Amazon SageMaker,Amazon EC2,Amazon Elastic
Inference が対応
57. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
実際の機械学習のプロセス
推論
58. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
59. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSStepFunctionsAPIConnectors
Step Functions のステートマシンから他のAWS
サービス群に対して直接操作できるようになり,
前処理〜ジョブ実行〜デプロイの流れをより便
利に行えるように
• DynamoDB: 既存のテーブルからitemの取り出し,新規item
の追加
• AWS Batch: バッチジョブの開始と完了待機
• Amazon ECS/Fargate: ECSまたはFargateのタスクを実行
• Amazon SNS: SNSトピックにメッセージをパブリッシュ
• Amazon SQS: キューにメッセージをプッシュ
• AWS Glue: ジョブを開始
• Amazon SageMaker: 学習ジョブ、変換ジョブを開始
60. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AirflowOperator サポート
• Airflow 1.10.1 より,SageMaker Operator をサポート
• 既存の Airflow 環境から,SageMaker を読んでパイプラインを構築する
ことがより簡単に
https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/workflow/README.rst
61. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
実際の機械学習のプロセス
開発 学習 推論
62. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
63. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AirflowOperator サポート
• Airflow 1.10.1 より,SageMaker Operator をサポート
• 既存の Airflow 環境から,SageMaker を読んでパイプラインを構築する
ことがより簡単に
https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/workflow/README.rst
64. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Github /CodeCommit インテグレーション
• SageMaker のノートブックインスタンスが,Github および CodeCommit と統合
された形で利用可能になった
• JupyterLab モードから GUI で利用可能
• Git リポジトリを紐づけてノートブックインスタンスを起動することで,最初から
当該リポジトリが含まれた状態で作かを開始できる
65. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
TensorflowコンテナがスクリプトモードとPython3に対応
• 従来の SageMaker では model_fn, train_input_fn, eval_input_fn とコン
ポーネントを分けて記述する必要があった
• これが __main__ の中に直接モデル定義とデータ読み込み,学習処理を
すべて書けるようになったので,既存の Tensorflow スクリプトをそのま
ま持ってきて動かすことが容易になった
• あわせて tf.keras を使うことで,既存の Keras コードを移植して学習さ
せることも容易に
• また従来の Python 2 だけでなく,Tensorflow 1.11 以降ではPython 3 に
対応
66. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ビルトインアルゴリズムに
セマンティックセグメンテーションが追加
• セマンティックセグメンテーションは,ピクセル単位で画像の領域が何
かを判定するもの
• Image Classification, Object Detection と並んでよく行われる画像認識の
手法
67. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
学習ジョブに対して高度な検索を行える
Search 機能(ベータ)が追加
• アルゴリズム,ハイパーパラメータ設定,学習データ,タグ等で,合致するデータ
を検索することが可能
• 検索結果を Accuracy や Loss 等のメトリクスでソートすることが可能
• デプロイされたモデルについて,どのデータが使われたかという Linage をトレー
スすることも可能
68. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
実際の機械学習のプロセス
開発
69. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
70. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
非常に高速な学習のためのGPU インスタンス
• C5n インスタンス同様,最大 100Gbps のネットワーク性能
• ENA ドライバが必要
• 1 セッションでは 5Gbps が上限なので,通信真の多重化を考慮する必要あり
• 32GB 版 NVIDIA® Tesla® V100 GPU を 8 個,Intel® Xeon® Scalable (Skylake) の
96v CPU を搭載
• 2x900GB の NVMe SSD でディスクアクセスもさらに高速に
71. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
強化学習
72. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習の分類
ラベルや値を学習
正解あり
ラベルや値を学習
正解なし
73. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習の分類
ラベルや値を学習
正解あり
ラベルや値を学習
正解なし
「方策」を学習
正解なし
74. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習の分類
ラベルや値を学習
正解あり
ラベルや値を学習
正解なし
「方策」を学習
正解なし
75. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
強化学習(Reinforcement Learning) とは
• 定義された「環境」の中で,「エージェント」が「行動」したフィード
バックとして「報酬」を受け取るステップを,何度も繰り返し,最終的
に良い結果を目指す
• 報酬は,ポジティブなものだけではなくネガティブなものもある
• 最終的に良い結果につながる行動には,ポジティブな報酬
• 最終的に悪い結果につながる行動には,ネガティブな報酬
• 例: 将棋
• 環境: 9x9 のマス目と,多くの種類の駒,およびルール
• エージェント: 将棋の指し手 2 名
• 行動: 駒を動かす
• 報酬: 勝ち負け
76. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
77. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonSageMakerで強化学習のサポート
• Amazon SageMaker RL は,強化学習を行うための機能拡張
• Open AI Gym / Intel Coach / Berkeley Ray RLLib などを含んだ形で,
Tensorflow / MXNet のコンテナを利用することが可能
• また TensorForce や StableBaselines のような強化学習ライブラリを活
用して,自分自身の環境を作成することも可能
• 以下のようなツール群と連携
• シミュレーター
• AWS が提供: AWS RoboMaker, Amazon Sumerian
• 他社提供: MATLAB and Simulink(ライセンスは別途必要)
• 環境: OpenAI Gym, Gym インタフェースを使った環境(Roboschool, EnergyPlus など)
78. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMakerの強化学習でオートスケーリングの最適化
• 環境: ロードプロファイルと稼働インスタンス数
• 行動: インスタンスの起動 or 停止
• 報酬: 費用 + トランザクション成功率.キャパシティ不足の際は大きなペナルティ
79. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
80. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSDeepRacer–強化学習のためのラジコンカー
• AWS DeepRacer は,1/18 スケールの 4 輪ラジコンカー
• 開発者が強化学習を始める際に,ハンズオンを行えるようにするためのもの
仕様
• 1/18 スケールラジコンカー
• Intel Atom プロセッサ
• 4Mピクセル, 1080p カメラ
• WiFi (802.11ac)
• 2h 以上稼働可能なバッテリー
• Ubuntu 16.04LTS, ROS (Robot
Operating System), OpenVino
81. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSDeepRacerの構成と関連サービス
• Amazon SageMaker で強化学習のトレーニング
を行うことが可能
• AWS RoboMaker による 3D シミュレーション環
境を用いて,トレーニングした結果の評価を行
い,良かったものを実機で走らせる
• AWS DeepRacer リーグを開催.AWS 各地のサ
ミットでレーシングイベントを開催するととも
に,オンラインのイベントやトーナメントも実
施.成績上位者は re:Invent 2019 で行われる
チャンピオンカップに集結
82. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
価格
• Amazon.com にて,$399.00 のところが今なら期間限定で $249.00 で予
約受付中.2019/3/6 発売予定
83. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
84. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
まとめ
1. 万人が対象 API サービス - 誰でも機械学習技術を活用できるように
• 自分たちのデータで時系列予測・パーソナライズを簡単に行える新サービスが登場
• 医療用自然言語解析,OCR といった,既存の言語・画像領域のサービスも拡大
2. [機械学習] 技術者が対象 ML パイプライン - 機械学習のあらゆるプロセスを便利に
• アノテーション,モデル変換,GPU 推論の最適化,ワークフロー管理など,ML パイプライ
ンをエンドツーエンドでサポートするようなサービスを提供
• 従来開発・の学習・推論プロセスに関しても,より多くの機能を提供
3. 機械学習技術者が対象 強化学習 – 機械学習の新たな領域
• Amazon SageMaker が強化学習をサポートし,他サービスとも連携
• AWS DeepRacer によって,強化学習の第一歩を踏み出すことがより簡単に
85. Thank you!
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Makoto Shimura
makotosh@amazon.co.jp
86. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
re:InventWrap upSession
Database
Tats Shibata
Database Solutions Architect
Amazon Web Services Japan
87. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Agenda
新サービス
• Amazon Quantum Ledger
Database (QLDB)
• Amazon Managed Blockchain
• Amazon Timestream
• Amazon RDS on VMware
アップデート
• Amazon DynamoDB Transactions
• Amazon DynamoDB On-Demand
• Amazon Aurora Global Databases
• Amazon Aurora: Custom endpoints
• Amazon Aurora Serverless: Data API
• Amazon Aurora with PostgreSQL 10
Compatibility
• Amazon RDS for Oracle 12.2
• Amazon RDS for SQL Server: Always On
availability groups
• Amazon RDS for SQL Server: Enhanced backup
and restore capabilities
• AWS Database Migration Service: Amazon
Elasticsearch Service and Amazon Kinesis Data
Streams as targets
88. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
89. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonQuantumLedger Database(QLDB)
• フルマネージドな元帳データベース
• すべてのデータ変更を
正確に順序づけられたエントリーとして格納。
内部的には追記のみが行われ、各エントリーは変更不可能
ヘルスケア
患者の医療記録の
確認や追跡
製造業
リコールされた製品の
製造履歴を追跡
人事部門
従業員プロフィールへの
変更を追跡
政府機関
各種履歴の追跡
90. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
既存技術で元帳を実現する際の課題
不必要な複雑さ
ブロックチェーンRDBMSでの監査テーブル
複雑な
メンテナンス
低い
スループット
プロシージャの
作成 / 管理
管理者による
変更 / 削除
91. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
QLDBの構成要素
C | H
J ジャーナル
C | H 現在値 | 履歴
現在値 | 履歴
ジャーナル
元帳が
構成されるJ
L
元帳データベースL
ジャーナルが
規定
現在値 | 履歴
92. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ID Version Start End Manufacturer Model Year VIN OwnerID Version Start End Manufacturer Model Year VIN Owner
1 1 07/16/2012 NULL Tesla Model S 2012 123456789 Traci Russell
ID Version Start End Manufacturer Model Year VIN Owner
1 1 07/16/2012 08/03/2013 Tesla Model S 2012 123456789 Traci Russell
1 2 08/03/2013 09/02/2016 Tesla Model S 2012 123456789 Ronnie Nash
1 3 09/02/2016 NULL Tesla Model S 2012 123456789 Elmer Hubbard
ID Version Start End Manufacturer Model Year VIN Owner
1 1 07/16/2012 08/03/2013 Tesla Model S 2012 123456789 Traci Russell
1 2 08/03/2013 NULL Tesla Model S 2012 123456789 Ronnie Nash
ID Manufacturer Model Year VIN Owner
1 Tesla Model S 2012 123456789 Elmer Hubbard
ID Manufacturer Model Year VIN OwnerID Manufacturer Model Year VIN Owner
1 Tesla Model S 2012 123456789 Traci Russell
ID Manufacturer Model Year VIN Owner
1 Tesla Model S 2012 123456789 Ronnie Nash
FROM cars WHERE VIN = '123456789' UPDATE owner = 'Elmer Hubbard'INSERT INTO cars <<
{ 'Manufacturer': 'Tesla',
'Model': 'Model S',
'Year': '2012',
'VIN': '123456789',
'Owner': 'Traci Russel' }
>>
FROM cars WHERE VIN = '123456789' UPDATE owner = 'Ronnie Nash'
QLDBの具体例
J
current.cars
C
history.cars
H
INSERT cars
ID:1
Manufacturer: Tesla
Model: Model S
Year: 2012
VIN: 123456789
Owner: Traci Russell
Metadata: {
Date:07/16/2012
}
H(x) UPDATE cars
ID:1
Owner: Ronnie Nash
Metadata: {
Date:08/03/2013
}
H(x) UPDATE cars
ID:1
Owner: Elmer Hubbard
Metadata: {
Date: 09/02/2016
}
H(x)
93. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
QLDBの機能まとめ
• 追加のみできるジャーナルデータを保存
• 暗号化ハッシュ関数を利用した
トランザクションの整合性検証が可能
• サーバーレス
• SQLライクな文法
• ドキュメント型データモデル
• ACIDサポート
• 2018/11時点では、プレビューの申し込み受付中
94. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Managed Blockchain
• Hyperledger Fabric とEtherum*を使用した
フルマネージドなブロックチェーンネットワークサービス
• 数クリックでスケーラブルなブロックチェーン
ネットワークをセットアップ可能
• ブロックチェーンネットワークへの新規メンバーの追加や
リソースの使用率の追跡などの管理や保守が容易に
• QLDBにブロックチェーンネットワークのアクティビティを
レプリケートし、ネットワークのアクティビティ分析や
トレンドの把握が容易に
• 2018/11時点では、プレビューの申し込み受付中
95. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonTimestream[1/3]
• IoTデバイスからのセンシングデータや
産業機器のテレメトリデータなどの
大量に発生する時系列データの追加に特化したデータベース
• 大量の時系列データから開始 / 終了時刻の範囲を設定して
データをクエリーするようなワークロードに最適
• RDBMSでも同様のことは可能だが、
毎日数兆件のイベントが発生するようなワークロードでは、
10分の1のコストで最大1000倍の性能向上を実現
• サーバーレス
• 2018/11時点では、プレビューの申し込み受付中
96. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonTimestream[2/3]
ITシステムや、
工業製品といった
接続デバイスから
データを収集
Amazon Timestream を
使用して、時系列データを
効率的に格納、処理。
また、補間、近似、
スムージングなどの
組込み解析機能を使用して、
データを分析
BIツールの
プラグインに
よって、
SQLライクな
クエリーにより
時系列データ分析
機械学習を使用して
傾向、パターン、
異常を特定
97. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonTimestream[3/3]
• IoTアプリケーション
• スムージング、近似、補間などの組込み解析関数を使用し、
IoTアプリケーションで生成された時系列データを迅速に解析。
例えば、Amazon Timestream 経由でデバイスセンサーから
モーションや照度データを収集し、留守のときはライトをオフにするなど
• 産業用テレメトリ
• 産業機器の保守、やり取りの監視や、ルーティング計画と最適化のために、
時系列データを簡単に保存および分析
• DevOps
• 各アプリケーションからデータおよびサーバー監視データなどをリアルタイムで分析し、
アプリケーションのパフォーマンスと可用性を向上させるDevOpsアプリケーションを構築
98. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon RDSonVMware
• VMware上で Amazon RDS を実行可能に。
RDSの特徴であるマネージドサービス、スケラービリティ、
高可用性、高セキュリティをVMware環境でも実現
• 災対用に、RDS on VMware のスタンバイやリードレプリカを
AWSに構築するハイブリッドクラウドを構成可能
• 既存オンプレミスデータベースを RDS on VMware に移行してから、
AWSに移行する Shift & Lift 戦略
• 2018/11時点では、プレビューの申し込み受付中
99. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データカテゴリとユースケース
Relational
参照整合性、
ACIDトラン
ザクション、
スキーマ
Lift and shift, ERP,
CRM, finance
Key-value
高スループット、
低レイテンシ、
スケーラ
ビリティ
Real-time bidding,
shopping cart,
social, product
catalog, customer
preferences
Document
ドキュメントを
保存し、任意の
属性にクエリで
すばやく
アクセス
Content
management,
personalization,
mobile
In-memory
マイクロ秒
レベルの
keyアクセス
Leaderboards,
real-time analytics,
caching
Graph
すばやく簡単に
データ間の
関係を元に
グラフ構造を
作成、
ナビゲート
Fraud detection,
social networking,
recommendation
engine
Time-series
時系列に特化
した形で
データの収集、
格納、処理
IoT applications,
event tracking
Ledger
アプリケーション
データの全変更を
完全、不変、
検証可能な
履歴として保存
Systems
of record, supply
chain, health care,
registrations,
financial
100. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSの提供するサービス
Aurora CommercialCommunity
Relational Key-value Document In-memory Graph Time-series Ledger
101. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
102. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon DynamoDBTransactions [1/2]
• DynamoDBが複数アイテム、複数テーブルに対する
読み書きでACIDトランザクションをサポート
• 金融取引、商品の受注から決済までの管理などの
ユースケースでの使用が容易に
• 同一アカウント内の同一リージョン内で、
最大10個の異なるアイテムに対して、
最大10回の書き込みを1個のトランザクションに含められる
103. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon DynamoDBTransactions [2/2]
• トランザクション分離レベルはSerializableで、
ロックは取らない
• トランザクションの進行中に、アイテムがトランザクション外で
変更された場合、トランザクションはキャンセルされ、例外が発生
• 複数のトランザクションが同一アイテムを頻繁に変更するような
ワークロードには向かない
• グローバルテーブルではデフォルト無効、
有効にした場合もトランザクションはリージョン単位
• 追加料金なし
104. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon DynamoDBOn-Demand
• DynamoDBで、読み書きリクエスト数に応じた
Pay-per-Requestモデルの請求モードが選択可能に
• 今までは事前にキャパシティ設計が必要だったが、
on-demandを利用することで不要に
• 既存テーブルでも、どちらの請求モードにするか変更可能。
ただし、on-demandへの変更は1日1回まで
• バージニア北部リージョンでの料金
• 100万書き込みリクエスト当たり$1.25
• 100万読み込みリクエスト当たり$0.25
105. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonAuroraGlobal Databases [1/2]
• Aurora with MySQL 5.6 のクロスリージョン
リードレプリカが強化され、Global Databases に
• 通常1秒未満の低レイテンシなレプリケーションと、
通常1分以内の高速なフェールオーバーが可能に
• 従来はBinlogを基にしたレプリカインスタンスを作成していたが、
Global Databases では、Auroraストレージレベルでのクラスター間の
物理レプリケーションで実現
• 2018/11時点では、バージニア北部、
オハイオ、オレゴン、アイルランドで
利用可能
バージニア北部 オレゴン
106. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonAuroraGlobal Databases [2/2]
107. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonAurora:Customendpoints
• Auroraクラスター内のどのインスタンスを含めるかを
ユーザーが指定可能なエンドポイントが作成可能に
• オンラインクエリー用のリードレプリカと
分析クエリー用のリードレプリカを分離することが可能に
• MySQL / PostgreSQL 両互換で対応
108. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonAuroraServerless:DataAPI
• Aurora Serverless へのアクセス方法として、
MySQLネイティブプロトコルに加え、HTTPSエンドポイント
および AWS SDK からのアクセスを提供
• AWS Lambda や AWS AppSync から、
VPCにアクセスすることなくAuroraを利用可能
• クエリー結果はJSON形式で戻される。
1000行および1MBが上限
• 同期APIであり、
1分以内に完了しない場合は中断される
• 2018/11時点では、
バージニア北部でベータ版として提供
109. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonAurora with
PostgreSQL 10Compatibility
• Aurora with PostgreSQL 2.0 として
PostgreSQL 10.4 互換バージョンをリリース
• ネイティブパーティショニング(宣言的パーティショニング)に対応
• パラレルクエリーの強化
• postgres_fdwの強化
• 2018/11時点では、バージニア北部、オハイオ、
オレゴン、アイルランドで利用可能
110. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon RDSforOracle 12.2
• RDS for Oracle のサポートバージョンに12.2が追加
• BYOL (Bring Your Own License) での Oracle Support による
Extended Support 終了日が2025年1月に
• Oracle Multitenant には引きつづき未対応だが、
一部の機能はRDSの機能で代替可能
Premier Support 終了 Extended Support 終了
11.2.0.4 2015/01 2020/12
12.1.0.2 2018/07 2021/07
12.2 2022/03 2025/03
http://www.oracle.com/us/support/library/lifetime-support-technology-069183.pdf
111. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon RDSforSQLServer:
AlwaysOn availabilitygroup
• RDS for SQL Server が Always On 可用性グループを使用した
マルチAZ構成をサポート
• Always On 可用性グループリスナーが使用可能に
• 従来のミラーリングに比べ、フェイルオーバーがより短く
• 従来のミラーリングを利用するか、Always On 可用性グループを
利用するかは、エディションとバージョンからRDSが自動選択
• 対応エディション: Enterprise Edition
• 対応バージョン: SQL Server 2016 13.00.5216.0以降
• 2018/11時点では、SQL Server 2017 に未対応
112. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon RDSforSQLServer:
Enhanced backup and restore capabilities
• 1つのバックアップファイル(.bakファイル)からの
復元を利用して、複数の RDS for SQL Server インスタンスを
作成できるようになり、開発 / 検証環境の複製がより高速に
• マルチAZ構成の RDS for SQL Server が、プライマリとミラーの
両方を同時に復元できるようになり、復元時間がより短く
• 同一インスタンス上にある復元する必要のないデータベースの
停止および再ミラーリングが不要に
113. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DatabaseMigrationService(DMS):
Amazon ElasticsearchServiceand
Amazon KinesisDataStreamsas targets
• DMSのデータ送信先に Elasticsearch Service と
Kinesis Data Streams が追加
• RDBMSへのINSERTなどの変更を
RDBMSの外でリアルタイムに分析 / 監視できるように
114. Thank you!
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Tats Shibata
115. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
JapanWrap-up
ITTransformation 関連サービスのまとめ
瀧澤与一
アマゾンウェブサービスジャパン株式会社
技術統括本部 エンタープライズソリューション本部
本部長 / プリンシパルソリューションアーキテクト
116. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Agenda
Storage:
• AWS Snowball Edge Compute
Optimized
• AWS DataSync
• Glacier Deep Archive
• S3 Intelligent-Tiering
• EFS Infrequent Access
• AWS Transfer for SFTP
• Amazon FSx for Windows File Server
• Amazon FSx for Lustre
Networking:
• AWS Global Accelerator
• AWS Transit Gateway
• Elastic Fabric Adapter
• AWS Ground Station
Security
• AWS Security Hub
• AWS Control Tower
Enterprise IT Management:
• AWS License Manager
• Amazon RDS on Vmware
• OutPosts
• AWS Well-Architected Tool
117. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
118. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSSnowballEdgeComputeOptimized
物理的に過酷な場所やオフラインの場所でコンピューティングを集中的に
使用するアプリケーション用に、52vCPU、208GBのメモリ、7.68TBの
NVMe SSD、および42TBのS3互換ストレージを提供。 また、フルモー
ションビデオ処理などのシナリオのため、NVIDIA TESLA V100 GPUを追
加するオプションもあります。
• 52vCPU/208GiB:Snowball Edge Compute Optimized
• 52vCPU/208GiB:Snowball Edge Compute Optimized with GPU
• 従来のSnowball Edge(24vCPU/32GiB/100TB S3互換ストレージ)は
“Snowball Edge Storage Optimized”として引き続き利用可能
119. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS DataSync
マイグレーションやアップロード、バックアップ/DRにおける、データ転
送の加速と自動化を実現。
120. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Glacier DeepArchive
オンプレミスのテープよりも低価格な、低コストストレージをクラウドで
提供
121. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
(Coming soon)
Amazon EFS InfrequentAccessStorageClass
アクセス頻度の低いファイルのコストに最適化されたAmazon EFSの新し
いストレージクラス
122. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AutomaticCostOptimization
forAmazonS3 IntelligentTiering
パフォーマンスへの影響や運用上のオーバーヘッドなしに、データ・アク
セス・パターンが変更されたときにストレージ・コストを自動的に最適化
する新しいストレージクラス
123. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSTransfer forSFTP
完全マネージド、高い可用性のSFTPサービス。Amazon S3のバケットを
使い、IAMを利用して、ユーザ認証、権限管理や鍵で制御可能。
124. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon FSxforWindowsServer
ネイティブ Windows ファイルサーバー上に構築された完全に管理された
Windows ファイルシステム
• ファイルシステムあたり最大2 GB /秒のスループット、数十
万IOPS、一貫したサブミリ秒のレイテンシを備えた高速性
能を提供
125. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon FSxfor Lustre
処理負荷の高いワークロード向けの完全管理型ファイルシステム
• 高性能コンピューティング、機械学習、メディアデータ処理
ワークフロー、電子設計自動化(EDA)などのコンピュー
ティング集約型ワークロードに最適化された、完全に管理さ
れたファイルシステム
• 数百ギガバイト/秒のスループット、数百万のIOPS、および
サブミリ秒の遅延で大量のデータセットを処理できるLustre
ファイルシステム
• Amazon FSxはAmazon S3と統合されているため、S3デー
タに簡単にアクセスして、コンピューティング集約型のワー
クロードを実行可能。Amazon Direct ConnectまたはVPN経
由でFSxファイルシステムにアクセスも可能。
126. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
127. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSControlTower(Preview)
マルチアカウントに対応したセキュアな環境を簡単に設定および管理可能
• Control Towerには統合されたダッシュボードが用意されて
いるため、AWS環境のトップレベルの要約を表示して、ア
カウントに関するすべての情報を1か所で把握可能。
128. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSSecurityHub(Preview)
AWS 環境全体でセキュリティとコンプライアンスを一元的に管理可能
129. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
130. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSGroundStation
衛星通信のダウンリンクと衛星データの処理、衛星に関するオペレーショ
ンをAmazon EC2のように、使いたい時に従量課金で利用可能。
• 衛星を登録するには、チームと連絡する必要があります。利
用率と需要を監視し、必要に応じてステーションとアンテナ
を増設します。
131. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSGlobalAccelerator
AWSグローバルネットワークを利用して、複数リージョン向けのアプリ
ケーションの可用性とパフォーマンスの向上を容易に。
132. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSTransitGateway
複数AWSアカウントで構成された複数のAmazon VPCや、オンプレミスの
ネットワークを相互に接続。
133. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ElasticFabricAdopter
HPCに最適化されたAmazon EC2用ネットワークインターフェイス
• 既存のHPCアプリケーションをAWSクラウドにス
ケール可能に。
• 例えば、リザボアシミュレーション((油田の原油産出量
予測)、気象モデリング、流体計算など、ノード間の通
信が重要なワークロードで効果を発揮。
• 業界標準のMPI(Message passing Interface)をサポー
トし、既存のアプリケーションへの変更なしに利用が
可能。
• 100GbpsをサポートしたC5nインスタンスで利用可能。
134. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
135. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
商用ソフトウェアのライセンス管理を提供する
AWS License Managerを発表
• 現在のライセンス利用状況の可視化や、ライセンス
上限到達時に新規起動を抑止することが可能
• 構築済みAMIやLaunch Templateとルールを紐付ける
ことでトラッキングを行う。トラッキングについて
はオンプレミスのサーバにも対応
• vCPUの最小・最大数を規定することや、Dedicated
利用の強制することでライセンス規定への抵触を回
避するための機能を備える
• 東京リージョンを含む各リージョンにおいて、無料
で利用できる
136. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
VMware基盤上でAmazon RDSを利用できる
Amazon RDS on VMwareのパブリックプレビューを開始
• MySQLとPostgreSQLについて、Amazon RDS on
VMwareのプライベートプレビューを開始
• 利用できるバージョンは限定的で、MySQLは5.7。
PostgreSQLは10.4となる
• 通常のRDSと同様にOSやDBMSへのパッチ適用、
バックアップとPITR、スケーリングやフェイルオー
バーを自動化することができる
• マスター側をVMwareに配置し、リードレプリカを
AWSに起動することもできる
• プレビューにはサインアップが必要
Traditional
server
Traditional
server
Traditional
server
137. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSOutposts
AWSインフラストラクチャをオンプレミスで実行して、一貫したハイブ
リッド体験を実現
• VMware Cloud for AWS Outpostsと、AWS OutpostsのAWS
ネイティブバリアントを提供。
• Amazon Elastic Compute Cloud (Amazon EC2) and Amazon
Elastic Block Store (Amazon EBS) がOutpostsで提供。数ヶ
月後に、RDS, ECS, EKS, SageMaker, EMRも対応。
• AWS Management Consoleにログインして、さまざまな計
算オプションとストレージオプションから選択して、
Outpostsサーバーを注文します。1つまたは複数のサーバー、
または1/4、ハーフ、およびフルラック単位を発注すること
ができます。
• AWSによって完全に管理されサポートされます。
138. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSWell-ArchitectedTool
ソリューションアーキテクトが活用しているWell-Architectedツールを使っ
て、アーキテクチャの改善が可能に。
139. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Summary
Storage:
• AWS Snowball Edge Compute
Optimized
• AWS DataSync
• Glacier Deep Archive
• S3 Intelligent-Tiering
• EFS Infrequent Access
• AWS Transfer for SFTP
• Amazon FSx for Windows File Server
• Amazon FSx for Lustre
Networking:
• AWS Global Accelerator
• AWS Transit Gateway
• Elastic Fabric Adapter
• AWS Ground Station
Security
• AWS Security Hub
• AWS Control Tower
Enterprise IT Management:
• AWS License Manager
• Amazon RDS on VMware
• OutPosts
• AWS Well-Architected Tool
140. Thank you!
© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Yoichi Takizawa
Sr. Manager, Principle Solutions Architect
Amazon Web Services Japan K.K.
141. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
JapanWrap-upSession
その他主要サービスアップデート
荒木靖宏
本部長/プリンシパルソリューションアーキテクト
アマゾン ウェブ サービス ジャパン株式会社
142. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
143. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
IoTセンサー群をモニターし異常検知とアクションを容易にする
AWS IoT Eventsを発表
• 様々な場所に設置したIoTセンサー群からのデータをモニタリングし異常
や不具合をいち早く検知、保守の手配などのアクションを開始できる
• if-then-elseの形式でイベントを検知するロジックを定義し、イベント発
生時に実行する通知やアクションを選択するだけでセットアップは完了
• AWS IoT CoreやAWS IoT Analyticsとも
連携可能
• バージニア、オレゴン、アイルランド
でプレビュー提供
144. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
工場に設置した産業機器からのデータ収集を容易にする
AWS IoT SiteWiseを発表
• 工場に配置された産業機器からのデータを簡単に収集し整理することを
可能にするマネージドサービス
• SiteWiseは産業機器と連携しやすい設計であり、Snowball EdgeやGW
に導入してデータを収集、予兆検知などに応用することが可能
• バージニア、オレゴン、アイルランドでリミテッドプレビューを開始
145. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
デバイスとWebサービスをつなぐアプリをGUIで構築する
AWS IoT Things Graphを発表
• IoTアプリケーションは様々なデバイスとWebサー
ビスを連携させる形で構築される
• AWS IoT Things GraphはデバイスやWebサービスを
モデルとして定義し、GUIで相互接続を設定するこ
とでIoTアプリケーションの構築を迅速化する
• 構築されたアプリケーションはGreengrassが導入さ
れたデバイスで稼働させることができる
• バージニア、オレゴン、アイルランドのリージョン
でプレビューを開始。試用を希望する場合はWebで
お申し込みを
146. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS RoboMaker
ロボットの開発、シミュレート、テスト、デプロイをサポートするサービ
ス。工場、教室、レストラン、ホテル、他の惑星など、様々な環境やサイ
ズで動作するロボット向けに提供します。
147. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
148. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ARMベースのAWS Gravitonプロセッサ
Amazon EC2 A1インスタンス
• マイクロサービスのホストや、ウェ
ブサーバ、開発環境やキャッシュ
サーバなど、小規模インスタンスを
たくさん並べる用途に最適
• 他ファミリと比較し顕著に低コスト
• Amazon Linux 2, RHEL, Ubuntuの
AMIがすでに利用可能で他も近日サ
ポート開始予定
• バージニア、オレゴン、アイルラン
ド、オハイオで
a1ファミリ vCPU メモリ
(GiB)
EBS帯域
(Gbpx)
NW帯域
(Gbps)
コスト
($/時)
a1.medium 1 2 Max 3.5 Max 10 0.0255
a1.large 2 4 Max 3.5 Max 10 0.0510
a1.xlarge 4 8 Max 3.5 Max 10 0.1020
a1.2xlarge 8 16 Max 3.5 Max 10 0.2040
a1.4xlarge 16 32 3.5 Max10 0.4080
149. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon EC2C5nInstance
100Gbpsのネットワークスループットに対応した新しいインスタンス
150. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
サーバの状態を維持したままインスタンスを停止できる
Amazon EC2がハイバネーションをサポート
• ハイバネーションの対応により、メモリ状態をディ
スクに書き出した上でインスタンスを停止可能に
• サーバで動作しているアプリケーションなどを停止
することなく、インスタンスを停止できる
• ハイバネーション中のインスタンスサイズを変更す
ることはできない。メモリサイズとEBS速度に応じ
て停止・復帰には処理時間を要するので注意
• M3/M4/M5/C3/C4/C5/R3/R4/R5インスタンスで利用
可能。Windows ServerとAmazon Linux 1がサポート
されるが、Amazon Linux 2も近日対応
151. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
100GbpsのNWを備え、さらにリッチなリソースを提供する
Amazon EC2 p3dn.24xlargeインスタンスを発表
• 従来のP3インスタンスに加えて、100Gbpsのネット
ワーク帯域が利用可能でリソースを強化した
p3dn.24xlargeインスタンスを追加
• 以下のリソースを備える
96vCPU, 768GiB RAM, 2x 1TB NVMe SSD
8x NVIDIA Testa V100 GPU
100Gbps Network
• バージニアとオレゴンのリージョンで利用可能。オ
ンデマンドに加えて、Reserved InstanceやSpot
Instanceとしても利用できる
152. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
サーバレスコンピューティング向けのマイクロ仮想マシン
Firecrackerを発表
• コンテナのリソース利用効率と仮想サーバのセ
キュリティ・独立性を兼ね備えるKVMテクノ
ロジベースのマイクロVMテクノロジ
• LambdaやFargateの基盤技術として利用されて
おり、大規模な運用にも耐えられる
• マイクロVMあたりわずか5MiBのメモリオー
バーヘッド。CPUリソースの細かな制御にも
対応
• Apache 2.0ライセンス
153. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
154. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon ManagedStreaming for Kafka
フルマネージドの可用性の高いApache Kafraサービス
155. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AmazonCloudWatchLog Insights
数秒で大量のログを読み込み、迅速かつインタラクティブなクエリと視覚
化を実現します。任意のログ形式を処理でき、JSONログからフィールド
を自動検出。
• 高度なアドホッククエリ言語があり、目的のイベントフィー
ルドを取得したり、条件に基づいてフィルタリング可能。
• しパーセンタイルや時系列集計などの集計統計を計算したり、
任意のファイルを並べ替えることが可能。
• 正規表現を使用してイベントフィールドからデータを抽出し、
クエリでさらに処理できる1つ以上の一時的なフィールドを
作成することも可能。
• クエリ結果を視覚化することができ、CloudWatch
Dashboardにクエリを追加することが可能。
• N. Virginia, Ohio, N. California, Oregon, Ireland, Frankfurt,
London, Paris, Tokyo, Mumbai, Seoul, Sydney, São Pauloで
提供開始。
156. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon KinesisDataAnalyticsforJava
Amazon Kinesis Data AnalyticsにJavaのサポートを導入
• 開発者は独自のJavaコードを使用して、データレイクにデータを連続的に変換してロードしたり、
リアルタイムのゲームのリーダーボードを提供するためのメトリクスを生成したり、接続されてい
るデータストリームに機械学習モデルを適用するなどのストリーミングデータを処理する強力なリ
アルタイムアプリケーションを作成できます。
• この新しい機能を使用するために、開発者は、アプリケーションが任意の規模でデータを整理、変
換、集約、分析できるようにする共通データ処理関数の組み込み演算子を含むオープンソースライ
ブラリを使用してアプリケーションを構築します。
• これらのライブラリはどちらもオープンソースであり、どこでも実行できます。
• N.Virginia, Ohio, Oregon, Irelandでご利用いただけます。
157. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS LakeFormation
• すべてのデータを元の形式で保存し、分析の準備が整った、
集中管理された、保護された、安全なリポジトリ
• データサイロを分解し、さまざまなタイプの分析を組み合わ
せて洞察を得て、より良いビジネス上の意思決定を導くこと
が可能。
• データの格納場所と適用するデータアクセスとセキュリティ
ポリシーを定義するだけの簡単さ。
• データベースとオブジェクトストレージからデータを収集し
カタログ化し、新しいAmazon S3データレイクにデータを
移動し、機械学習アルゴリズムを使用してデータを整理し、
機密データへのアクセスを確保。
158. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
159. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWSToolkitsfor Popular IDEs
開発者が普段使っているIDEに、AWS Toolkitsが対応
160. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS LambdaがRubyによるファンクションをサポート
• AWS LambdaのファンクションをRubyで記述する
ことができるようになった
• 現時点で利用可能な言語は以下の通り
Python 2.7, 3.6, 3.7
Node.js 4.3, 6.10, 8.10
.NET Core 1.0(C#), 2.0(C#), 2,1(C#/PowerShell)
Go 1.x
Java 8
Ruby x.x
• Lambdaが利用可能な全リージョンで一般利用開始
Lambda Function
161. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
言語ランタイムを持ち込むことで好みの言語を利用する
AWS LambdaでCustom Runtimesをサポート
• Linuxで互換のランタイムを持ち込むことで、任意の
言語をLambda関数を記述できるようになった
• 新たにリリースされたRuntime APIによって可能に
なった。Rubyのサポートはこの方式による
• 現在AWSからC++/Rustのリリースを準備中。パート
ナーからはPHP/Erlang/Elixir/N|Solid/Cobolが提供さ
れる予定
• C++/RustはOSSとなる
https://github.com/awslabs/aws-lambda-cpp-runtime
https://github.com/awslabs/aws-lambda-rust-runtime
162. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ALBSupport for Lambda
Lambda 関数を既存のウェブアーキテクチャに統合することが可能に。
163. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
StepFunctionsAPIConnectors
コードを書かずに AWS サービスを結合させることが可能に。
164. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
WebSocket support forAPIGateway
Lambda 関数とAPI Gateway を利用し、リアルタイムの2-way通信アプリ
ケーションを構築できます。
165. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
アプリケーションのサービスディスカバリを容易に実現する
AWS Cloud Mapをローンチ
• マイクロサービス間の依存関係を把握するのは難し
いが、各サービスは連携先を認識し接続する必要が
ある。これを解決するのがサービスディスカバリ
• 各サービスのロケーションやサービス状態を自動的
にトラックしサービスディスカバリの仕組みを実現
• SDK/CLIやDNSを利用して問い合わせが可能。各
サービスはCloud Mapに問い合わせをおこない、接
続先を自動的に取得することが可能に
• 登録したリソース毎に$0.10/月、百万回のディスカ
バリAPI呼び出し毎に$1.00の料金
166. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
マイクロサービス向けのサービスメッシュを提供する
AWS App Meshのパブリックプレビューを開始
• AWS上のマイクロサービスを簡単に監視・制御する
ための仕組み。サービス間の通信方式を標準化し、
連携状況の可視化や可用性を確保しやすくする
• マイクロサービスアーキテクチャの課題の一つは、
個々のサービスの管理が煩雑な点だが、これによっ
て個別管理から解放され運用が容易になる
• App MeshはオープンソースのEnvoy Proxyを利用し
ている。様々なオープソースツールやパートナ製品
と連携できる
• App Mesh自体は無料で利用できる
167. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Managed Blockchain
Hyperledger Fabric, Etherreumフレームワークをサポートする、完全に管
理されたブロックチェーンサービス
• 管理されたブロックチェーンコンソールで数回ク
リックするだけで構成可能(sw構成、nw設定、新し
いメンバーの追加などの管理する必要なし)
• Hyperledger Fabric と Ethereumを利用可能。(Ethereum
は後日提供)
168. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
169. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS ElementalMediaConnect
安価で、高信頼でセキュアな複数拠点にリアルタイムビデオ転送を実現
170. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
171. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS re:Invent 2018 ダイジェスト 〜 AWS の最新動向を学ぶ〜
https://amzn.to/2R23scQhttps://amzn.to/2S4F1eN
173. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
174. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
175. © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Editor's Notes 2017年
6か所のキャンパス
43,000+ の参加者
60,000+ のライブ参加者
1,300+ のセッション
日本から 1,055の参加者
日本からの参加者は1055名。
他のクラウドベンダーの名前について触れる必要はないです。AWSのマーケットシェアにのみ言及いただきますようお願いいたします。 参考リンク:https://aws.amazon.com/jp/blogs/news/aws-ground-station-ingest-and-process-data-from-orbiting-satellites/
https://aws.amazon.com/jp/ground-station/
DJ スクリレックス
ヘルスケアのサービス提供者は、各患者の医療記録を確認 / 追跡できるシステムを提供する必要があります。
運輸局は、中古車購入者のために自動車所有記録を参照できる方法を必要としています。
人事部門は、各従業員給与支払い、昇給、ライフイベントに加えられた変更の証跡を保存する必要があります このような元帳を、今まではどのように実装していたのでしょうか。たとえば、RDBMSで元帳テーブルを作ったり、Ethereumや Hyperledge Fabric のようなオープンソースのブロックチェーンを使っていたりします。しかし、それぞれには課題も少なくありませんでした。
たとえば、RDBMSで構築する場合、トリガーやストアドプロシージャを使用して監査機能を作成 / 管理する手間が非常に掛かりました。また、データベース管理者のような強い権限を持っているユーザーが、監査テーブルを書き換えることを防ぐことは困難でした。
ブロックチェーンは『分散』元帳を実現したいときに利用すべきです。分散する必要のない元帳データベースを必要としているのであれば、複数ノードでを持つプライベートブロックチェーンネットワークを構築するために、ネットワークやアクセス制御などのさまざまなコンポートを設定することは、必要のない複雑性を増やすことを意味しています。
また、ブロックチェーンは中央集権化を避けるために、ネットワーク合意をしてから元帳データベースにコミットする必要があるため、スループットが出ません。
QLDBはこのような要素で構成されています。
追加などの変更情報は、ジャーナルとしてデータブロックに追加されます。これらのデータブロックはハッシュチェーンでつながっているため、途中のデータを変更したり削除したりすることはできません。
そしてこのデータから現在値と履歴を参照できる表が生成されます。銀行口座で言えば、現在値は口座残高、履歴は通帳の入出金履歴です。
Speaking of right tool for the right job
Instead of a list of 300, lets pivot and first think about common categories
Then consider what the purpose of a tool is within a category
And common use cases we hear from customers
For example
If part of your application, such as orders, required strict schema, data accuracy, and consistency, relational is a great choice
If you were building a massive online game, with millions of players coming and going, requiring high through put reads and writes, with endless scale, key-value is a great choice
If part of your application needed to make a recommendation, based on highly connected data, graph is a great choice
Lets take a closer look
Our offer a family of databases so developers never have to trade off functionality, performance, or scale
There is no compression algorithm for experience
We have a deeper understanding of how to run highly available databases at scale
Our roadmap is 90% driven by customers, new model, we will invest
A common question I get is what is coming in the future
While I don’t know exactly what the future looks like, its important that we invest in things that last
For example, I don’t think a customer will ask us to make a database
Scale less, perform slower, and have outages.
This is why we are always investing in scale, performance, and operations
We aspire for our operations to be indistinguishable from perfect, so you can spend your time on building
AWS IoT Things Graph
AWS IoT SiteWise
AWS IoT Events
AWS Elemental MediaConnect
Amazon EC2 P3dn instances
On-Demand Hibernated
Amazon Managed Blockchain
AWS RoboMaker
EC2 A1 Instance
C5n
CloudWatch Logs Insights
Amazon Kinesis Data Analytics for Java applications
Firecracker
AWS Lake Formation
AWS App Mesh
AWS Toolkit for Popular IDEs
AWS Step Functions service integrations
Amazon Managed Streaming for Kafka (Amazon MSK)
AWS CloudMap
APIGW web socket support
Lambda Ruby support
ALB lambda as a target
スクリプト言語なら配置するだけで動く。コンパイル言語の場合はリコンパイルが必要 難しい理由:コンテナは負荷に応じて動的に増減する、各マイクロサービスは頻繁にインフラ構成が変わることがあり得る 他のクラウドベンダーの名前について触れる必要はないです。AWSのマーケットシェアにのみ言及いただきますようお願いいたします。 他のクラウドベンダーの名前について触れる必要はないです。AWSのマーケットシェアにのみ言及いただきますようお願いいたします。 他のクラウドベンダーの名前について触れる必要はないです。AWSのマーケットシェアにのみ言及いただきますようお願いいたします。