IBM cloud 冬の勉強会 google の視点も織り交ぜ理解するkubernetes , istio , grafeas とibm cloud private on - の発表資料です。IBM 平山毅

1. IBM Cloud
IBMクラウド事業本部
コンサルティング・アーキテクト
平山 毅
2017年 12月 3日
Google の視点も織り交ぜ理解する
Kubernetes , Istio , Grafeas と
IBM Cloud Private on 〜
IBM Cloud (Bluemix) 冬の大勉強会 2017

2. IBM Cloud
Introduction
平山 毅 (ひらやま つよし)
IBM IBMクラウド事業本部 コンサルティング・アーキテクト
【共著】
⾼度なマイクロサービス実現を⽀援するIstio , Grafeas の基本
をGoogleとIBM の両視点で説明します。
また、IBM Cloud Private のマルチプラットフォームについ
て、Amazon ECS ユーザーにも分かるように説明します。

3. Internal and Business Partner Use OnlyIBM Cloud
Kubernetes、Istio、Grafeas
コードとビルドのメタデータ
Grafeas
サービスメッシュ
Istio
セキュリティ監査

4. Internal and Business Partner Use OnlyIBM Cloud
IBM Strategy with Google on Istio and Grafeas
GoogleとIBM、Lyftが米国時間5月24日、「Istio」の最初のパブリックリリースを発表した。Istioプラッ
トフォームはGoogleとIBMの共同オープンソースプロジェクトだが、根幹をなすソフトウェアはLyftの
「Envoy」プロキシを使って構築された。Envoyプロキシは、Lyftが社内の運用性の問題に対処するために
開発したもの。IBMにとって、Istioプロジェクトは、開発者が「IBM Cloud」上のコンテナでよりセ
キュアなコグニティブアプリを構築および管理する⽅法の簡素化を目指す同社の取り組みを⽀えるもの
だ。マイクロサービスやコンテナが次世代アプリ開発の主役になる中で、同社の取り組みはより時宜を得
たものになっている。IBMによると、Istioは企業でセキュリティやポリシー、コンプライアンスの要件を
実施するための強⼒なツールも最⾼情報責任者（CIO）に提供するという。
GoogleやIBMなど8社は米国時間10月12日、「Grafeas」というオープンソースプロジェクトの⽴ち上げ
を発表した。またGoogleは、同プロジェクトの追加コンポーネントとして「Kritis」を発表した。Kritisに
よって開発者らは、Grafeasに格納されているメタデータに基づき、「Kubernetes」の統制ポリシーを作
り上げられるようになるGrafeasは、Kritisコンポーネントを用いることで、オンプレミス環境やパブリッ
ククラウド環境、ハイブリッド環境をまたがって動作する統合メタデータストアとして機能する。Kritisに
より新たなメタデータのプロデューサーとタイプの追加とともに、これら新たなソースに対する理解が容
易になるとIBMは述べている。また追加機能には、コンポーネントをまたがって動作する、強⼒なアクセ
ス制御機能と豊富なクエリ機能も含まれている。IBMは、IBM Cloud Platform上で「IBM Container
Service」の一部としてGrafeasとKristisを提供するとともに、同社の「Vulnerability Advisor」や
DevOpsツールとGrafeasのAPIを統合する計画。
https://japan.zdnet.com/article/35101704/
https://japan.zdnet.com/article/35108797/ より引用

5. Internal and Business Partner Use OnlyIBM Cloud
First , Kubernetes

6. Internal and Business Partner Use OnlyIBM Cloud
Overview of Kubernetes
Bootノード
Ansibleベース
インストーラー
& 運用管理
Masterノード
管理コンソール(router)
Workerノード Workerノード Proxyノード
永続ストレージ
ユーザー・アプリケーション ユーザー・アプリケーション
Calicoノード Filebeat Calicoノード Filebeat
KubeletK8 Proxy KubeletK8 Proxy
Calicoノード Filebeat
KubeletK8 Proxy
UCarp
Ingressコントローラー
Kubernetesコア
etcd KubeletK8 Proxy K8 Scheduler K8 Control Manger K8 API Server
Calicoノード
認証App Centerログ・監視 イメージ管理VIP管理
認証マネジャー
Keystone
Maria DB
Elastic Search
Heapster
Logstash
Filebeat
イメージMgr
Dockerレジストリ
Unifiedルーター
Helmレポジトリ
Tiller
UCarp
DNS
Kube-DNS
Calico ポリシー
コントローラー
Default Backend
Rescheduler
LDAP

7. Internal and Business Partner Use OnlyIBM Cloud
Basic of Kubernetes
Kubernetes ＝ Kubelet = Cluster ＝ 複数のものを１つに⾒せる
＝ Master + Worker + Registry
Master
=
API +
Scheduler +
Controller
Kubernetes
Worker Node 1
Container
Registry
(Docker Image)
Worker Node 2
Worker Node 3
Worker Node N
オンプレミスだと、この信頼性設計が大
変。IBMやGoogleのマネージドサービ
スを活用すると、ここが隠ぺいされる。
クラウドと同様にAPIで制御。

8. Internal and Business Partner Use OnlyIBM Cloud
Worker Node on Kubernetes
Worker Node on Kubernetes
Service
Cluster IP
Services
Pod A
Cluster IP
Container
Container
Kublet
Pod B
Cluster IP
Container
Container
Kube Proxy
Pod C
Cluster IP
Container
Container
Pod D
Cluster IP
Container
Container
IP or FQDN
アクセス
IP or FQDN
アクセス
ポート
アクセス
Replica Set Replica Set
コンテナ
はポート
フォワー
ディング
Stateful Setを
使いか否かもポイント

9. Internal and Business Partner Use OnlyIBM Cloud
Labels on YAML code for Kubernetes
apiVersion: apps/v1beta2 # for versions before 1.8.0 use apps/v1beta1
kind: Deployment
metadata:
name: nginx-deployment
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:1.7.9
ports:
- containerPort: 80
役割を付与するLabelが重要
https://kubernetes.io/docs/concepts/overview/working-with-objects/kubernetes-objects/ より引用
nginx nginx nginx
Label : nginx
mysql mysql mysql
Label : mysql

10. Internal and Business Partner Use OnlyIBM Cloud
Example Code of Wordpress on Kubernetes
https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ より引用
https://kubernetes.io/docs/concepts/storage/persistent-volumes/ より引用
apiVersion: v1
kind: Pod
metadata:
name: frontend
spec:
containers:
- name: db
image: mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: "password"
resources:
requests:
memory: "64Mi"
cpu: "250m"
limits:
memory: "128Mi"
cpu: "500m"
- name: wp
image: wordpress
resources:
requests:
memory: "64Mi"
cpu: "250m"
limits:
memory: "128Mi"
cpu: "500m"
apiVersion: v1
kind: Pod
metadata:
name: frontend
spec:
containers:
- name: db
image: mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: "password"
resources:
requests:
ephemeral-storage: "2Gi"
limits:
ephemeral-storage: "4Gi"
- name: wp
image: wordpress
resources:
requests:
ephemeral-storage: "2Gi"
limits:
ephemeral-storage: "4Gi"
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv0003
spec:
capacity:
storage: 5Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Recycle
storageClassName: slow
mountOptions:
- hard
- nfsvers=4.1
nfs:
path: /tmp
server: 172.17.0.2
CPU,Memory 割当 Disk 割当 永続Disk 割当
WordpressとMySQLで構成
NFSサーバにマウント設定するための宛先
とパスの情報

11. Internal and Business Partner Use OnlyIBM Cloud
Access Forwarding Configration Limit
https://kubernetes.io/docs/concepts/services-networking/service/
より引用
kind: Service
apiVersion: v1
metadata:
name: my-service
spec:
selector:
app: MyApp
ports:
- protocol: TCP
port: 80
targetPort: 9376
kind: Service
apiVersion: v1
metadata:
name: my-service
spec:
selector:
app: MyApp
ports:
- name: http
protocol: TCP
port: 80
targetPort: 9376
- name: https
protocol: TCP
port: 443
targetPort: 9377
1 way port
forwarding
2 way port
forwarding
kind: Service
apiVersion: v1
metadata:
name: my-service
spec:
selector:
app: MyApp
ports:
- protocol: TCP
port: 80
targetPort: 9376
clusterIP: 10.0.171.239
loadBalancerIP: 78.11.24.19
type: LoadBalancer
status:
loadBalancer:
ingress:
- ip: 146.148.47.155
80番ポートでサービスに
アクセス時は9376番に
フォワードする
443番ポートでサービスに
アクセス時は9377番に
フォワードする
ロードバランシング
の設定はこれのみ
↓
発展的なアプリ
ケーション
寄りな設定は
Istio

12. Internal and Business Partner Use OnlyIBM Cloud
Ingress , Network Policy Limit
foo.bar.com --| |-> foo.bar.com s1:80
| 178.91.123.132 |
bar.foo.com --| |-> bar.foo.com s2:80
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: test
spec:
rules:
- host: foo.bar.com
http:
paths:
- backend:
serviceName: s1
servicePort: 80
- host: bar.foo.com
http:
paths:
- backend:
serviceName: s2
servicePort: 80
https://kubernetes.io/docs/concepts/services-networking/ingress/
https://kubernetes.io/docs/concepts/services-networking/network-policies/ より引用
kind: NetworkPolicy
metadata:
name: test-network-policy
namespace: default
spec:
podSelector:
matchLabels:
role: db
policyTypes:
- Ingress
- Egress
ingress:
- from:
- ipBlock:
cidr: 172.17.0.0/16
except:
- 172.17.1.0/24
- namespaceSelector:
matchLabels:
project: myproject
- podSelector:
matchLabels:
role: frontend
ports:
- protocol: TCP
port: 6379
egress:
- to:
- ipBlock:
cidr: 10.0.0.0/24
ports:
- protocol: TCP
入ってくる通信のブロック
CIDR＆Protocol&Port番号
ネットワークポリシー
の設定はこれのみ
↓
細かい制御は
Istio
脆弱性設定は
Grafeas
出ていく通信のブロック
CIDR＆Protocol&Port番号

13. Internal and Business Partner Use OnlyIBM Cloud
Next , Istio

14. Internal and Business Partner Use OnlyIBM Cloud
Istio
IBM, Google and Lyft give microservices
a ride on the Istio Service Mesh
https://developer.ibm.com/dwblog/2017/istio/
マイクロサービス
アプリケーション層
マイクロサービス
フロント層
マイクロサービス
DB/Integration層
冗⻑性設定の
コントロール
プレーンへの追加
Istio の アーキテクチャー
非機能要件をコードに実装
＋

15. Internal and Business Partner Use OnlyIBM Cloud
Blue-Green Deployment for Cloud native
インストールはこれだけ
kubectl apply -f install/kubernetes/istio.yaml
ルーター（LB）
Blue (Old Version) Green (New Version)
段階的
に切替
クラウドネイティブといえばBlue-Green Deployment
発展的にはHTTPベースの⾼度な制御が必要だけど、
CloudFoundryではなく、
Kubernetes 環境の場合での良い⽅法は︖
Stateful Set の活用もわかるけど。。
Istio

16. Internal and Business Partner Use OnlyIBM Cloud
Traffic Control based on Cookies
apiVersion: config.istio.io/v1alpha2
kind: RouteRule
metadata:
name: reviews-test-v2
namespace: default
...
spec:
destination:
name: reviews
match:
request:
headers:
cookie:
regex: ^(.*?;)?(user=jason)(;.*)?$
precedence: 2
route:
- labels:
version: v2
apiVersion: config.istio.io/v1alpha2
kind: RouteRule
metadata:
name: ratings-test-delay
namespace: default
...
spec:
destination:
name: ratings
httpFault:
delay:
fixedDelay: 7.000s
percent: 100
match:
request:
headers:
cookie:
regex: ^(.*?;)?(user=jason)(;.*)?$
precedence: 2
route:
- labels:
version: v1
https://istio.io/docs/tasks/traffic-management/request-routing.html より引用

17. Internal and Business Partner Use OnlyIBM Cloud
Rate Limit
Rate Limit
apiVersion: config.istio.io/v1alpha2
kind: memquota
metadata:
name: handler
namespace: istio-system
spec:
quotas:
- name: requestcount.quota.istio-system
# default rate limit is 5000qps
maxAmount: 5000
validDuration: 1s
# The first matching override is applied.
# A requestcount instance is checked against override dimensions.
overrides:
# The following override applies to traffic from 'rewiews' version v2,
# destined for the ratings service. The destinationVersion dimension is ignored.
- dimensions:
destination: ratings
source: reviews
sourceVersion: v2
maxAmount: 1
validDuration: 1s
Conditional Rate Limit
apiVersion: config.istio.io/v1alpha2
kind: rule
metadata:
name: quota
namespace: istio-system
spec:
match: source.namespace != destination.namespace
actions:
- handler: handler.memquota
instances:
- requestcount.quota
https://istio.io/docs/tasks/policy-enforcement/rate-limiting.html より引用

18. Internal and Business Partner Use OnlyIBM Cloud
URI Path based Ingress / Egress
Path Control
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: simple-ingress
annotations:
kubernetes.io/ingress.class: istio
spec:
rules:
- http:
paths:
- path: /.*
backend:
serviceName: httpbin
servicePort: 8000
Timeout Configration
apiVersion: config.istio.io/v1alpha2
kind: RouteRule
metadata:
name: httpbin-timeout-rule
spec:
destination:
service: httpbin.org
http_req_timeout:
simple_timeout:
timeout: 3s
https://istio.io/docs/tasks/traffic-management/ingress.html より引用

19. Internal and Business Partner Use OnlyIBM Cloud
Service Mesh Management

20. Internal and Business Partner Use OnlyIBM Cloud
Last , Grafeas

21. Internal and Business Partner Use OnlyIBM Cloud
Grafeas
IBM and Google combine forces to open source Grafeas project, helping
developers solve security challenges when building with containers
https://developer.ibm.com/dwblog/2017/grafeas/

22. Internal and Business Partner Use OnlyIBM Cloud
Category Definition
/projects/<project_id>/notes/<note_id>
定期的なアクセスによって脆弱性を確認
例）Linuxパッケージに対する脆弱性診断による結果であるCVE
/projects/<project_id>/occurrences/<occurrence_id>
クラウドのリソースやプロジェクト（テナント等）をインスタンス化する際の脆弱性
例）heartbleed OpenSSL

23. Internal and Business Partner Use OnlyIBM Cloud
Notes (CVE)
{
"name": "projects/security-scanner/notes/CVE-2017-14159",
"shortDescription": "CVE-2017-14159",
"longDescription": "NIST vectors: AV:L/AC:M/Au:N/C:N/I:N",
"relatedUrl": [
{
"url": "https://security-tracker.debian.org/tracker/CVE-
2017-14159",
"label": "More Info"
},
{
"url": "http://people.ubuntu.com/~ubuntu-
security/cve/CVE-2017-14159",
"label": "More Info"
}
],
"kind": "PACKAGE_VULNERABILITY",
"createTime": "2017-09-05T21:44:52.071982Z",
"updateTime": "2017-09-29T16:16:01.140652Z",
"vulnerabilityType": {
"cvssScore": 1.9,
"severity": "LOW",
"details": [
{
"cpeUri": "cpe:/o:debian:debian_linux:7",
"severityName": "LOW",
"fixedLocation": {
"cpeUri": "cpe:/o:debian:debian_linux:7",
"package": "openldap",
"version": {
"kind": "MAXIMUM"
}
https://github.com/Grafeas/Grafeas より抜粋

24. Internal and Business Partner Use OnlyIBM Cloud
Occurrences (Sha256:hash)
{
"name": "projects/scanning-
customer/occurrences/randomId1234",
"resourceUrl": "https://gcr.io/scanning-
customer/dockerimage@sha256:hash",
"noteName": "projects/security-scanner/notes/CVE-
2017-14159",
"kind": "PACKAGE_VULNERABILITY",
"createTime": "2017-09-29T02:58:23.376798Z",
"updateTime": "2017-09-29T07:35:22.141762Z",
"vulnerabilityDetails": {
"severity": "LOW",
"cvssScore": 1.9,
"packageIssue": [
{
"affectedLocation": {
"cpeUri": "cpe:/o:debian:debian_linux:8",
"package": "openldap",
"version": {
"name": "2.4.40+dfsg",
"revision": "1+deb8u2"
}
},
"fixedLocation": {
"cpeUri": "cpe:/o:debian:debian_linux:8",
"package": "openldap",
"version": {
"kind": "MAXIMUM"
}
},
"severityName": "LOW"
}
]
}
}https://github.com/Grafeas/Grafeas より抜粋

25. Internal and Business Partner Use OnlyIBM Cloud
IBM Cloud Private ＝ Kubernetes Managed anywhere

26. Internal and Business Partner Use OnlyIBM Cloud
Amazon ECS using Fragates
・このKubernetes からIstio、Grafeas への流れは、
AWSがELBからALBへの進化、VPCエンドポイントで内部でフィルタリング可能
になってきた流れに似ている気がします。
（※）個⼈的な意⾒であり、社の公式⾒解ではありません。

27. IBM Cloud Internal and Business Partner Use Only
Thank you

28. IBM Cloud Internal and Business Partner Use Only
この資料に含まれる情報は可能な限り正確を期しておりますが、日本アイ・ビー・エム株式会社の正式なレビューを受けておらず、当資料に記載された内容
に関して日本アイ・ビー・エムは何ら保証するものではありません。
ワー クショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供
の目的 のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またそのような結果を生むものでもあ
りません。 本講演資料に含まれている情報については、完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示または暗示にかかわら
ずいかなる保証 も伴わないものとします。本講演資料またはその他の資料の使用によって、あるいはその他の関連によって、いかなる損害が生じた場合も、
IBMは責任を負わ ないものとします。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引
きだすことを意図したものでも、IBM ソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなく、またそのような結
果を生むものでもありません。
本 講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を行っているすべての国でそれらが使用可能であることを暗示するも
のではありません。本講演資料で言及している製品リリース日付や製品機能は、市場機会またはその他の要因に基づいてIBM独自の決定権をもっていつでも
変 更できるものとし、いかなる方法においても将来の製品または機能が使用可能になると確約することを意図したものではありません。本講演資料に含まれ
ている 内容は、参加者が開始する活動によって特定の販売、売上高の向上、またはその他の結果が生じると述べる、または暗示することを意図したもので
も、またその ような結果を生むものでもありません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用した測定と予測に基づい
ています。ユーザーが経験する実際のスループットやパ フォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラミングの量、入出力構成、
ストレージ構成、および処理されるワークロードなどの考慮 事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられ
ているものと同様の結果を得られると確約するものではありませ ん。
記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたもの
です。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。
IBM, IBM ロゴ、ibm.com, は、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。
他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。
現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。