TripleO (OpenStack on OpenStack) は、OpenStackの機能を使ってOpenStackをデプロイするインストーラを提供するプロジェクトです。 本セッションでは、TripleOの概要やサービスのDockerコンテナ化といった最近のUpdate、TripleOを利用したカスタマイズ・運用のTipsなどをご紹介いたします。 https://cloudnativedays.jp/cndt2019/ ■誤植訂正 P29 os-net-configの実行コマンド - 正しくは`$ sudo os-net-config --noop -v -c /etc/os-net-config/config.json`です P37 表 - 記載した以外のリソースとして、[ROLE]ExtraConfigと同等の役割となるOS::TripleO::NodeExtraConfigがあります - NodeUserData以外のリソースの実行契機は、リソース定義時のactionsの設定内容により変更することが可能です

1. TripleO Deep Dive
Takashi Kajinami
Software Maintenance Engineer
OpenStack Days Tokyo 2019

2. 自己紹介
Tripleo Deep Dive
● 梶波 崇 (Takashi Kajinami)
○ https://launchpad.net/~kajinamit
○ https://github.com/kajinamit/
● Software Maintenance Engineer at Red Hat K.K.
○ OpenStack/NFVのサポート
● OpenStackは7年+
○ Storlets Core reviewer (現)
https://wiki.openstack.org/wiki/Storlets
○ Masakari Core reviewer (元)
https://wiki.openstack.org/wiki/Masakari
○ 最近はもっぱらTripleO
2

3. Agenda
Tripleo Deep Dive
● 今日話すこと
○ TripleOとは？
○ TripleOのアーキテクチャ
○ THT(tripleo-heat-templates)詳解
○ TripleOの使い方
● 今日話さないこと
○ Update, Upgrade
○ RHOSPでのサポート有無
● 注意してほしいこと
○ 本資料はQueensリリースをベースに作成しています
○ バージョンによっては記載内容と異なる場合があります
3

4. TripleOとは？
TripleO Deep Dive
4

5. OpenStackとは？
Tripleo Deep Dive: TripleOとは？
● 「クラウド(IaaS)を構築するためのOSS」
● 仮想マシン、ネットワーク、ストレージを APIにより管理する機能を提供
○ 基本的にスコープはコントロールプレーンのみ
○ リソース実体はKVM, ovsなどの既存ソフトウェアを利用
● 複数のプロジェクトから構成
○ Nova : 仮想マシン管理
○ Cinder : ストレージ管理
○ Neutron : ネットワーク管理
参考: https://www.openstack.org/
5

6. TripleOとは？
Tripleo Deep Dive: TripleOとは？
● TripleO = OpenStack On OpenStack
● OpenStackを使ってOpenStackをインストールするプロジェクト
○ HPが中心となりプロジェクトを立ち上げ、開発
○ Red Hat OpenStack Platformでもインストーラとして利用
● 複数リポジトリにより構成される
○ python-tripleoclient : デプロイ操作用のCLIツール(openstackコマンドに統合)
○ tripleo-common : ライブラリ、Template等
○ tripleo-heat-templates : デプロイ構成を規定するHeatテンプレート
○ puppet-tripleo : 設定時のエントリーポイントとなるpuppet manifest
参考: https://wiki.openstack.org/wiki/TripleO
6

7. TripleOの歩み
Tripleo Deep Dive: TripleOとは？
7
Juno Kilo Liberty Mitaka Newton Ocata Pike Queens Rocky SteinIcehouse
Icehouse
Incubation Project化
Juno
VIP対応
Kilo
cinder-volume Act/Sby
Liberty
Release branch導入
Mitaka
Mistral導入
TripleO UI追加
Newton
Composable Role導入
Ironic、OVS-DPDK、SR-IOV対応
Ocata
DB/MQのComposable Role対応
Octavia、OVN対応
Pike
Overcloudのコンテナ化(一部)
Keystone v2の廃止
Queens
Overcloudのコンテナ化
Spine-leaf対応
Rocky
Undercloudのコンテナ化
デプロイ処理のAnsible化
Train
Stein
Podman対応
OVNのデフォルト化

8. TripleOのアーキテクチャ
TripleO Deep Dive
8

9. Undercloud
Overcloud
TripleOのアーキテクチャ
Tripleo Deep Dive: TripleOのアーキテクチャ
● TripleOで構築したOpenStackは、2層のOpenStackより構成される
○ Undercloud: インストーラが動作するベアメタルクラウド
○ Overcloud : Undercloud上のベアメタルインスタンスで構成された OpenStack
Controller
Baremetal
Compute
Baremetal
Compute
Baremetal
Compute
VMVM
Server Server Server Server
Controller Compute Storage
9

10. TripleOが利用する既存コンポーネント
Tripleo Deep Dive: TripleOのアーキテクチャ
10
コンポーネント名 用途
Heat テンプレートに従ったリソース (インスタンス等)の生成
インスタンス上のソフトウェア設定
Ironic ベアメタルインスタンスの生成
Swift Overcloud構成データ等の保管
Mistral ワークフローの実行
Kolla コンテナイメージのビルド
● TripleOは、既存コンポーネントを活用してデプロイ処理を実現する
○ TripleOのスコープは、構成・ワークフローの定義やツール群まで
一番重要！

11. OpenStack Heat
Tripleo Deep Dive: TripleOのアーキテクチャ
● OpenStackにおけるOrchestration機能を提供するコンポーネント
● 仮想マシン・ネットワーク等の OpenStackのリソースだけでなく、 仮想マシン上の設定な ど
も管理できる
○ OS::Heat::SoftwareConfig
■ サーバ上で実行する処理 (ansible playbook等)を規定するリソース
○ OS::Heat::SoftwareDeployment
■ SoftwareConfigと実行するノード、パラメタを関連付けるリソース
● TripleOでは、このSoftwareConfig/Deploymentの機能をフル活用して Overcloudの各
種設定を適用する
参考: https://wiki.openstack.org/wiki/Heat
11

12. デプロイ処理の流れ(1) デプロイ準備
Tripleo Deep Dive: TripleOのアーキテクチャ
12
Undercloud
Overcloud
Controller
Server Server
Swift Heat Ironic
Nova
Neutron
openstack cli
template
Templateを用意して
$ openstack overcloud deploy …

13. デプロイ処理の流れ(2) planの作成
Tripleo Deep Dive: TripleOのアーキテクチャ
13
Undercloud
Overcloud
Controller
Server Server
Swift Heat Ironic
Nova
Neutron
openstack cli
template
plan
openstack cli内でtemplateからplanを
作成してswiftに格納

14. デプロイ処理の流れ(3) overcloudスタックの作成
Tripleo Deep Dive: TripleOのアーキテクチャ
14
Undercloud
Overcloud
Controller
Server Server
Swift Heat Ironic
Nova
Neutron
openstack cli
template
plan
openstack cliがHeatにスタックの作成
をリクエスト
overcloud

15. デプロイ処理の流れ(4) OSインストール
Tripleo Deep Dive: TripleOのアーキテクチャ
15
Undercloud
Overcloud
Controller
Server Server
Swift Heat Ironic
Nova
Neutron
openstack cli
template
plan
OS
overcloud
HeatがIronic/Nova/Neutronを使ってベ
アメタルインスタンスをデプロイ

16. デプロイ処理の流れ(5) ネットワーク設定
Tripleo Deep Dive: TripleOのアーキテクチャ
16
Undercloud
Overcloud
Controller
Server Server
Swift Heat Ironic
Nova
Neutron
openstack cli
template
plan
OS
nic設定os-net-config
os-collect-config
overcloud
SoftwareConfig/Deploymentリソースを
使ってnic設定スクリプトを実行

17. デプロイ処理の流れ(6) ホスト・サービス設定
Tripleo Deep Dive: TripleOのアーキテクチャ
17
Undercloud
Overcloud
Controller
Server Server
Swift Heat Ironic
Nova
Neutron
openstack cli
template
plan
OS
nic設定
ホスト設定
サービス設定
os-net-config
os-collect-config
puppet
ansible
overcloud
SoftwareConfig/Deploymentリソースを
使いansibleを実行。ansibleからpuppet
などを呼び出し設定適用

18. デプロイ処理の流れ(7) コンテナの設定(Pike以降)
Tripleo Deep Dive: TripleOのアーキテクチャ
18
Undercloud
Overcloud
Controller
Server Server
Swift Heat Ironic
Nova
Neutron
openstack cli
template
plan
OS
nic設定
ホスト設定
コンテナ設定
os-net-config
puppet
サービス設定
os-collect-config
ansible
paunch
puppet
overcloud
Pike以降ではansible内でコンテナの設
定も実行。
コンテナ設定はpaunchで管理

19. デプロイ処理のAnsible化 (Rocky以降)
Tripleo Deep Dive: TripleOのアーキテクチャ
19
Undercloud
Overcloud
Controller
Server Server
Swift Heat Mistral
openstack cli
template
plan
OS
nic設定
ホスト設定
コンテナ設定
os-net-config
puppet
サービス設定
ansible
paunch
puppet
overcloud ansible
ソフトウェア設定をHeatからAnsibleに
切り出し。
MistralがPlaybookの実行を管理
参考: https://docs.openstack.org/tripleo-docs/latest/install/advanced_deployment/ansible_config_download.html

20. THT詳解
TripleO Deep Dive
20

21. THT(tripleo-heat-templates)とは？
Tripleo Deep Dive: THT詳解
● Overcloudの構成を定義するHeatテンプレートコレクション (yamlの集合体)
○ サーバの構成
○ ネットワークの構成
○ サーバ上のソフトウェアの構成
● 一部yamlは、Jinja2によりRole情報・Network情報等から自動生成
○ foo.yaml : yamlファイル
○ foo.j2.yaml, foo.j2 : jinja2 templateファイル
● THTのデフォルトtemplate + 環境に合わせてカスタマイズした個別 templateを組み合わ
せてOvercloudを構築する
参考: https://github.com/openstack/tripleo-heat-templates
21
(undercloud)$ openstack overcloud deploy --templates -e /home/stack/templates/storage-environment.yaml
-e /home/stack/templates/network-environment.yaml ...

22. Q. jinja2って何？ A. こんな奴
Tripleo Deep Dive: THT詳解
22
{%- set primary_role = [roles[0]] -%}
{%- for role in roles -%}
{%- if 'primary' in role.tags and 'controller' in role.tags -%}
{%- set _ = primary_role.pop() -%}
{%- set _ = primary_role.append(role) -%}
{%- endif -%}
{%- endfor -%}
{%- set primary_role_name = primary_role[0].name -%}
...
resource_registry:
# networks as defined in network_data.yaml
{%- for network in networks if network.enabled|default(true) %}
OS::TripleO::Network::{{network.name}}: ../network/{{network.name_lower|default(network.name.lower())}}.yaml
{%- endfor %}
# Port assignments for the VIPs
{%- for network in networks if network.vip and network.enabled|default(true) %}
OS::TripleO::Network::Ports::{{network.name}}VipPort:
../network/ports/{{network.name_lower|default(network.name.lower())}}.yaml
{%- endfor %}
OS::TripleO::Network::Ports::RedisVipPort: ../network/ports/vip.yaml
...
参考: http://jinja.pocoo.org/

23. THTの中身
Tripleo Deep Dive: THT詳解
$ ls /usr/share/openstack-tripleo-heat-templates/
docker
environments
extraconfig
firstboot
network
network_data.yaml
overcloud.j2.yaml
overcloud-resource-registry-puppet.j2.yaml
puppet
roles
roles_data.yaml
23
個別templateサンプル
Docker設定
Network定義
Puppet設定
Role定義
stack作成時のentrypoint
注. 簡単のため、一部のディレクトリ・ファイルを省略
注. Rocky以降でリファクタされた (docker, puppet -> deployment)

24. Role定義(roles_data.yaml)
Tripleo Deep Dive: THT詳解
● Role = 各サーバの役割
○ Controller, Compute, ...
● Role毎に必要リソース・パラメタを定義
○ 接続するネットワーク
○ 起動するサービス
○ ホスト名フォーマット
● 物理サーバと物理サーバ上にデプロイする Roleは、
NovaのFlavorとIronicのcapabilitiesを利用して固定
24
- name: Controller
...
networks:
- External
- InternalApi
- Storage
- StorageMgmt
- Tenant
...
default_route_networks: ['External']
HostnameFormatDefault: '%stackname%-controller-%index%'
...
update_serial: 1
ServicesDefault:
…
- OS::TripleO::Services::NovaApi
- OS::TripleO::Services::NovaConductor
- OS::TripleO::Services::NovaConsoleauth
- OS::TripleO::Services::NovaIronic
- OS::TripleO::Services::NovaMetadata
- OS::TripleO::Services::NovaPlacement
- OS::TripleO::Services::NovaScheduler
- OS::TripleO::Services::NovaVncProxy
- OS::TripleO::Services::Ntp
...
(undercloud)$ openstack flavor create --id auto … networker
(undercloud)$ openstack flavor set ... --property "capabilities:profile"="networker" networker
(undercloud)$ openstack baremetal node set --property capabilities='profile:networker,boot_option:local' ...
roles_data.yamlより抜粋

25. Network定義(network_data.yaml)
Tripleo Deep Dive: THT詳解
● Overcloudが接続するL2ネットワークの定義
○ IPサブネット, VLANタグ, ...
● 通信用途毎にネットワークを分離できる
○ 標準で定義されるネットワークは右表を参照
● 構成に合わせた追加や無効化が可能
○ Storageネットワークの分割(iSCSI multipath)
○ Stonith実行用のIPMIネットワークの追加
○ StorageManagementの無効化
25
- name: InternalApi
name_lower: internal_api
vip: true
vlan: 20
ip_subnet: '172.16.2.0/24'
allocation_pools: [{'start': '172.16.2.4', 'end': '172.16.2.250'}]
ipv6_subnet: 'fd00:fd00:fd00:2000::/64'
ipv6_allocation_pools: [{...}]
- name: External
...
名前 用途
InternalAPI Internal/Admin Endpoint *1, 内部通信
Tenant 仮想マシン通信
External Public Endpoint, Floating IP
Storage ストレージIO
StorageManagement ストレージ同期通信 (Swift, Ceph)
Management *2 管理作業
ControlPlane *3 TripleOによるデプロイメント・操作
*1 Keystoneのみadmin endpointはデフォルトで ControlPlaneを利用
*2 Managementネットワークは Optional
*3 ControlPlaneはUndercloudインストール時に設定し、 network_data.yamlには
記載しないが、簡単のため記載
network_data.yamlより抜粋
標準で定義されるネットワーク一覧

26. THTにおけるNetwork設定方法
Tripleo Deep Dive: THT詳解
● THTでは、Network情報がデフォルトで定義される
● 一方で具体的なNetwork設定のためのリソースはデフォルトで無効化されている
○ 作成がSkipされるOS::Heat::Noneリソースが割り当てられている
⇨ Network関連リソースを定義する templateを別途作成/指定する必要がある
1. OS::TripleO::Network
2. OS::TripleO::[ROLE]::Net::SoftwareConfig
26

27. OS::TripleO::Network
Tripleo Deep Dive: THT詳解: THTにおけるNetwork設定方法(1)
● Overcloudのネットワーク関連リソース (Neutronのリソースに相当)
○ OS::TripleO::Network::[NETWORK]Api
⇨Network + Subnet
○ OS::TripleO::Network::Ports::[NETWORK]Api
⇨Port (サーバIP用)
○ OS::TripleO::Network::Ports::[NETWORK]VipPort
⇨Port (VIP用)
● THTリポジトリにおいて、 jinja2を使ったtemplateサンプルが提供されている
○ environments/network-isolation.j2.yaml
⇨Neutronリソース定義
○ environments/network-environment.j2.yaml
⇨単一NICを利用する場合のパラメタ定義+NIC構成定義(後述)
27

28. OS::TripleO::[NETWORK]::Net::SoftwareConfig
Tripleo Deep Dive: THT詳解: THTにおけるNetwork設定方法(2)
● サーバ上のインタフェース設定用のリソース
○ サブネット*1, route
○ VLAN
○ ovs/Linux bond
○ ovs/Linux bridge
○ DNS
● デフォルト無効のため、サーバのインタフェース構成に合わせ
てtemplateを準備する必要がある
● インタフェース設定は、 os-net-configによって実行*2
○ 構成情報はOvercloudノードの/etc/os-net-config.jsonに保管
○ 適用の様子は下記コマンド等で確認可能
28
resources:
OsNetConfigImpl:
type: OS::Heat::SoftwareConfig
properties:
group: script
config:
str_replace:
template:
get_file: ../../scripts/run-os-net-config.sh
params:
$network_config:
network_config:
- type: ovs_bridge
name: br-ex
use_dhcp: false
...
members:
- type: interface
name: nic1
primary: true
- type: vlan
vlan_id:
get_param: InternalApiNetworkVlanID
addresses:
- ip_netmask:
get_param: InternalApiIpSubnet
$ sudo os-net-config --noop -f /etc/os-net-config.json
*1 各Networkのサブネットを指定することで、 Network内に作成した PortのIPが自動で選択される
*2 Overcloudの各インタフェースの IP設定は、ノード初期インストール時の ControlPlaneでのIP割当
を除き、NeutronのDHCP機能を利用しない
template記載例

29. Puppet設定(puppet/services/*.yaml)
Tripleo Deep Dive: THT詳解
● 設定ファイル生成のための Puppet実行パラメタ等を定義した template
○ config_settings : Hieradata
○ step_config : 有効化するモジュール
29
outputs:
role_data:
value:
service_name: keystone
config_settings:
map_merge:
- get_attr: [ApacheServiceBase, role_data, config_settings]
- keystone::database_connection:
….
keystone::admin_token: {get_param: AdminToken}
keystone::admin_password: {get_param: AdminPassword}
keystone::roles::admin::password: {get_param: AdminPassword}
keystone::policy::policies: {get_param: KeystonePolicies}
…
step_config: |
include ::tripleo::profile::base::keystone
puppet/services/keystone.yaml より抜粋
(tripleo-heat-templates)
class keystone::roles::admin(
$password,
$email = 'admin@localhost',
$admin = 'admin',
$admin_tenant = 'openstack',
...
) {
...
manifests/roles/admin.pp より抜粋
(puppet-keystone)
manifests/profile/base/keystone.pp より抜粋
(puppet-tripleo)
class tripleo::profile::base::keystone (
…
) {
include ::keystone::config
...
class { '::keystone::roles::admin':
admin_roles => $admin_roles,
}
….

30. Docker設定(docker/services/*.yaml)
Tripleo Deep Dive: THT詳解
● Dockerコンテナの起動パラメータを定
義したtemplate
○ コマンド
○ マウント
○ ネットワーク
● おおよそのコンテナでは kolla_startか
らサービスを起動
→kolla_startに合わせた形式で
データが定義される
30
outputs:
role_data:
description: Role data for the Nova API role.
value:
...
kolla_config:
/var/lib/kolla/config_files/nova_api.json:
command: /usr/sbin/httpd -DFOREGROUND
config_files:
- source: "/var/lib/kolla/config_files/src/*"
dest: "/"
merge: true
preserve_properties: true
...
step_4:
nova_api:
start_order: 2
image: *nova_api_image
net: host
user: root
privileged: true
restart: always
healthcheck:
test: /openstack/healthcheck
volumes:
list_concat:
- {get_attr: [ContainersCommon, volumes]}
- {get_attr: [NovaApiLogging, volumes]}
-
- /var/lib/kolla/config_files/nova_api.json:/var/lib/kolla/config_files/config.json:ro
- /var/lib/config-data/puppet-generated/nova/:/var/lib/kolla/config_files/src:ro
...
docker/services/nova-api.yamlより抜粋

31. Deployment Stepとは？
Tripleo Deep Dive: THT詳解
● ソフトウェア設定には依存関係がある
一般的なOpenStackのインストール手順
1. OS設定
2. ミドルウェア(DB、MQ)設定・起動・ユーザ作成
3. Keystone設定・起動・ユーザ作成
4. 各サービス(Nova, Neutron, ...)起動
● この依存関係を解決するのが Deployment Step
○ 実体は依存関係が設定された Heatのリソース群
● THT, puppet-tripleoにて、Step毎に必要な処理を定義する
○ Step1 ～ Step 5が存在
○ 詳細は今日は割愛
31

32. TripleOの使い方
TripleO Deep Dive
32

33. TripleOによるデプロイ作業
Tripleo Deep Dive: TripleOの使い方
⇨詳細はこちら！ https://docs.openstack.org/tripleo-docs/latest/install/
33
# python-tripleoclientをインストール
$ sudo yum install -y python-tripleoclient
# Undercloudをインストール
$ openstack undercloud install
# Overcloudデプロイ用のディスクイメージを登録
$ openstack overcloud image upload --image-path /home/stack/images/
# ベアメタルノードを登録
$ openstack overcloud node import instackenv.json
# ベアメタルノードのスペックを収集
$ openstack overcloud node introspect --all-manageable --provide
# Overcloudをデプロイ
$ openstack overcloud deploy --templates -e /home/stack/templates/node-info.yaml
-e /home/stack/templates/overcloud_images.yaml
…
# 完成！

34. TripleOを使ったカスタマイズ
Tripleo Deep Dive: TripleOの使い方
● 構成・設定をカスタマイズするための機構
1. TripleOのtemplate生成用パラメタを使うもの
a. Role定義
b. Network定義
2. Heatのtemplateカスタマイズ機能を使うもの
a. リソース定義
b. パラメタ定義
3. カスタマイズ用の特殊なリソースを使うもの
a. ExtraConfig
● 1は説明済みなので2, 3を説明
34

35. リソース定義によるカスタマイズ
Tripleo Deep Dive: TripleOの使い方: TripleOを使ったカスタマイズ
● Roleに紐づくリソース一覧に対象が含まれる場合は、リソースに対する templateパスを
定義した個別templateを作成すればOK
○ リソースを有効化する場合はリソースを定義する templateのパスを指定
○ リソースを無効化する場合は OS::Heat::None を指定
● Role定義に必要なリソースが定義されていない場合は、カスタム Roleの作成が必要
35
resource_registry:
OS::TripleO::Services::IronicApi: ../../docker/services/ironic-api.yaml
OS::TripleO::Services::IronicConductor: ../../docker/services/ironic-conductor.yaml
OS::TripleO::Services::IronicPxe: ../../docker/services/ironic-pxe.yaml
OS::TripleO::Services::NovaIronic: ../../docker/services/nova-ironic.yaml
...
resource_registry:
OS::TripleO::Services::CeilometerAgentCentral: OS::Heat::None
OS::TripleO::Services::CeilometerAgentNotification: OS::Heat::None
OS::TripleO::Services::CeilometerAgentIpmi: OS::Heat::None
OS::TripleO::Services::ComputeCeilometerAgent: OS::Heat::None
...
リソース有効化の例 environments/services/ironic.yaml リソース無効化の例 environments/disable-telemetry.yaml

36. パラメタ定義によるカスタマイズ
Tripleo Deep Dive: TripleOの使い方: TripleOを使ったカスタマイズ
36
1. THTパラメタの利用
parameter_defaults:
Debug: true
3. Puppetの中間Hieradataの利用*12. Hieradataの利用
parameter_defaults:
ComputeExtraConfig:
nova::compute::vnc_keymap: ja
parameter_defaults:
ControllerExtraConfig:
cinder::config::cinder_config:
backend_default/use_multipath_for_image_xfer:
value: true
THTパラメタが
ある
Puppet
Hieradataが
ある
*1 利用可否は Puppetの実装に依存。原則 OpenStack関連サービス (Horizon除く)のみ利用可。
Yes
No
Yes
No
● THT, Puppetでのパラメタの実装状況に応じて設定方法を選択

37. カスタマイズ用の特殊なリソース
Tripleo Deep Dive
● スクリプト等が実行できるリソースが複数容易されている
○ 実行タイミングや範囲が異なる
○ スタック更新のたびに実行されるリソースでは、スクリプト等の冪等性に注意が必要
37
リソース名 実行タイミング 契機
利用可能
Network
リソースタイプ
OS::TripleO::NodeUserData
OS::TripleO::[ROLE]::NodeUserData
ベアメタルノードデプロイ中
ノード
デプロイ
ControlPlane
のみ
OS::Nova::Server
(に渡されるuser_data)
OS::TripleO::PreNetworkConfig
OS::TripleO::[ROLE]::PreNetworkConfig
NodeUserData実行後 (個別定義)
ControlPlane
のみ
(個別定義)
OS::TripleO::[ROLE]ExtraConfigPre ネットワーク設定完了後
スタック
更新
全部
OS::Heat::SoftwareDepl
oyment
OS::TripleO::ExtraConfigPost ソフトウェア設定完了後
スタック
更新
全部
OS::Heat::SoftwareDepl
oyment

38. linkedin.com/company/red-hat
youtube.com/user/RedHatVideos
facebook.com/redhatinc
twitter.com/RedHat
Thank you
38