More Related Content
What's hot
What's hot (20)
Similar to AWS のコスト管理をちゃんとしたくてやったこと
Similar to AWS のコスト管理をちゃんとしたくてやったこと (20)
More from Tomoya Kawanishi
More from Tomoya Kawanishi (20)
Recently uploaded
AWS のコスト管理をちゃんとしたくてやったこと
- 2. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 1自己紹介 Tomoya Kawanishi a.k.a cuzic ENECHANGE株式会社 チーフエンジニア エンジニア、積極採用してます！ Ruby関西の中のひと みなさん、登壇お願いします！ Otemachi.rb の中のひと 2月20日（水） Otemachi.rb #14 を開催します 各線東京駅・大手町駅・日本橋駅・三越前駅至近
- 3. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 事業部制を採用する ENECHANGE 2 低圧事業部 一般のご家庭、小規模の事業所など向けの電気の比較・切替サービス 高圧事業部 ビル、工場など向けの電気の切替サービス プラットフォーム事業部 電力会社向けに、顧客獲得プラットフォームを提供 SIM事業部 格安SIM の比較・切替サービス ・ 事業部単位に、大幅に権限を委譲し、個々の事業部で独立採算で収益管理する ・ 意思決定の迅速化、意思疎通の円滑化、意欲の向上などの効果が期待できる 一般的な事業部制の特徴、メリット 費用と事業部との関連付けが必要 多くの事業を展開する ENECHANGE
- 4. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 エンジニア費用を例にした原価計算の例 3 ・ 開発エンジニアは各事業部に所属 ・ 工数管理の上、エンジニア費用を計上 エネチェンジ の事業部制 低圧（家庭・商店） 高圧（ビル・工場） プラットフォーム Simchange （例） エンジニア 費用の原価 プロフィットセンター コストセンター コーポレート（人事、経理ほか） インフラエンジニアは、コーポレート に所属。 ・ プロジェクトに紐づいた活動は 直接原価として各事業部で計上 共通費として計上 全社共通費として各事業部に配賦 では、 AWS費用はどう扱うか？ 事業部別の原価計算の例
- 5. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 事業部別コスト管理の定石 4 事業部 低圧（家庭・商店） 高圧（ビル・工場） プラットフォーム Simchange AWSアカウント 低圧用アカウント 高圧用アカウント プラットフォーム用アカウント Simchange 用アカウント コーポレート 全社共通アカウント AWS ではアカウントを分割しても、請求・支払いは親アカウントへの一元化が可能。 メリット： 事業部別に明確にコストを把握できる デメリット： 事業部をまたぐような作業をするとき、運用上の手間がかかる ※ 運用面のデメリットは、AWS Organization などの機能を使うことで緩和可能 事業部別コスト管理の定石は AWS アカウントの分割 アカウント分割の概要・メリット・デメリット
- 6. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 ENECHANGE では単一AWSアカウントで管理 5 ENECHANGEは、単一の AWSアカウントを全社で使用 事業部 低圧（家庭・商店） 高圧（ビル・工場） プラットフォーム Simchange AWSアカウント コーポレート 全社共通 アカウント ・ 当初は、事業部の数は多くなく、分ける必然性が大きくなかった。 ・ 創業当初は事業部制ではなく、職能別組織だった。 ・ その当時は、Organization がなく、運用上の手間・煩雑さが無視できないと感じた ・ あとからアカウントを分割することは可能ではあるが、作業負荷も大きく現実には困難。 単一アカウントとした理由
- 7. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 用語の整理と、目標 6 できる限り多くのリソース費用を 直課 させる！ 直課 該当のリソースのコストを直接その事業部に関連付けて集計 すること 配賦 一定の配賦基準に基づいて、該当のリソースの費用を各事 業部に紐づけること エネチェンジでの AWS 費用の配賦の際は、直課した費用の比率で配賦率を決定 ほかの主要なコスト配賦基準としては ・ 所属人員の頭割り ・ 各事業部の売上の比率 などで決定する方法があります。 目標
- 8. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 コスト配分タグを利用したコスト把握 7 コスト 配分タグ リソース（EC2、EBS、AMI、ELB、RDS など）に付与された どの事業部（プロジェクト）の費用かを識別するためのタグ AWS費用の多くはコスト配分タグで事業部に直課可能 ・ Reserved Instance ・ Data Transfer ・ サポート費用 ⇒ 直課できない費用は、各事業部に配賦して事業部ごとの AWSコストを計算 コスト配分タグで、分類できない費用の例 ・ 割引（AWS Activate プログラム）など ・ 消費税 ・ コスト配分タグがついていないリソース コスト配分タグを付与する仕組みを構築し、 タグのないリソースを極力減らす
- 9. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 エネチェンジのコスト配分タグの付与の仕組み 8 EC2 EBS スナップ ショット AMI ENI EIP EC2 手動で、1個ずつタグを付与。 ASG なども適切にタグ付けされるように設定 EBS、AMI など EC2 と同じタグを自動付与するスクリプトを作成。 定期的に EC2 の状態と同期させる ・ AutoScalingGroup などのリソースを 再生成したときは、タグの再設定も必要 ・ DataPipeline で定期実行。 定期実行する理由・方法 ・ EC2 を起点に各リソースの関係を、 ツリー構造と見立て、トポロジカルソート ・ このツリー構造を元にタグ情報を伝搬 内部動作の解説 タグ付けスクリプトを定期実行し、省力化
- 10. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 トポロジカルソートとは グラフ理論でのアルゴリズムの１つ。 依存関係を順に処理したいときとかに使える Ruby には標準ライブラリの tsort がある 9 トポロジカルソート（英: topological sort）とは、グラフ理論に おいて、有向非巡回グラフ（英: directed acyclic graph, DAG）の各ノードを順序付けして、どのノードもその出力辺の 先のノードより前にくるように並べることである。 Wikipedia での説明
- 11. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 トポロジカルソートの利用例 Set#divide Rubygems Bundler Ruby on Rails ( Rails::Railtie ) initializer の before、after などの 順序を正しく処理するために使われている Rukawa @joker1007 さん作の Ruby 製ワークフローエンジン 10 require 'set' numbers = Set[1, 3, 4, 6, 9, 10, 11] set = numbers.divide { |i,j| (i - j).abs == 1 } p set # => #<Set: {#<Set: {1}>, # #<Set: {11, 9, 10}>, # #<Set: {3, 4}>, # #<Set: {6}>}> Set#divide の使用例
- 12. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 処理内容 ①： aws describe-instances コマンドで、 ・EC2 と EBS と ENI の関係を取得 ・EC2 に付与されたタグをすべて取得 ②： aws describe-snapshots コマンドで、 EBS と スナップショット ID の関係を取得 ③： aws describe-images コマンドで、 AMI と スナップショットID の関係を取得 ④： ①～③の結果生成されたグラフ構造を元に、 関連する EC2 に付与されたタグを EBS、ENI、スナッ プショット、AMI にも同様に付与する 11
- 13. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 tsort の使い方 （１／３） tsort_each_node:グラフの各ノードを巡回するメソッド tsort_each_child：引数のノードの子ノードを順次処理するメ ソッド 12 class AwsTSort include TSort def tsort_each_node @edges.each_key do |key| yield key end end def tsort_each_child(node) @edges.fetch(node, []).each do |child| yield child end end … end TSort の使用例（定義）
- 14. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 tsortの使い方（２／３） 今回は Hash でグラフ構造を表現 tsort 自体は任意のオブジェクトを使えるが Hash が便利 Tree に見立てると、key が親、value が子の関係。 13 @edges = Hash.new{|h, key| h[key] = []} each_tag_ebs_eni do |instance_id, tags, ebs, eni| @edges[instance_id].push *ebs @edges[instance_id].push *eni … end each_ebs_snapshot do |volume_id, snapshot_id| @edges[volume_id].push snapshot_id end each_snapshot_ami do |snapshot_id, ami_id| @edges[snapshot_id].push ami_id end TSort の使用例（グラフ構造の構築）
- 15. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 tsort の使い方 （３／３） each_strongly_connected_component_from で、 強連結結合のノードを順に取得できる 今回の例だと、あるインスタンスを親とする子孫全部を 取り出すということができる。 14 def resources_from(start) [].tap do |resources| each_strongly_connected_component_from(start) do |nodes| resources.push *nodes # nodes は Array end resources.delete(start) end end TSort の使用例（強連結結合の取得）
- 16. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 15リソースへのタグ付成功！ さまざまなリソースにタグ付けすることができた！ だ、け、ど、 実行してみたところ、わりと時間がかかった 5分くらい もっと速くしたい！ aws コマンドの実行に時間を要しているのは明らか aws コマンドを並列実行するともっと速くできる！
- 17. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 処理内容 遅いのは、AWS リソースの情報取得のところと、 タグ付のところ 特に、タグ付のところが遅かった 16 グラフ構造の構築 トポロジカルソート AWS リソースのタグ付 AWS リソース一覧の取得 （AWS コマンドの発行） AWS コマンドを 4回発行 describe-instances describe-network-interfaces describe-images describe-snapshots AWS コマンドを リソースの数、 タグの数に応じて、繰り返し実行
- 18. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 リソース一覧の取得（メインスレッド側） Threadを使った内部実装は意識させない設計 引数： aws コマンドの引数 ブロック引数： aws コマンドの実行結果（標準出力）の各行 Thread#join を各スレッドで実行。情報取得終了を待つ 17 def each_ebs_snapshot query = "Snapshots[].[VolumeId, SnapshotId]" aws_lookup(%(ec2 describe-snapshots --query "#{query}")) do |line| volume_id, snapshot_id = line.chomp.split("¥t") yield volume_id, snapshot_id end end ワーカスレッドで 実行される def join_lookup_threads @lookup_threads.each &:join end 呼び出すとき 各スレッドの終了を待つとき @lookup_threads は ワーカスレッドの配列
- 19. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 リソース一覧の取得（ワーカスレッド側） スレッド内では Thread.new の引数だけを使用 そのスレッド内でのローカルコピーが作られる 他のスレッドでの更新が原因での不具合とかが起きない aws コマンドを実行し、出力結果を1行ごとに ブロック引数として呼び出し元に渡す １つのコマンドを１つのスレッドで実行 あとで待ち合わせするため Thread を配列に保持 18 def aws_lookup(command) @lookup_threads << Thread.new(command) do |cmd| cmdline = "aws #{cmd} --output text" IO.popen(cmdline, "r+") do |io| io.each_line do |line| yield line end end end end Thread 中で使う command を引数と している
- 20. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 タグ付（メインスレッド側） タグ付けでは、異なるリソースを対象に繰り返し AWS コマンドを発行する ワーカスレッドで、AWSコマンドを並行実行する スレッド間通信には Queue を使用する Ruby 2.3以降は組み込みライブラリ Queue#enq を利用 出力結果は使用しない AWSコマンドの成功／失敗も気にしない（Fire and Forget） 複数リソースに対するタグ付けを1回で処理 shellwords ライブラリの Array#shelljoin メソッドを使用 19 def create_tags(resources, tags) return if tags.empty? args = ["--resources", resources.shelljoin, "--tags", tags.shelljoin] @aws_queue.enq %(ec2 create-tags #{args.shelljoin}) end
- 21. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 AWS リソースのタグ付（ワーカスレッド側） Queue#deq で、キューからオブジェクトを取り出せる while command = queue.deq は Thread 処理でよく使うイデ ィオム nil 以外の場合、ループの中の処理を行う nil を受け取るとループから抜ける 20 def start_aws_thread Thread.start do |t| while command = @aws_queue.deq cmdline = "aws #{command}" system cmdline end end end end nil 以外の場合はループの中を実行 nil のときは、ループを抜ける
- 22. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 タグ付（メインスレッド側） 開始と終了 ワーカスレッドを開始すると、配列に保持する ワーカスレッドを終了するため、nil を Queue に渡す それぞれの Thread が終了するのを join で待つ 21 # ワーカスレッドの開始 def start_tagging_threads @thread_num.times do @tagging_threads << start_aws_thread end end # ワーカスレッドの終了 def join_tagging_threads @thread_num.times do @aws_queue.enq nil end @tagging_threads.each &:join end スタートしたスレッドを配列に保持 ワーカスレッドの数だけ nil をキューに送信 ワーカスレッドの終了を join で待つ
- 23. 第85回Ruby関西勉強会 発表資料 「AWSコスト管理をちゃんとしたくてやったこと」 22まとめ 事業部制はメリットが多い 調整コストの低下、意思決定の迅速化 AWS を事業ごとに管理するのは大変 まずはリソースと事業部を紐づける（直課する）ところから 紐づけを１つずつするのは大変 tsort を使って、連鎖的にタグを自動的に設定する thread を使ってタグ付け作業を高速化