Recommended
More Related Content
What's hot
What's hot (20)
Similar to MTのダイナミック処理(PHP)を高速化する＠サーバーサイドスクリプティング
Similar to MTのダイナミック処理(PHP)を高速化する＠サーバーサイドスクリプティング (20)
More from 純生 野田
More from 純生 野田 (20)
Recently uploaded
Recently uploaded (10)
MTのダイナミック処理(PHP)を高速化する＠サーバーサイドスクリプティング
- 1. MTのダイナミック処理理(PHP)を⾼高速化する ＠サーバーサイドスクリプティング September 29, 2014 junnama@alfasado.jp
- 2. はじめに
- 4. 改めまして
- 6. アルファサードについて •2003年年設⽴立立 -‐‑‒ 本社 ⼤大阪市 / 東京オフィス •代表者 : 野⽥田 純⽣生 •PowerCMS開発 / サポート •Web制作 ・Webアクセシビリティサポート
- 10. PowerCMSについて •2007年年 11⽉月 ver.1.0 •ライセンス出荷数 1000 以上 •Movable Typeと⼀一体でインストール •CMSとしてのMTでのサイト設計/運⽤用を強化する プラグイン+Webアプリケーション
- 11. PowerCMSとは? 承認ワークフローステージング バージョン管理理時限公開⾼高速検索索アクセス解析 バックアップWSYIWYG インポーター リンクチェッカアクセシビリティフォーム 会員限定サイト携帯サイトスマホ対応 Webサイトに必要なものを、オールインワンで。
- 12. 選ばれる理理由 •多機能＋使いやすさ •扱いやすさ(Movable Typeで構築できればOK) •カスタマイズが簡単(プログラムレス) •圧倒的コストパフォーマンス •充実のサポート(ver.1のサポートを現在も継続) •パートナープログラム
- 15. 背景 •DynamicMTMLを活⽤用するケース増加 •多機能化(=アプリケーションの肥⼤大化) •負荷テストやセキュリティ監査が増化 •Googleはページスピードを評価 •何よりもスピード=コンバージョン
- 16. 今⽇日お話するポイント 1.静的ファイル最強説? 2.遠くのオラクルより近くのファイル 3.塵も積もれば⼭山となる 4.PowerCMS(次期バージョン)では? 5.管理理画⾯面側を速くする
- 19. 1.静的ファイル最強説?
- 20. 静的ファイルのリクエスト時のサーバー間通信 リクエストを受け取り、 URLをリクエストファイルをど〜～んと返す GET / index.html HTTP 1.1 200 OK Content-‐‑‒Type: text/html <CRLF> <CRLF> ...以下、データをど〜～ん
- 21. 動的ページリクエスト時のサーバー間通信 ページを、ど、ど...ど〜～んと返す 1.リクエストを受け取り 2.必要な処理理を⾏行行う URLを リクエスト 3.テンプレート処理理 4.HTTP_̲HEAD組⽴立立 SQL実⾏行行結果を受け取るSQLリクエストを発⾏行行(複数) RDBMS(MySQL等) 毎回、再構築してんだから...
- 22. 静的化できない理理由? •再構築待ちが嫌(論論外) •会員ごとにページが異異なる(ログインサイト) •リアルタイム更更新 •検索索クエリ付きページ
- 23. 静的化できない理理由? •再構築待ちが嫌(論論外) •会員ごとにページが異異なる(ログインサイト) •リアルタイム更更新 •検索索クエリ付きページ
- 28. 動的ページリクエスト時のサーバー間通信 ページを、ど、ど...ど〜～んと返す 1.リクエストを受け取り 2.必要な処理理を⾏行行う URLを リクエスト 3.テンプレート処理理 4.HTTP_̲HEAD組⽴立立 SQL実⾏行行結果を受け取るSQLリクエストを発⾏行行(複数) RDBMS(MySQL等)
- 29. ページを、ど、ど...ど〜～んと返す 1.リクエストを受け取り 2.必要な処理理を⾏行行う URLを リクエスト 3.テンプレート処理理 4.HTTP_̲HEAD組⽴立立 SQL実⾏行行結果を受け取るSQLリクエストを発⾏行行(複数) RDBMS(MySQL等) この距離離がバカ にならない
- 30. ⼩小規模構成 ! 1台ですべて処理理が完結 クライアント (URLをリクエスト) Webサーバ アプリケーション DBサーバ 1台で完結する分、レイテン シ(遅延)は気にならないが、 捌けるリクエストに限りが...
- 31. ⼤大規模構成 クライアント (URLを リクエスト) Webサーバ アプリケーション 配信機能 ロ Webサーバ | ド アプリケーション バ ラ ン サDBサーバ Webサーバ アプリケーション Webサーバ アプリケーション CMSサーバ DBクエリ 捌けるリクエスト は増えるがレイテ ンシ(遅延)が...
- 32. ⼀一般的な原則 メモリ内 < ディスク内 < SQL(+ネットワーク) *⼤大きい程、時間がかかる=遠い程、低速
- 33. キャッシュの利利⽤用 ページを、ど、ど...ど〜～んと返す 1.リクエストを受け取り 2.必要な処理理を⾏行行う URLを リクエスト 3.テンプレート処理理 4.HTTP_̲HEAD組⽴立立 SQL実⾏行行結果を受け取るSQLリクエストを発⾏行行(複数) RDBMS(MySQL等) 1.5 キャッシュがあれば、ど〜～ん 2.5 実⾏行行結果を近くに保持する*
- 34. (.)mtview.php <?php $driver = new DynamicCacheDriver; $directry_̲index = 'index.html'; $tmpl = $_̲SERVER[ 'DOCUMENT_̲ROOT' ] . $_̲SERVER[ 'REQUEST_̲URI' ]; if ( strpos( $tmpl, '?' ) != FALSE ) { $split_̲path = explode( '?', $tmpl ); $tmpl = $split_̲path[ 0 ]; } $tmpl = urldecode( $tmpl ); if ( is_̲dir( $tmpl ) ) { $tmpl .= $directry_̲index; } // リクエストの内容を⾒見見て、キャッシュがあるかチェック、あればキャッシュを返す
- 35. (.)mtview.php // リクエストの内容を⾒見見て、キャッシュがあるかチェック、あればキャッシュを返す ! if ( $cache $driver-‐‑‒>get( md5( $tmpl ) ) { echo $cache; } // キャッシュがヒットしなければ(もしくは有効期限切切れならば)、通常の処理理 $content = ... echo $content; // ブラウザにページを返し、キャッシュを保存 $driver-‐‑‒>set( md5( $tmpl ), $content, $ttl ); ?>
- 36. キャッシュはどこに?
- 39. どこにキャッシュするか •CloudFront=⾼高速/プログラム制御は⼿手間 •フロントのディスク(ファイル)=⾼高速/⼿手軽 •Memcached(Redis)=⾼高速/キャッシュ共有可 •キャッシュサーバ =⾼高速/キャッシュ共有可 •RDBMS(MTのデータベース)=低速/⼿手軽
- 40. どこにキャッシュするか PowerCMS(最新版)のmt-‐‑‒config.cgi DynamicCacheDriver File or DynamicCacheDriver Session or DynamicCacheDriver Memcache
- 41. DynamicMTML.pack
- 42. DynamicCacheDriverの実装 class.dynamicmtml_̲cache_̲(ドライバ名).php <?php class DynamicCache(ドライバ名) extends DynamicCache { ! public ...; public $ttl; public ...; function _̲_̲construct( $app = NULL ) {
- 43. DynamicCacheDriverの実装 メソッド引数備考 _̲_̲construct $app 初期化 get $key, $ttl 取得 set $key, $value, $ttl, $updated_̲at セット($value が配列列 かオブジェクトの場合 シリアライズする) remove $key $key指定して削除 purge なしttlを過ぎたものを削除 clear なしすべて削除
- 44. DynamicCacheDriver Redis DynamicCacheDriver KyotoTycoon DynamicCacheDriver CloudFront といった拡張もPHPで簡単に。
- 45. 何をキャッシュするか
- 46. 経験上... キャッシュは⽣生成/利利⽤用するより、クリ アするタイミングのほうが余程難しい (古いデータが更更新されなければ、 キャッシュの意味がない)
- 49. 各キャッシュの動作の違い
- 50. 各キャッシュの違い 種類意味備考 キャッシュする (MT標準) Smartyの キャッシュ URLパラメタ(? foo=bar)が違っても同じ キャッシュが使われる ビルド結果をキャ ッシュ (DynamicMTML) 独⾃自キャッシュ (ファイルキャッ シュ) パラメタが違う場合は異異 なるキャッシュが⽣生成さ れる DynamicContent Caching DynamicMTML のキャッシュと 基本的には同様 MemCache(d)が利利⽤用で きるため、複数台でキャ ッシュが共有できる
- 51. DynamicMemcachedServers 192.168.1.1 DynamicMemcachedServers 192.168.1.2 DynamicMemcachedServers 192.168.1.3 mt-‐‑‒config.cgiに複数指定可能
- 56. ユーザーカスタムフィールド AuthorPref で分岐 <MTDynamicMTML> <mt:AuthorPref setvar=”author_̲pref”> <mt:setvar name=” author_̲pref” value=”includepath/” prepend=”1”> <mt:include file=”$author_̲pref”> </MTDynamicMTML> ⼤大阪⼈人には includepath/osaka ファイルをインクルード
- 58. ここは、Cookie + JavaScriptでも良良くないか? ログインユーザー向け表⽰示(○○さん)
- 59. キャッシュクリアのタイミング
- 60. DynamicContentCacheLifeTime 86400 # 有効期間1時間
- 61. DynamicMTML = ファイルの中のMTタグ実⾏行行 キャッシュが⽣生成された時間 < htmlの更更新時刻 キャッシュはクリアされ、処理理実⾏行行、再びキャッシュ⽣生成
- 62. <!-‐‑‒-‐‑‒<mt:date>-‐‑‒-‐‑‒> </body> データに差分がなくても(というか、差分を強制的 に作って)ファイルを更更新する つまり、再構築でキャッシュクリア
- 63. 何をキャッシュするか(再び)
- 64. MT/PowerCMSのダイナミックでは... SELECT from mt_̲config where ...(環境変数をロード) SELECT from mt_̲blog where ... (ブログをロード) SELECT from mt_̲fileinfo where ... (コンテキストをロード) SELECT from mt_̲template where ... (テンプレートをロード) SELECT from mt_̲templatemap where ... (テンプレートマップをロード)
- 67. DynamicCacheConfig 1 DynamicCacheObjects blog,template,category,entry... mt-‐‑‒config.cgiにキャッシュするオブジェクトを指定
- 70. 3.塵も積もれば⼭山となる
- 71. PV=5,460PV 0 2000 4000 6000 8000 10000 12000 KB/sec Throughput Max Min 90%Line Median Average Average Median 90%Line Min Max Throughput KB/sec Before(Top) 8493 8718 9577 702 10428 0.8 16.0 AHerTop 1300 1337 1530 222 2798 4.0 100.4 Before(Top) AHerTop ある案件での負荷テストにおける計測結果 30秒間に10Thread数を発⽣生させる。それを30回数繰り返す。
- 72. ⻘青=Before, ⾚赤=After Top 1300 1337 1530 222 2798
- 73. KB/sec Throughput Max Min 90%Line Median 0 2000 4000 6000 8000 Average Average Median 90%Line Min Max Before(Top) 8493 8718 9577 702 10428 AHer
- 74. 何をやったのか •初期化の際のクエリのキャッシュ •不不要カスタムフィールド初期化のスキップ •静的化可能部分の静的化(これは塵やないけど) •ファイルの配置換えと不不要モジュールの削除
- 75. MT/PowerCMSのダイナミックでは... SELECT from mt_̲config where ...(環境変数をロード) SELECT from mt_̲blog where ... (ブログをロード) SELECT from mt_̲fileinfo where ... (コンテキストをロード) SELECT from mt_̲template where ... (テンプレートをロード) SELECT from mt_̲templatemap where ... (テンプレートマップをロード)
- 78. 細か〜～い話し
- 81. システムコールの回数が10回以上減ります 5350 17:05:35.171782 lstat(/xxxx/www/mt/php/plugins/class.baseobject.php, 0x7fffb22bd1b0) = -‐‑‒1 ENOENT (No such file or directory) 0.000007 5350 17:05:35.171815 lstat (/xxxx/www/mt/addons/PowerCMS.pack/php/class.baseobject.php, 0x7fffb22bd1b0) = -‐‑‒1 ENOENT (No such file or directory) 0.000006 5350 17:05:35.171855 lstat (/xxxx/www/mt/addons/Enterprise.pack/php/class.baseobject.php, 0x7fffb22bd1b0) = -‐‑‒1 ENOENT (No such file or directory) 0.000007 5350 17:05:35.171902 lstat (/xxxx/www/mt/addons/DynamicMTML.pack/php/class.baseobject.php, 0x7fffb22bd1b0) = -‐‑‒1 ENOENT (No such file or directory) 0.000005 5350 17:05:35.171931 lstat (/xxxx/www/mt/addons/CustomObject.pack/php/class.baseobject.php, 0x7fffb22bd1b0) = -‐‑‒1 ENOENT (No such file or directory) 0.000005 5350 17:05:35.171958 lstat
- 82. 塵も積もれば⼭山となる
- 83. mt/php/lib以下
- 84. 542ファイル(MT6.04)
- 85. ⼤大量量にあるPHPファイル •mt/php/lib以下に500強 •addons/PowerCMS.pack等含めると1000近いphp ファイル •多くは1MTタグ=1ファイルのSmartyプラグイン •plugins/Foo/php/init.xxx.phpは初期化の際に必 ず実⾏行行されます
- 88. mt:AssetifTagged タグをダイナミック処理理で使っ ていなければ、block.mtassetiftagged.phpはな くても構わない(ない⽅方が速い!)
- 89. DynamicMTMLで利利⽤用しているMTタグを リストアップし、使っていないものは⽚片っ端から... if ( $text ) { my @mttags = ( $text =~∼ m/$?mt:?[^]+/ig ); @mttags = map { my $tag = lc ( $_̲ ); $tag =~∼ s/$?(mt:?[^s]+)s[^]+/$1/; $tag =~∼ s/^$?(.*?)$?$/$1/; $tag =~∼ s/^mt:/mt/; $tag; } @mttags; @mttags = grep { $_̲ !~∼ /?mtelse?/ } @mttags; for my $mttag ( @mttags ) { $mttags{ $mttag } = 1; }
- 90. その他の⽅方法 •PHPアクセラレータを使う •モジュールを設置するディスクをSSDにする 両者とも⼀一定の効果があります(特に後者) でも、誰かHack(FacebookのHipHop VM)で 動かしてみませんか!!
- 91. -‐‑‒ 参考 -‐‑‒ http://junnama.alfasado.net/online/2014/06/phpermovable_̲type16.html
- 92. カスタムフィールド
- 93. カスタムフィールド •⼤大規模案件では数百〜～数千のカスタムフィールドを利利 ⽤用している案件も珍しくない •カスタムフィールドは mt_̲fieldテーブルに格納され ているが、初期化時に全てロードされ、初期化処理理が ⾛走る •ダイナミックパブリッシング(DynamicMTML)で使っ ていても、いなくても処理理は⾛走る
- 96. PV=5,460PV 0 2000 4000 6000 8000 10000 12000 KB/sec Throughput Max Min 90%Line Median Average Average Median 90%Line Min Max Throughput KB/sec Before(Top) 8493 8718 9577 702 10428 0.8 16.0 AHerTop 1300 1337 1530 222 2798 4.0 100.4 Before(Top) AHerTop ある案件での負荷テストにおける計測結果
- 97. ⻘青=Before, ⾚赤=After Top 1300 1337 1530 222 2798
- 98. KB/sec Throughput Max Min 90%Line Median 0 2000 4000 6000 8000 Average Average Median 90%Line Min Max Before(Top) 8493 8718 9577 702 10428 AHer
- 100. 4.PowerCMS(最新版)では?
- 101. 環境変数(mt-‐‑‒config.cgi) DynamicCacheConfig 1 ! DynamicCacheObjects blog,template ! DynamicGenerateDirectories 0 # templates_̲cとかの存在チェックをスキップ ! DynamicCacheDriver File # ファイルキャッシュ( or Memcache or Session) ! DynamicInitPluginsLater 1 # プラグインの初期化をビルド直前1回だけにする
- 102. 環境変数(mt-‐‑‒config.cgi) DynamicCustomFieldBasenames foo,bar # ダイナミック利利⽤用のカスタムフィールドが少ない場合 # 直接指定(SQL1回省省略略) ! DynamicCustomFieldCaching 1 # カスタムフィールドオブジェクトをキャッシュ
- 103. 30%〜～50%⾼高速化が可能
- 104. 5.管理理画⾯面側を⾼高速化する
- 105. PowerCMS4 + PSGI
- 106. DEMO
- 107. mt-‐‑‒estraier.cgi mt-‐‑‒contactform.cgi mt-‐‑‒members.cgi 恩恵は管理理画⾯面だけではない
- 108. ⾮非同期処理理 / マルチスレッド
- 109. 管理理画⾯面 再構築処理理 保存再構築→ ずーっと、待たされる
- 110. 再構築キュー(ダイナミック)
- 111. 保存 管理理画⾯面 サーバー (⾮非同期処理理) 再構築処理理 再構築→
- 112. 再構築処理理 管理理画⾯面 サーバー (⾮非同期処理理) システムへの指⽰示のみ すぐに終る 別プロセスが再構築
- 113. 管理理画⾯面 再構築(常駐) 処理理の分散化 デプロイ処理理 ソフトウェアアップ デートのチェック
- 114. サーバー側処理理のツール mt/tools/run-‐‑‒tasks mt/tools/run-‐‑‒workers-‐‑‒daemon run-‐‑‒periodic-‐‑‒tasksの代わりにこれらを使う
- 115. 再構築処理理を2秒間隔で常駐 run-‐‑‒workers-‐‑‒daemon -‐‑‒-‐‑‒interval 2 -‐‑‒-‐‑‒ worker MT::Worker::Publish run-‐‑‒tasksはCRONジョブで別途定期的に実⾏行行
- 116. まとめ
- 117. まとめ 1.静的化できるところは静的化 2.キャッシュを活⽤用する 3.不不要モジュールは退避(削除)する 4.PowerCMSの環境変数を適切切に設定する 5.管理理画⾯面側はPSGIと⾮非同期処理理を活⽤用
- 118. おまけ
- 120. 環境変数(mt-‐‑‒config.cgi) LaunchBackgroundTasks 1 PSGIが試せない環境では試してみる価値有り
- 121. おまけ(2)
- 123. FileCacheプラグイン •MT の Memcached 互換 •プラグインを⼊入れるだけ(お⼿手軽) 再構築が30%くらいは速くなるよ(*環境により異異なる)
- 124. おまけ(3)
- 126. SpeedMeterプラグイン MTSpeedMeter name=”左カラム” ! //ビルドにかかった秒が画⾯面⼜又は //ログに保存される ! /MTSpeedMeter
- 127. おまけ(4)
- 129. BuildCacheプラグイン MTBuildCache key=”foo” ttl=”3600” ! //1時間の間はキャッシュが利利⽤用される // メモリ→DBの順にキャッシュをチェック ! /MTBuildCache
- 130. おまけ(最後)
- 132. Minifier / Asset2Base64 プラグイン •HTML/JavaScript/CSSを圧縮 •Data URI scheme でソースに画 像を埋め込む •コンテンツのgzip圧縮 テンプレートのチューニングとか細かいと思ってますか?
- 133. 塵も積もれば⼭山となります!
- 134. 次回予告
- 136. 御礼 -‐‑‒ ありがとうございました