高性能 Ruby on Rails 服务器缓存架构设计

1. 高性能Web应用
缓存架构设计浅谈
Robbin Fan
Thursday, August 4, 11

2. 高性能Web应用特征
• 大规模，高并发的访问请求
• 服务的高可用性
• 平滑的deployment
• 良好的可伸缩性
Thursday, August 4, 11

3. 特殊应用场景
• 长连接
• Web chat,Web game
• 网络IO资源消耗型，非CPU消耗型
• EventMachine,Twisted, Node.js
Thursday, August 4, 11

4. 高性能Web应用
是架构问题，不是
Rails框架问题
Thursday, August 4, 11

5. Constraint is liberty
Thursday, August 4, 11

6. JavaEye统计数据
• 3,000,000+ Rails dynamic requests per day
• 15,000,000+ HTTP requests per day
• 600+ HTTP requests/s on peak time
• 1,000,000+ full-text search per day
• 1400+ current connections/s on peak time
• 600 average Memcached get operations
• 150 average SQL queries per second
Thursday, August 4, 11

7. lighttpd
fastcgi(ruby)
Web Server
mysql
DB Server
memcached
SearchServer
PDF Creating
analytics
Thursday, August 4, 11

8. Web Server DB Server
CPU Peak < 60% CPU Peak < 25%
IO Wait < 5% IO Wait < 15%
Thursday, August 4, 11

9. Rails高性能Web之道
• 以REST的架构风格来编写Rails应用
• 从整体架构上设计各个层面缓存方案
• 消除架构上的各个单点性能瓶颈
• 多进程的分布式应用架构部署
Thursday, August 4, 11

10. REST
资源 操作＋ ＝ REST
Thursday, August 4, 11

11. REST
资源 操作＋ ＝ REST
URL
Thursday, August 4, 11

12. REST
资源 操作＋ ＝ REST
URL ＋
Thursday, August 4, 11

13. REST
资源 操作＋ ＝ REST
URL HTTP＋
Thursday, August 4, 11

14. REST
资源 操作＋ ＝ REST
URL HTTP＋ ＝
Thursday, August 4, 11

15. REST
资源 操作＋ ＝ REST
URL HTTP＋ ＝ Web
Thursday, August 4, 11

16. REST架构的设计准则
• 网络上的所有事物都被抽象为资源(resource)
• resource = data + representation
• 每个资源对应⼀一个唯⼀一的资源标识(resource identifier)
• resource identifier = URL
• 通过连接器(generic connector interface)对资源进行操作
• generic connector = HTTP Procotol (GET/POST/PUT/DELETE)
• 对资源的各种操作不会改变资源标识
• 对资源的GET操作具有幂等性，不改变资源的状态
• 所有的操作都是无状态的(stateless)
Thursday, August 4, 11

17. REST的实践用途
• 确保Web请求不会产生负作用
• 对内容型网站提供了最好的SEO效果
• 利用HTTP协议实现浏览器端缓存
• 大型系统的互操作标准接口，实现大型
系统的可扩展性和可伸缩性
Thursday, August 4, 11

18. HTTP语义被混淆
<a href=“/delete_user/1”>Delete User</a>
<a href=“/users/1”>Delete User</a>
Thursday, August 4, 11

19. 基于HTTP的资源缓存
Etag "12523074“
Last-Modified Thu, 29 May 2010 09:43:46 GMT
/blog/123
/blog/123
If-Modified-Since Thu, 29 May 2010 09:43:46 GMT
If-None-Match "12523074 "
304 Not Modified
Thursday, August 4, 11

20. JavaEye的资源
• 新闻文章
• 论坛主题贴
• 博客文章
• RSS订阅
• ...... (所有经常被访问的资源都可以缓存)
Thursday, August 4, 11

21. def news
fresh_when(:last_modified => News.last.created_at, :etag => News.last)
end
@blogs = @blog_owner.last_blogs
@hash = @blogs.collect{|b| {b.id => b.post.modified_at.to_i +
b.posts_count}}.hash
if stale?(:last_modified => (@blog_owner.last_blog.post.modified_at ||
@blog_owner.last_blog.post.created_at), :etag => @hash)
render :template => "blog"
end
def board
@topics = @forum.topics.paginate...
if logged_in? || stale?(:last_modified =>
@topics[0].last_post.created_at, :etag => @topics.collect{|t| {t.id =>
t.posts_count}}.hash)
@announcements = (params[:page] || 1).to_i == 1 ?
Topic.find :all, :conditions...
render :action => 'show'
end
end
Thursday, August 4, 11

22. def show
@topic = Topic.find params[:id]
user_session.update_....... if logged_in?
Topic.increment_counter(...) if ......
@posts = @topic.post_by_page params[:page]
posts_hash = @posts.collect{|p| {p.id => p.modified_at}}.hash
topic_hash = @topic.forum_id + @topic.sys_tag_id.to_i + @topic.title.hash +
@topic.status_flag.hash
ad_hash = ... (广告的hash算法，略)
if logged_in? || stale?(:etag => [posts_hash, topic_hash, ad_hash])
render
end
end
def topic
@topic = Topic.find(params[:id])
unless logged_in?
if request.not_modified?(5.days.ago)
head :not_modified
else
response.last_modified = Time.now
end
end
end
Thursday, August 4, 11

23. Effect
• 30,000 304 status responses per day
Thursday, August 4, 11

24. 基于Web的简单架构
数据库应用服务器Web服务器
存储设备
浏览器
Web应用架构
操作系统的文件系统
Thursday, August 4, 11

25. 缓存系统的分层架构
• 操作系统磁盘缓存: 减少磁盘机械操作
• 数据库缓存 : 减少文件系统I/O
• 应用程序缓存 : 减少数据库查询
• Web服务器缓存 : 减少应用服务器请求
• 客户端浏览器缓存 : 减少对网站的访问
Thursday, August 4, 11

26. ⼀一个误区
• n+1条SQL真的是低性能的吗？
• 减少磁盘I/O才是数据库优化的终极之道
Thursday, August 4, 11

27. 2007.02
• 把posts表的大字段剥离出来
• posts表的select count操作从80秒减少到
0.1秒
Thursday, August 4, 11

28. posts表
• posts(id, ..., body)
• 磁盘存储空间6GB
Thursday, August 4, 11

29. 剥离后posts表
• posts(id, post_text_id,...) 210MB
• post_texts(id, body) 6GB
Thursday, August 4, 11

30. Thursday, August 4, 11

31. 应用缓存概述
• 对象缓存
• 查询缓存
• 页面缓存
• 动态页面静态化（page cache）
• 页面片段缓存（frgment cache）
• 基于REST资源的缓存
Thursday, August 4, 11

32. 对象缓存原则
• 数据库表的设计要细颗粒度
• 把有冗余字段的大表拆分为n个互相外键
关联的小表
• ORM的性能瓶颈不在于表关联，而在于
大表的全表扫描
• 尽量避免join查询，多制造n+1条SQL
Thursday, August 4, 11

33. 对象缓存的意义
• Web应用很容易通过群集方式实现横向
扩展，系统的瓶颈往往出现在数据库
• 数据库的瓶颈往往出现在磁盘IO读写
• 因此要避免数据库的全表扫描和大表的
数据扫描操作
• 如何避免：拆表和臭名昭著的n+1条SQL
Thursday, August 4, 11

34. 山寨cache plugin
• 基于Rails Cache的简单封装，仅60行代码
• 可以自动实现对象缓存的管理，n:1关系
的缓存，但不支持1:n集合缓存
• memcached缓存命中率超过96%
Thursday, August 4, 11

35. memcached统计信息
Thursday, August 4, 11

36. memcached统计信息
Thursday, August 4, 11

37. cache_money
• 出自twitter开发团队之手
• 可能是目前最强大的ruby cache框架
• 支持分页查询缓存，支持条件查询缓存
Thursday, August 4, 11

38. 页面片段缓存
• JavaEye大量使用页面片段缓存
• 网站首页、新闻频道、个人博客左边导
航条等等
• 可以有效降低ruby应用的负载
Thursday, August 4, 11

39. JavaEye遇到的问题
• ruby负载远远超过db，Web Server的load
是DB的两倍
• 单纯对象缓存不能减轻ruby的负载
Thursday, August 4, 11

40. ruby的性能问题
• ruby的正则表达式运算性能很糟糕
• erb的性能也不好
• 大量字符串运算性能差
• 解决之道：用片段缓存降低ruby字符串
处理频率
Thursday, August 4, 11

41. 不直接缓存post的内容，改为缓
存post内容生成的html片段
Thursday, August 4, 11

42. 不直接缓存post的内容，改为缓
存post内容生成的html片段
Thursday, August 4, 11

43. JavaEye的缓存参考
• memcached缓存命中率96%
• cache get : sql query = 4 : 1
Thursday, August 4, 11

44. 在Rails之外寻求方案
• long-term request设置timeout
• SQF Dispatcher (short queue first)
• 用memcached实现计数器功能
• 用Redis的Set实现BlackList
• 用Redis的List数据结构实现高性能队列
• crontab和 ``实现异步操作
Thursday, August 4, 11

45. `curl "http://blogsearch.google.com/ping?
name=#{CGI::escape(@blog_owner.blog_name
|| @blog_owner.name + '的博客')}
&url=#{CGI::escape
blog_homepage_url(@blog_owner)}
&changesURL=#{CGI::escape(blog_homepage_u
rl(@blog_owner) + '/rss')}" > /dev/null
2>&1 &`
Thursday, August 4, 11

46. ip_counter = Rails.cache.increment(request.remote_ip)
if !ip_counter
Rails.cache.write(request.remote_ip, 1, :expires_in => 30.minutes)
elsif ip_counter > 2000
crawler_counter = Rails.cache.increment("crawler/
#{request.remote_ip}")
if !crawler_counter
Rails.cache.write("crawler/#{request.remote_ip}", 1, :expires_in
=> 10.minutes)
elsif crawler_counter > 50
BlackList.add(ip_sec)
render :file => "#{RAILS_ROOT}/public/403.html", :status => 403
and return false
end
render :template => 'test', :status => 401 and return false
end
Thursday, August 4, 11