介绍美团四层负载均衡是如何实现高性能、高可靠的，以及上线一年多的时间里遇到的一些问题以及解决方案。

1. 美团四层负载均衡 - MGW
⺩王伟@云计算部 20161008

2. ⾃自我介绍
2013/8月 ~ 2015/4月
深信服电⼦子科技 (应⽤用交付部）
2015/4月 ~ 至今
美团（云计算部）
1. Linux kernel开发（⺴⽹网络部分）
2. SSL/TLS 开发（openssl）
1. 四层负载均衡⺴⽹网关（MGW)
2. Linux kernel开发

3. ⺫⽬目录
• 负载均衡介绍
• ⾼高性能
• ⾼高可靠
• 技术展望

4. 什么是负载均衡？

5. 什么是负载均衡？

6. 四层负载均衡 and 七层负载均衡？

7. 转发模式对⽐比
模式 优点 缺点
DR(三⾓角传输） 1. 应⽤用直接将应答发给客户端，
性能好
1. 必须在⼀一个⼆二层
2. 应⽤用服务器需要配置VIP
NAT（DNAT） 1. 应⽤用服务器⽆无需做配置 1. 负载均衡必须以⺴⽹网关形式存在
TUNNEL 1. 和DR⼀一样，应⽤用直接将应答发
给客户端，性能好。
1. 对应⽤用服务器要求⾼高，需要⽀支
持tunnel
2. 应⽤用服务器需要配置vip
FULLNAT
（SNAT+DNAT)
1. 应⽤用服务器⽆无需做配置
2. 对⺴⽹网络环境要求⽐比较低
1. 丢失client ip

8. 转发模式 - FULLNAT
Client
10.87.5.45
Realserver
10.64.14.4
DNAT+SNAT SNAT+DNAT
SRC:10.87.5.45
DST:103.37.152.22
SRC:10.32.14.4
DST:10.64.14.4
VIP:103.37.152.22
LOCALIP:10.32.14.4
DST:10.32.14.4
SRC:10.64.14.4
DST:10.87.5.45
SRC:103.37.152.22

9. ⺫⽬目录
• 负载均衡介绍
• ⾼高性能
• ⾼高可靠
• 技术展望

10. 硬件负载均衡 软件负载均衡
LVS
HAPROXY
负载均衡

11. 硬件负载均衡
1. 硬件成本
2. ⼈人⼒力成本
3. 时间成本

12. 美团早期负载均衡结构

13. 美团流量增⻓长情况
❗3倍的流量增⻓长，LVS性能不⾜足，故障率增加
新建连接数（cps）100w -> 300w
吞吐量（bps）13G -> 38G

14. 问题所在
1. 中断
3. 锁
4. 上下⽂文切换
2. 过⻓长的协议栈路径
1. PMD驱动
2. kernel bypass
3. ⽆无锁的设计
4. CPU绑定、隔离

15. PMD驱动、kernel bypass -> DPDK
KNI VF_IO IGB_UIO
kernel
EAL
MALLOC
MBUF
MEMPOOL
RING
TIMER
Core Lib Platform
IVSHMEM
POWER
KNI
METER
SCHEDULE
QOS
ETHDEV
E1000 IGB
IXGBE I40E
VMXNET3 VIRTIO
XENTVIRT
Packet Access
userspace
Classify
LPM
ACL
User Space Application

16. 上下⽂文切换
CORE2
DATA
CORE7 CORE13
DATA DATA
CORE14
Linux
CORE15
Linux
DATA PLANE
CORE1
KNI
CONTROL PLANE
… …
CPU ISOLATION

17. ⽆无锁的设计 - 地址转换的问题
session table
CPU0
[queue 0]
CPU1
[queue 1]
session table
CPU2
[queue 2]
session table
CPU3
[queue 3]
session table
RSS
REQUEST：(cip0, cport0, vip0, vport0)
新建
FULLNAT
RESPONSE：(dip0, dport0, lip0, lport0)
查找
锁

18. ⽆无锁的设计 - 地址转换的问题
session table
CPU0
[queue 0]
CPU1
[queue 1]
session table
CPU2
[queue 2]
session table
CPU3
[queue 3]
session table
RSS
REQUEST：(cip0, cport0, vip0, vport0)
新建
FULLNAT
RESPONSE：(dip0, dport0, lip0, lport0)
查找
flow director
RULE: (sip=0, sport=0, dip=lip0, dport=0, queue=0)

19. 性能测试
测试项 性能参数
SYNPROXY 2800w pps (67%CPU)
http pps in 850w out 960w
http bps (64bytes response) in 6G out 10G
http qps 380w

20. ⺫⽬目录
• 负载均衡介绍
• ⾼高性能
• ⾼高可靠
• 技术展望

21. ⾼高可靠

22. ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
机器下线导致的问题
⼤大量连接失败

23. ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
session同步
每台机器都有全量的
session

24. 故障检测与故障切换
测试程序发包间隔 100ms
升级操作丢包 0
主程序故障丢包 0
其他异常（⺴⽹网线等） 500ms
故障切换效果
交换机侧不使⽤用虚拟接⼝口
半秒⼀一次机器健康⾃自检
检测到故障⾃自动给⺴⽹网⼝口断电
捕获异常信号，物理⺴⽹网⼝口断电
故障切换

25. 故障恢复与扩容
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
控制交换机切回流量
批量session同步同步旧session，同时通过增量同步接收新session

26. ⾃自动化测试
MGW单机可靠性

27. ⾃自动化测试平台
server tester
nginx
udpserver
nginx
udpserver
webbench
AB
pktgen
udpclient
resource pool control
MGW
traffictraffic
TestGroup0
testplan testplan
testplan testplan
TestGroup1
testplan testplan
testplan testplan
result collect
configure
control
RESULT
LOG
EMAIL
update

28. ⾃自动化测试平台
测试
开发
⾃自动化
上线 避免改动引发

29. 节点平滑下线
应⽤用服务器可靠性

30. 节点平滑下线
MGW
应⽤用服
务器0
应⽤用服
务器1
应⽤用服
务器n
.
.
.
已有连接
新建连接+已有连接
新建连接+已有连接
云平台
agent
下线
上线
状态
⽤用户平台

31. ⼀一致性源ip hash调度器
应⽤用服务器可靠性

32. ⼀一致性hash调度器
普通源ip hash 调度器
RS1 RS2 RS3 RS4
ip1 ip2 ip2 ip3
普通源ip hash 调度器
RS1 RS2 RS3 RS4
ip1 ip2 ip2 ip3
普通hash

33. ⼀一致性hash调度器
普通源ip hash 调度器
RS1 RS2 RS3 RS4
ip1 ip2 ip2 ip3
普通源ip hash 调度器
RS1 RS2 RS3 RS4
ip1 ip2 ip2 ip3
⼀一致性hash

34. ⼀一致性hash调度器
V1
V2
V3
V4
V5
V6V7
V8
V9
V10
V11
Vn
redirect
V1 node0
V2 node1
V3 node2
V4 node3
V5 node0
V6 node1
V7 node2
V8 node3
V9 node0
google maglev hash

35. ⺫⽬目录
• 负载均衡介绍
• ⾼高性能
• ⾼高可靠
• 技术展望

36. 技术展望
TCP/IP
stack
七层
IPV6

37. 谢谢⼤大家
Q&A