淘宝数据库架构演进历程

淘宝数据库架构演进历程丹臣 / 赵林数据架构师 2010-12-12

提纲 ,[object Object],[object Object],[object Object],[object Object],[object Object]

淘宝数据库发展三阶段

SQL 语句变化 ,[object Object],[object Object],[object Object],[object Object]

淘宝电子商务网站的特点 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

不同的时期，不同的策略 ,[object Object],[object Object],[object Object],[object Object],[object Object]

数据库里的数据第一，二阶段的单台数据库里，用户，商品，交易等数据都在一起，存在许多的关联查询，应用完全耦合用户商品交易评价收藏

连接数问题 Oracle 数据库 ,[object Object],[object Object],[object Object],小型机的内存有限，发现了 Oracle 数据库有连接数瓶颈， 5000 个以后相当吃力。

中心化，服务化 ,[object Object]

HSF 的诞生 ,[object Object],A 服务 B 服务 HSF

数据垂直化 ,[object Object],[object Object],[object Object],[object Object],用户商品交易评价

问题 ,[object Object],[object Object],[object Object],[object Object],[object Object]

一台高端存储的处理能力 480 块盘的 hdisk ， max IOPS 6w 注意应用可以接受的 IO response time, 以及 IOPS 点。比如 3w IOPS 以上，会达到 20ms 以上

数据库架构发展新思路 ,[object Object]

异构的读写分离 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

构建数据查询的高速公路 ,[object Object]

跨不过去的坎 ,[object Object],[object Object],[object Object],[object Object]

大数据量核心业务数据迁移思路 ,[object Object],[object Object],[object Object],[object Object]

数据库系统余量 ,[object Object],[object Object],[object Object],[object Object]

数据生命周期之历史迁移 Data Online Data History Data ,[object Object]

在线与历史应用分离 Online Data Database History Data Database Online Application History Application 数据迁移程序 ,[object Object],[object Object],[object Object]

商品访问框架主键查询卖家查询淘宝商品的几个主要的查询： a. 主键查询通过分布式数据库，以及分布式缓存系统解决 b. 卖家商品管理类查询，这一类的查询数据量大，并且还有 like 查询的需求，通过实时搜索解决商品分布式缓存分布式数据库实时搜索注：考虑不同的读载体的技术实现，性能，成本

用户 ,[object Object],用户信息用户主信息用户信息扩展 ,[object Object],[object Object]

过度中心化用户中心 Tair 分布式缓存商品中心交易中心评价中心 ,[object Object],[object Object]

用户中心中的读写分离用户中心 Tair 分布式缓存商品中心交易中心评价中心 ,[object Object],在其它中心中内置可以访问 tair 的客户端，大部份的读不需要经过用户中心，直接读 tair ，写需要经过用户中心。

交易的读写分离框架 ,[object Object]

一些难题 ,[object Object],[object Object],[object Object]

光棍节大促活动前，经过了充分的准备与系统评估工作： CDN 面临的压力最大，预估流量将会达到 280G 左右，准备了各个层面的系统降级方案。

一个小意外 ,[object Object]

MySQL 源代码研究 ,[object Object],[object Object],[object Object]

MySQL 源代码研究 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

MySQL Binlog 解析数据复制中心 ,[object Object]

MySQL Binlog 解析数据复制中心 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

异地多数据中心的数据同步杭州青岛 other

异地多数据中心的数据同步 ,[object Object]

淘宝自主数据库 Oceanbase ,[object Object],[object Object],[object Object],[object Object]

总结 ,[object Object],[object Object],[object Object],[object Object]

Follow me ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

淘宝数据库架构演进历程

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

Similar to 淘宝数据库架构演进历程

Similar to 淘宝数据库架构演进历程 (20)

More from zhaolinjnu

More from zhaolinjnu (6)

Recently uploaded

Recently uploaded (6)

淘宝数据库架构演进历程

Editor's Notes