结构化数据存储

1. 化数据的存结构 储
光照刘

2. 什么是 化数据结构
●
行数据
●
二 表维 结构
●

3. 化数据存 很结构 储 简单
● RDBMS
● MySQL
●
。。。
●
●
些数据 使用这 库 简单

4. 然而行数非常多的 候？时
●
超过 1000w 行了
●
写入速度慢
●
速度慢查询
●
不敢再改 数据 表了动 库
●
。。。

5. 常 数据 方式规 库减压
方案
●
一主多从
●
垂直分库
问题
●
速度没提高查询
●
主 与延库负载 迟
●
展性受限扩
●
数据 移迁 复杂
●
影响代码

6. 能怎么 ？还 办
●
重写个数据 ？库
●
●
是的。。。
●
●
好 ， 是 装一个数据难 还 组 库

7. 行存 的特点储
f1(int) f2 f3 f4(text)
1 abc abc abc
2 abc abc abc
3 abc abc abc
●
按插入 序逐行存 在磁 上顺 储 盘
●
第一条和最近一条相隔很远
●
磁 需要 道，而且很慢盘 寻

8. 系与数据分离关
●
系 字段拆到一个表关 查询
●
非 系 字段拆到一个表关 查询
●
系字段表尺寸 小关 变
●
非 系字段存 方案更多关 储
●
可以 类型 化存针对两种 优 储

9. 弱 系、弱模式关
● NoSQL
●
助辅 实现
●
化 写优 读
●
活重灵 构
●

10. CAP 理论
●
Consistent 一致性
●
●
Avalible 可用性
●
●
Partition 分区 展性扩

11. 最 一致性终
●
强一致性 : 当更新完成，后 所有 都将 得更新 。续 访问 获 值
●
弱一致性 : 系 不能保 后 都将 得更新 。统 证 续访问 获 值
●
●
互 网系 的特点联 统 : 数据量大
●
目需求允 最 一致性的延项 许 终 时

12. BigID 是什么
●
●
是一个 64 位无符号整数
●
是一 全局唯一种 ID
●
是一个 ID 生成算法
●
是可路由的

13. BigID 的 成组

14. BigID 解决什么问题
●
●
解决 ID 并 生成发 问题
●
解决 ID 唯一问题
●
解决数据粒度问题
●
解决数据 移迁 问题
●
解决数据路由问题
●

15. 存 模式储

16. 分库 shard
●
● Shard1: [0, 1, 2]
● Shard2: [3, 4, 5]
● Shard3: [6, 7, 8]
●

17. 分库 shard 移迁
●
● Shard1: [0, 3, 7]
● Shard2: [1, 4, 6]
● Shard3: [2, 5, 8]
●

18. NewDB 实现
●
●
BigID – 简单
●
数据路由 – 稍复杂
●
数据无 写缝读 ­ 复杂
●

19. BigID 实现
● makeSerialId
● extractVirtShardId
● makeCompatSerialId

20. 数据的路由
●
●
●

21. NewDB 问题
●
●
不保 强数据一致性证
●
有最 数据一致性实现 终
●
是有 展性，不支持无限 展仅 较扩 扩
●
没有很好的事 支持务
●
使用接口 比还 较复杂
●
先系 要求高对预 统规划

22. NewDB 之后
●
●
Google F1/Spanner 数据库
●
源开 cockroach 数据库
●
pingCAP 的 tidb 数据库
●

23. Thanks
Q & A