Submit Search
Upload
基于MySQL的分布式数据库实践
•
27 likes
•
2,622 views
jackbillow
Follow
基于MySQL的分布式数据库实践
Read less
Read more
Technology
Report
Share
Report
Share
1 of 38
Download now
Download to read offline
Recommended
今さら聞けない人のためのDocker超入門 講師:宮原 徹(日本仮想化技術株式会社 代表取締役兼CEO) Docker盛り上がってるなあ、と横目で見ながら、今まで触らずに来てしまった。今さらDockerの使い方とか聞けない、という方のためのDocker超入門です。CentOS 7を使って、Dockerの基本的な使い方をデモを交えて解説します。また、DockerとOpenStackの連携についても簡単に解説します。
今さら聞けない人のためのDocker超入門 – OpenStack最新情報セミナー 2015年4月
今さら聞けない人のためのDocker超入門 – OpenStack最新情報セミナー 2015年4月
VirtualTech Japan Inc.
ჩემი პროექტის გეგმის მონახაზი
ჩემი პროექტის გეგმის მონახაზი
janiashvili
オープンソースカンファレンス2015 .Enterprise https://www.ospn.jp/osc2015.enterprise/
Chef, Ansible, Consul, … 自働化ツールとその組み合わせ方
Chef, Ansible, Consul, … 自働化ツールとその組み合わせ方
Yoshimi Tominaga
Lua資料型別, 變數Scope, Functions & closures, 運算子, 流程控制, Table & Meta table, 內建函式, 檔案作業, 使用模組, OOP
nodeMCU IOT教學02 - Lua語言
nodeMCU IOT教學02 - Lua語言
吳錫修 (ShyiShiou Wu)
You can enjoy desktop development with Node.js and HTML5/CSS/WebGL right now. Here we also to announce that Stem project which is a JavaScript operating system, it makes developers be able to make things on embedded system with JavaScript only. There is no need to understand that difficult knowledge about embedded system when you work on Stem OS.
Node.js 進攻桌面開發
Node.js 進攻桌面開發
Fred Chien
ეფექტური სტრატეგიები
სააზროვნო უნარების განვითარების ეფექტური სტრატეგიები
სააზროვნო უნარების განვითარების ეფექტური სტრატეგიები
Rusudan Gonashvuli
ARM LinuxのMMUはわかりにくい
ARM LinuxのMMUはわかりにくい
ARM LinuxのMMUはわかりにくい
wata2ki
5月28日(木)に開催された、さんもく会の資料を公開! 「SQL Server/SQL Database の新機能のお話し」 SQL Server と Azure SQL Database で最新の機能を取り上げて紹介します。未だ試せませんが、SQL Server 2016 も取り上げる予定です。 講師:織田信亮氏
SQL Server/SQL Database の新機能のお話し
SQL Server/SQL Database の新機能のお話し
Insight Technology, Inc.
Recommended
今さら聞けない人のためのDocker超入門 講師:宮原 徹(日本仮想化技術株式会社 代表取締役兼CEO) Docker盛り上がってるなあ、と横目で見ながら、今まで触らずに来てしまった。今さらDockerの使い方とか聞けない、という方のためのDocker超入門です。CentOS 7を使って、Dockerの基本的な使い方をデモを交えて解説します。また、DockerとOpenStackの連携についても簡単に解説します。
今さら聞けない人のためのDocker超入門 – OpenStack最新情報セミナー 2015年4月
今さら聞けない人のためのDocker超入門 – OpenStack最新情報セミナー 2015年4月
VirtualTech Japan Inc.
ჩემი პროექტის გეგმის მონახაზი
ჩემი პროექტის გეგმის მონახაზი
janiashvili
オープンソースカンファレンス2015 .Enterprise https://www.ospn.jp/osc2015.enterprise/
Chef, Ansible, Consul, … 自働化ツールとその組み合わせ方
Chef, Ansible, Consul, … 自働化ツールとその組み合わせ方
Yoshimi Tominaga
Lua資料型別, 變數Scope, Functions & closures, 運算子, 流程控制, Table & Meta table, 內建函式, 檔案作業, 使用模組, OOP
nodeMCU IOT教學02 - Lua語言
nodeMCU IOT教學02 - Lua語言
吳錫修 (ShyiShiou Wu)
You can enjoy desktop development with Node.js and HTML5/CSS/WebGL right now. Here we also to announce that Stem project which is a JavaScript operating system, it makes developers be able to make things on embedded system with JavaScript only. There is no need to understand that difficult knowledge about embedded system when you work on Stem OS.
Node.js 進攻桌面開發
Node.js 進攻桌面開發
Fred Chien
ეფექტური სტრატეგიები
სააზროვნო უნარების განვითარების ეფექტური სტრატეგიები
სააზროვნო უნარების განვითარების ეფექტური სტრატეგიები
Rusudan Gonashvuli
ARM LinuxのMMUはわかりにくい
ARM LinuxのMMUはわかりにくい
ARM LinuxのMMUはわかりにくい
wata2ki
5月28日(木)に開催された、さんもく会の資料を公開! 「SQL Server/SQL Database の新機能のお話し」 SQL Server と Azure SQL Database で最新の機能を取り上げて紹介します。未だ試せませんが、SQL Server 2016 も取り上げる予定です。 講師:織田信亮氏
SQL Server/SQL Database の新機能のお話し
SQL Server/SQL Database の新機能のお話し
Insight Technology, Inc.
数据sharding相关内容介绍
数据库Sharding专题
数据库Sharding专题
清平 张
简单介绍一下在线,实时和离线数据平台的一些进展和问题
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
Presentation from Oracle Open World 2008 on actual Database Development considering 10g/11g features and trends outside the database.
Modern Database Development Oow2008 Lucas Jellema
Modern Database Development Oow2008 Lucas Jellema
Lucas Jellema
This is about database
Chap02: The database Development process
Chap02: The database Development process
ahmed naveed
my working summary as data platform & application leader at vipshop
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
2014-04-19 在 ACOUG 活动上的分享,介绍了豆瓣数据架构的演进过程,以及过程中遇到的问题、目前正在面临的挑战等。
豆瓣数据架构实践
豆瓣数据架构实践
Xupeng Yun
MySQL数据库设计、优化
MySQL数据库设计、优化
MySQL数据库设计、优化
Jinrong Ye
最近几年,MySQL的发展更是如火如荼,在众多企业、项目中被运用,除了互联网行业,就连传统企业也在开始尝试MySQL了。 不过,很多人在安装、配置、使用MySQL时,很可能照搬网上搜到的配置参数模板直接就使用了,没有根据实际情况进一步调整,甚至直接使用安装包中默认的配置。 此外,在开、使用发过程中,可能也会照搬以前在ORACLE、SQL Server中的数据库使用经验习惯,导致一些效率非常差的SQL出现影响整体性能。 本次我们将从硬件优化、操作系统优化、MySQL配置优化、SQL设计优化等多方面着手,分析如何一步到位实现MySQL的优化。 主要内容: 了解MySQL数据库的特点 了解如何进行服务器硬件配置优化 了解操作系统层面优化配置 了解MySQL最关键的一些参数配置的优化建议 了解MySQL最关键的一些设计规范,掌握SCHEMA优化设计经验
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Jinrong Ye
基于My sql的分布式数据库实践 公开
基于My sql的分布式数据库实践 公开
YANGL *
What's Data ? What's DAL ? DAL 中的不变、变化 ? 电商网站 DAL 特点 (SoC) .NET 世界 ORM 现状
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
Xuefeng Zhang
NoSQL误用和常见陷阱分析(孙立)
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
iammutex
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
redhat9
内存数据库[1]
内存数据库[1]
小新 制造
MySQL设计、优化、运维
MySQL设计、优化、运维
MySQL设计、优化、运维
Jinrong Ye
大型网站架构的发展
大型网站架构的发展
drewz lin
大型网站架构的发展
大型网站架构的发展
Hesey
数据架构方面的一些探讨
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
redhat9
Exadata那点事
Exadata那点事
freezr
有道云笔记架构简介
有道云笔记架构简介
drewz lin
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
redhat9
MySQL的可扩展性架构设计以及scale-out策略。
基于MySQL可扩展架构设计
基于MySQL可扩展架构设计
jackbillow
More Related Content
Viewers also liked
数据sharding相关内容介绍
数据库Sharding专题
数据库Sharding专题
清平 张
简单介绍一下在线,实时和离线数据平台的一些进展和问题
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Chao Zhu
Presentation from Oracle Open World 2008 on actual Database Development considering 10g/11g features and trends outside the database.
Modern Database Development Oow2008 Lucas Jellema
Modern Database Development Oow2008 Lucas Jellema
Lucas Jellema
This is about database
Chap02: The database Development process
Chap02: The database Development process
ahmed naveed
my working summary as data platform & application leader at vipshop
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
Chao Zhu
2014-04-19 在 ACOUG 活动上的分享,介绍了豆瓣数据架构的演进过程,以及过程中遇到的问题、目前正在面临的挑战等。
豆瓣数据架构实践
豆瓣数据架构实践
Xupeng Yun
MySQL数据库设计、优化
MySQL数据库设计、优化
MySQL数据库设计、优化
Jinrong Ye
最近几年,MySQL的发展更是如火如荼,在众多企业、项目中被运用,除了互联网行业,就连传统企业也在开始尝试MySQL了。 不过,很多人在安装、配置、使用MySQL时,很可能照搬网上搜到的配置参数模板直接就使用了,没有根据实际情况进一步调整,甚至直接使用安装包中默认的配置。 此外,在开、使用发过程中,可能也会照搬以前在ORACLE、SQL Server中的数据库使用经验习惯,导致一些效率非常差的SQL出现影响整体性能。 本次我们将从硬件优化、操作系统优化、MySQL配置优化、SQL设计优化等多方面着手,分析如何一步到位实现MySQL的优化。 主要内容: 了解MySQL数据库的特点 了解如何进行服务器硬件配置优化 了解操作系统层面优化配置 了解MySQL最关键的一些参数配置的优化建议 了解MySQL最关键的一些设计规范,掌握SCHEMA优化设计经验
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Jinrong Ye
Viewers also liked
(8)
数据库Sharding专题
数据库Sharding专题
大型电商的数据服务的要点和难点
大型电商的数据服务的要点和难点
Modern Database Development Oow2008 Lucas Jellema
Modern Database Development Oow2008 Lucas Jellema
Chap02: The database Development process
Chap02: The database Development process
唯品会大数据实践 Sacc pub
唯品会大数据实践 Sacc pub
豆瓣数据架构实践
豆瓣数据架构实践
MySQL数据库设计、优化
MySQL数据库设计、优化
MySQL技术分享:一步到位实现mysql优化
MySQL技术分享:一步到位实现mysql优化
Similar to 基于MySQL的分布式数据库实践
基于My sql的分布式数据库实践 公开
基于My sql的分布式数据库实践 公开
YANGL *
What's Data ? What's DAL ? DAL 中的不变、变化 ? 电商网站 DAL 特点 (SoC) .NET 世界 ORM 现状
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
Xuefeng Zhang
NoSQL误用和常见陷阱分析(孙立)
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
iammutex
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
redhat9
内存数据库[1]
内存数据库[1]
小新 制造
MySQL设计、优化、运维
MySQL设计、优化、运维
MySQL设计、优化、运维
Jinrong Ye
大型网站架构的发展
大型网站架构的发展
drewz lin
大型网站架构的发展
大型网站架构的发展
Hesey
数据架构方面的一些探讨
数据架构方面的一些探讨
数据架构方面的一些探讨
Chao Zhu
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
redhat9
Exadata那点事
Exadata那点事
freezr
有道云笔记架构简介
有道云笔记架构简介
drewz lin
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
redhat9
MySQL的可扩展性架构设计以及scale-out策略。
基于MySQL可扩展架构设计
基于MySQL可扩展架构设计
jackbillow
浅谈 My sql 性能调优
浅谈 My sql 性能调优
thinkinlamp
MySQL 应用优化实践
MySQL应用优化实践
MySQL应用优化实践
mysqlops
Redis
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
StevenShing
有几张图尚未 加入,所以暂不提供下载,待我重看录像修订之后放出。 罗马不是一天建成的,豆瓣的技术架构也是随着用户规模的增长一直在持续变化中。在本次演讲中,豆瓣的首席架构师洪强宁将与大家一起分享从上线时的单台服务器架构开始一直到现在的豆瓣架构变迁历程。 个人简介 洪强宁,2002年毕业于清华大学,现任北京豆瓣互动科技有限公司首席架构师。洪强宁和他带领的技术团队致力于用技术改善人们的文化和生活品质,在网站架构、性能、可伸缩性上进行深入研究。豆瓣网曾获软件中国2006年度最佳技术应用网站。
豆瓣网技术架构变迁
豆瓣网技术架构变迁
reinhardx
大规模网站架构
大规模网站架构
drewz lin
在厦门爱特咖啡分享的新浪微博Feed服务架构
新浪微博Feed服务架构
新浪微博Feed服务架构
XiaoJun Hong
Similar to 基于MySQL的分布式数据库实践
(20)
基于My sql的分布式数据库实践 公开
基于My sql的分布式数据库实践 公开
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
浅谈电商网站数据访问层(DAL)与 ORM 之适用性
NoSQL误用和常见陷阱分析
NoSQL误用和常见陷阱分析
Bypat博客出品-服务器运维集群方法总结2
Bypat博客出品-服务器运维集群方法总结2
内存数据库[1]
内存数据库[1]
MySQL设计、优化、运维
MySQL设计、优化、运维
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
大型网站架构的发展
数据架构方面的一些探讨
数据架构方面的一些探讨
Bypat博客出品-服务器运维集群方法总结
Bypat博客出品-服务器运维集群方法总结
Exadata那点事
Exadata那点事
有道云笔记架构简介
有道云笔记架构简介
Bypat博客出品-服务器运维集群方法总结3
Bypat博客出品-服务器运维集群方法总结3
基于MySQL可扩展架构设计
基于MySQL可扩展架构设计
浅谈 My sql 性能调优
浅谈 My sql 性能调优
MySQL应用优化实践
MySQL应用优化实践
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
4.陈群-唯品会大规模Redis集群存储架构演进.pdf
豆瓣网技术架构变迁
豆瓣网技术架构变迁
大规模网站架构
大规模网站架构
新浪微博Feed服务架构
新浪微博Feed服务架构
基于MySQL的分布式数据库实践
1.
基亍MySQL的分布式实践
杨海朝 Senior MySQL DBA@SINA jackbillow@gmail.com DTCC 2011 2011.4.15
2.
业务增长
usage
3.
议题 • Sharding策略 • Cache应用 •
NoSQL应用 • 多IDC部署
4.
Database Sharding what drives
the need for database sharding? http://www.codefutures.com/database-sharding/
5.
Database Sharding what is
database sharding? http://www.codefutures.com/database-sharding/
6.
前期 • 一开始就考虑CAP &
BASE理论 • 异步所有能异步的操作 • 避免分布式事务
7.
前期 按功能分割: • 不同的业务不同的DB • Master/Slaves •
MPSM • 多个DB一个port
8.
前期 水平切分: • 索引和数据在不同的DB • Table
partitioning(256张tables)
9.
Scaling实践#1 • SPSM • 提高slave数量
10.
Scaling实践#2 • 索引和数据物理分开 • 一个DB一个端口
11.
Scaling实践#3 提高单机的性能: • SSD • IODrive •
Cachecade • Flashcache
12.
Scaling实践#4.1 Master不拆分Slave分成多组
13.
Scaling实践#4.2 以表对象进行拆分
14.
Scaling实践#4.3 按不同partitioning key进行拆分
15.
Scaling实践#5 时间维度来分,持续归档
16.
Scaling实践#6 中间件来减少开发和运维的成本
17.
Sharding原则 • 一开始就关注架构设计 • Scale-up
Scale-out Scale-up • 成本可控下硬件是首选 • 逐步解决拆分中成本问题
18.
挑战 • 如何减少TCO? • 如何权衡业务后期的功能扩展? •
故障率如何降低? • 大批量的快速部署?
19.
Caching Everything runs from
memory in Web 2.0 --Evan Weaver
20.
Caching • Delay is
the fault --Me DB的延时越来越不可以接受,进行了并发 复制的开发,降低响应时间还是没有解决
21.
Caching 第一阶段: MySQL +
Memcached Memcache Server Client Database
22.
Caching 第二阶段: MySQL +
UDF
23.
Caching 第三阶段: 按冷热度分层 http://natishalom.typepad.com/nati_shaloms_blog/2010/10/nocap.html
24.
Caching原则 • 采用一致性Hash部署 • Cache按照冷热分层 •
所有热数据都放入Cache • 双写来避免雪崩问题 • 队列方式持久化落入MySQL
25.
挑战 • 双写导致应用复杂? • 实现locality
RAM? • 多IDC部署Cache的复杂度问题?
26.
NoSQL • No use
only MySQL • 高性能 • 丰富的数据类型
27.
NoSQL 独立redis: • 关系 • 计数 •
通知 ……
28.
NoSQL MySQL Redis复制 •
通过RBR解析BINLOG同步到redis • Redis提供特定数据结构的读访问 • 实现关系型数据转变成队列数据
29.
NoSQL Redis MySQL复制 •
Redis提供特定数据结构的读写 • 通过replication接口同时写入到MySQL
30.
NoSQL 对redis进行完善 • 解决replicaton问题(rdb+aof) • 容灾问题(加入position思想)
31.
挑战 • 如何批量管理? • 后期容量扩展? •
复杂数据的load速度问题?
32.
多IDC部署 Federated table
33.
多IDC部署 Master/Master
34.
多IDC部署 开发多主复制
35.
多IDC部署 Pub/sub + MySQL
replication http://www.codeproject.com/KB/WCF/ASENS.aspx?msg=2937455
36.
挑战 • 延时带来的应用时序问题? • 部署datacenter的数量有限?
37.
总结 • 持续的database sharding •
硬件解决是首选 • 数据库简化为存储 • 关系型和非关系结合 • 谨慎考虑多机房部署
38.
Thank you for
coming! @jackbillow jackbillow@gmail.com Q&A 长期招聘,欢迎加入!
Download now