网站建设设计书任务书,做网站公司实力排名,做的比较好的旅游网站,取消网站的通知书一、前言二、主从复制原理2.1 MySQL复制类型2.2 MySQL主从复制工作过程2.3 MySQL的四种同步方式2.3.1 异步复制#xff08;MySQL默认#xff09;2.3.2 同步复制2.3.3 半同步复制#xff08;企业常用#xff09;2.3.4 增强半同步复制 2.4 MySQL主从复制延迟原因和优化方法2.… 一、前言二、主从复制原理2.1 MySQL复制类型2.2 MySQL主从复制工作过程2.3 MySQL的四种同步方式2.3.1 异步复制MySQL默认2.3.2 同步复制2.3.3 半同步复制企业常用2.3.4 增强半同步复制 2.4 MySQL主从复制延迟原因和优化方法2.5 Mysql应用场景 三、主从复制实验3.1 实验环境3.2 主从服务器时间同步3.2.1 master服务器配置3.2.2 两台SLAVE服务器配置 3.3 配置主从同步3.3.1 master服务器修改配置文件192.168.147.1003.3.2 slave服务器配置补充 3.4 测试数据同步 四、MySQL读写分离4.1、什么是读写分离4.2、为什么要读写分离呢4.3、什么时候要读写分离4.4、主从复制与读写分离4.5、MySQL 读写分离原理4.6、企业 使用MySQL 读写分离场景1基于程序代码内部实现2基于中间代理层实现 五、读写分离实验5.1 Amoeba服务器配置5.2 测试读写分离 192.168.147.104 一、前言
在企业应用中成熟的业务通常数据量都比较大
单台MySQL在安全性、高可用性和高并发方面都无法满足实际的需求
配置多台主从数据库服务器以实现读写分离
二、主从复制原理
2.1 MySQL复制类型
1 STATEMENT基于语句的复制。在服务器上执行sql语句在从服务器上执行同样的语句mysql默认采用基于语句的复制5.7版本之前执行效率高。高并发的情况可能会出现执行顺序的误差事务的死锁。
2ROW基于行的复制。把改变的内容复制过去而不是把命令在从服务器上执行一 遍。精确但效率低保存的文件会更大。5.7版本之后默认采用ROW模式
3MIXED混合类型的复制。默认采用基于语句的复制一旦发现基于语句无法精确复制时就会采用基于行的复制。更智能所以大部分情况下使用MIXED。
2.2 MySQL主从复制工作过程
Master节点需要开启二进制日志Slave节点需要开启中继日志。
1Master 节点将数据的改变记录成二进制日志bin log 当Master上的数据发生改变时增删改则将其改变写入二进制日志中。
2Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变如果发生改变则开始一个I/O线程请求Master的二进制事件。请求二进制数据
3同时Master 节点为每个I/O线程启动一个dump线程用于通知和向其发送二进制事件I/O线程接收到bin-log内容后将内容保存至slave节点本地的中继日志Relay log中Slave节点将启动SQL线程从中继日志中读取二进制事件在本地重放即解析成sql 语句逐一执行使得其数据和Master节点的保持一致。最后I/O线程和SQL线程将进入睡眠状态等待下一次被唤醒。 记住两个日志和三个线程
两个日志二进制日志bin log 、中继日志Relay log
三个线程I/O线程、dump线程、SQL线程
2.3 MySQL的四种同步方式
异步复制Async Replication同步复制sync Replication半同步复制Async Replication增强半同步复制lossless Semi-Sync Replication、无损复制
2.3.1 异步复制MySQL默认
主库将更新写入Binlog日志文件后不需要等待数据更新是否已经复制到从库中就可以继续处理更多的请求。Master将事件写入binlog但并不知道Slave是否或何时已经接收且已处理。在异步复制的机制的情况下如果Master宕机事务在Master上已提交但很可能这些事务没有传到任何的Slave上。假设有Master-Salve故障转移的机制此时Slave也可能会丢失事务。MySQL复制默认是异步复制异步复制提供了最佳性能。
总结master完成后直接返回给客户端
2.3.2 同步复制
主库将更新写入Binlog日志文件后需要等待数据更新已经复制到从库中并且已经在从库执行成功然后才能返回继续处理其它的请求。同步复制提供了最佳安全性保证数据安全数据不会丢失但对性能有一定的影响。
总结当主库执行完成一个事务然后所有的从库都复制了主库的事务并执行完成才会返回成信息给客户端
2.3.3 半同步复制企业常用
主库提交更新写入二进制日志文件后等待数据更新写入了从服务器中继日志中然后才能再继续处理其它请求。该功能确保至少有1个从库接收完主库传递过来的binlog内容已经写入到自己的relay log里面了才会通知主库上面的等待线程该操作完毕。 半同步复制是最佳安全性与最佳性能之间的一个折中。 MySQL 5.5版本之后引入了半同步复制功能主从服务器必须安装半同步复制插件才能开启该复制功能。如果等待超时超过rpl_semi_sync_master_timeout参数设置时间默认值为10000表示10秒则关闭半同步复制并自动转换为异步复制模式。当master dump线程发送完一个事务的所有事件之后如果在rpl_semi_sync_master_timeout内收到了从库的响应则主从又重新恢复为增强半同步复制。 ACK (Acknowledge character即是确认字符。
总结半同步就是在异步复制的基础上确保任何一个主库上的事务在提交之前至少有一个从库已经收到该事物并且存个于异步和同步之间
2.3.4 增强半同步复制
增强半同步是在MySQL 5.7引入其实半同步可以看成是一个过渡功能因为默认的配置就是增强半同步所以大家一般说的半同步复制其实就是增强的半同步复制也就是无损复制。 增强半同步和半同步不同的是等待ACK时间不同rpl_semi_sync_master_wait_point AFTER_SYNC默认 半同步的问题是因为等待ACK的点是Commit之后此时Master已经完成数据变更用户已经可以看到最新数据当Binlog还未同步到Slave时发生主从切换那么此时从库是没有这个最新数据的用户看到的是老数据。 增强半同步将等待ACK的点放在提交Commit之前此时数据还未被提交外界看不到数据变更此时如果发送主从切换新库依然还是老数据不存在数据不一致的问题。
2.4 MySQL主从复制延迟原因和优化方法
主从复制延迟原因 master服务器高并发形成大量事务。 网络延迟。 主从硬件设备导致cpu主频、内存IO、硬盘IO。 是同步复制而不是异步复制。
优化方法
从库优化Mysql参数。比如增大innodb_buffer_pool_size让更多操作在Mysql内存中完成减少磁盘操作。从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机使用物理主机这样提升了I/O方面性。从库使用SSD磁盘。网络优化避免跨机房实现同步。
2.5 Mysql应用场景
mysql 数据库主要的性能是读和写一般场景来说读请求更多。
根据主从复制可以演变成读写分离因为读写分离基于主从复制使用读写分离从而解决高并发的问题。
mysql架构演变的方向
单台mysql有单点故障集群—》 主从复制主从复制渡河写的压力不均衡读写分离读写分离的基础是主从复制mysql的高可用架构MHAmaster HA高可用 MGR MMM
三、主从复制实验
3.1 实验环境
环境部署 cetos7.6虚拟机服务环境 Master服务器:192.168.147.100 mysql5.7 slave1服务器:192.168.147.101 mysql5.7 slave2服务器:192.168.147.102 mysql5.7
3.2 主从服务器时间同步
3.2.1 master服务器配置
① 安装ntp、修改配置文件
yum -y install ntp
vim /etc/ntp.conf末尾添加
server 127.127.147.0 #设置本机为时间同步源
fudge 127.127.147.0 stratum 10
#设置本机的时间层级为10级0级表示时间层级为0级是向其他服务器提供时间同步源的意思不要设置为0级② 开启NTP服务
[rootmaster ~]# systemctl start ntpd3.2.2 两台SLAVE服务器配置
① 安装ntp、ntpdate服务
yum install ntp ntpdate -y② 开启ntp服务
systemctl start ntpd③ 时间同步master服务器
ntpdate 192.168.147.100④ 两台slave服务器配置相同
#master服务器同步阿里云时钟服务器
ntpdate ntp.aliyun.com
ntpdate 192.168.147.100
crontable -e
*/10 * * * * /usr/sbin/ntpdate 192.168.147.1003.3 配置主从同步
3.3.1 master服务器修改配置文件192.168.147.100
[rootmaster ~]# vim /etc/my.cnf
#在mysqld模块下修改一下内容
#开启二进制日志文件之后生成的日志名为master-bin
log_binmaster-bin
#开启从服务器日志同步
log_slave-updatestrue
#主服务器id为1不可重复
server_id 1
--------》wq重启服务
[rootmaster ~]# systemct restart mysqld配置规则
mysql -uroot -pabc123GRANT REPLICATION SLAVE ON *.* TO myslave192.168.147.% IDENTIFIED BY abc123;#刷新权限表
flush privileges;规则解析GRANT REPLICATION SLAVE ON *.* TO ‘myslave’‘192.168.147.%’ IDENTIFIED BY ‘abc123’;
给从服务器提权允许使用slave的身份复制master的所有数据库的所有表并指定密码为123456查看master数据库状态
show master status;#以上可见产生了master-bin.000001日志文件定位为604
#从服务器需要定位到此处进行复制3.3.2 slave服务器配置
[rootslave1 ~]# vim /etc/my.cnf
#开启二进制日志文件
log-binmaster-bin
#设置server id为2slave2的server id为3
server_id 2
#从主服务器上同步日志文件记录到本地
relay-logrelay-log-bin
#定义relay-log的位置和名称index索引
relay-log-indexslave-relay-bin.index
--------》wq开启从服务器功能
[rootslave1 ~]# mysql -uroot -pabc123
...............
change master to master_host192.168.147.100,master_usermyslave,master_passwordabc123,master_log_filemaster-bin.000001,master_log_pos604;start slave;查看从服务器状态
show slave status\G;
##确保 IO 和 SQL 线程都是 Yes代表同步正常。
Slave_IO_Running: Yes #负责与主机的IO通信
Slave_SQL_Running: Yes #负责自己的slave mysql进程Slave2 服务器也是同样配置注意配置文件中 server-id 要和前面两台不同我这里设置为 server-id 3。补充
一般 “Slave_IO_Running: No” 的可能原因
网络不通my.cnf配置有问题server-id重复密码、file文件名、pos偏移量不对防火墙没有关闭
3.4 测试数据同步
在主服务器上创建一个数据库
create database work;在两台从服务器上直接查看数据库列表
show databases;四、MySQL读写分离
4.1、什么是读写分离
读写分离基本的原理是让主数据库处理事务性增、改、删操作INSERT、UPDATE、DELETE而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
4.2、为什么要读写分离呢
因为数据库的“写”写10000条数据可能要3分钟操作是比较耗时的。 但是数据库的“读”读10000条数据可能只要5秒钟。 所以读写分离解决的是数据库的写入影响了查询的效率。
4.3、什么时候要读写分离
数据库不一定要读写分离如果程序使用数据库较多时而更新少查询多的情况下会考虑使用。利用数据库主从同步再通过读写分离可以分担数据库压力提高性能。
4.4、主从复制与读写分离
在实际的生产环境中对数据库的读和写都在同一个数据库服务器中是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此通过主从复制的方式来同步数据再通过读写分离来提升数据库的并发负载能力。有点类似于rsync但是不同的是rsync是对磁盘文件做备份而mysql主从复制是对数据库中的数据、语句做备份。
4.5、MySQL 读写分离原理
读写分离就是只在主服务器上写只在从服务器上读。基本的原理是让主数据库处理事务性操作而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。
4.6、企业 使用MySQL 读写分离场景
目前较为常见的 MySQL 读写分离分为以下两种
1基于程序代码内部实现
在代码中根据 select、insert 进行路由分类这类方法也是目前生产环境应用最广泛的。 优点是性能较好因为在程序代码中实现不需要增加额外的设备为硬件开支缺点是需要开发人员来实现运维人员无从下手。 但是并不是所有的应用都适合在程序代码中实现读写分离像一些大型复杂的Java应用如果在程序代码中实现读写分离对代码改动就较大。
2基于中间代理层实现
代理一般位于客户端和服务器之间代理服务器接到客户端请求后通过判断后转发到后端数据库有以下代表性程序。 1MySQL-Proxy。MySQL-Proxy 为 MySQL 开源项目通过其自带的 lua 脚本进行SQL 判断。 2Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上对其进行了优化增加了一些新的功能特性。360内部使用Atlas运行的mysql业务每天承载的读写请求数达几十亿条。支持事物以及存储过程。 3Amoeba。由陈思儒开发作者曾就职于阿里巴巴。该程序由Java语言进行开发阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
由于使用MySQL Proxy 需要写大量的Lua脚本这些Lua并不是现成的而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。 Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。
五、读写分离实验
实验环境
环境部署 cetos7.6虚拟机服务环境 Master服务器:192.168.147.100 slave1服务器:192.168.147.101 Slave2服务器:192.168.147.102 Amoeba服务器:192.168.147.103 jdk1.6、Amoeba 客户端服务器:192.168.147.104 mysql 测试
5.1 Amoeba服务器配置
##安装 Java 环境##
因为 Amoeba 基于是 jdk1.5 开发的所以官方推荐使用 jdk1.5 或 1.6 版本高版本不建议使用。
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/
chmod x jdk-6u14-linux-x64
./jdk-6u14-linux-x64.bin
//按yes按entermv jdk1.6.0_14/ /usr/local/jdk1.6vim /etc/profile
export JAVA_HOME/usr/local/jdk1.6
export CLASSPATH$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME/usr/local/amoeba
export PATH$PATH:$AMOEBA_HOME/binsource /etc/profile
java -version##安装 Amoeba软件##
mkdir /usr/local/amoeba
tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba start|stop说明安装成功##配置 Amoeba读写分离两个 Slave 读负载均衡##
#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问
grant all on *.* to test192.168.147.% identified by abc123;#再回到amoeba服务器配置amoeba服务
cd /usr/local/amoeba/conf/cp amoeba.xml amoeba.xml.bak
vim amoeba.xml #修改amoeba配置文件
--30行--
property nameuseramoeba/property
--32行--
property namepasswordabc123/property
--115行--
property namedefaultPoolmaster/property
--117-去掉注释-
property namewritePoolmaster/property
property namereadPoolslaves/propertycp dbServers.xml dbServers.xml.bak
vim dbServers.xml #修改数据库配置文件
--23行--注释掉 作用默认进入test库 以防mysql中没有test库时会报错
!-- property nameschematest/property --
--26--修改
property nameusertest/property
--28-30--去掉注释
property namepasswordabc123/property
--45--修改设置主服务器的名Master
dbServer namemaster parentabstractServer
--48--修改设置主服务器的地址
property nameipAddress192.168.147.100/property
--52--修改设置从服务器的名slave1
dbServer nameslave1 parentabstractServer
--55--修改设置从服务器1的地址
property nameipAddress192.168.147.101/property
--58--复制上面6行粘贴设置从服务器2的名slave2和地址
dbServer nameslave2 parentabstractServer
property nameipAddress192.168.147.102/property
--65行--修改
dbServer nameslaves virtualtrue
--71行--修改
property namepoolNamesslave1,slave2/property/usr/local/amoeba/bin/amoeba start #启动Amoeba软件按ctrlc 返回
netstat -anpt | grep java #查看8066端口是否开启默认端口为TCP 80665.2 测试读写分离 192.168.147.104
#先安装数据库
yum install -y mariadb-server mariadb
systemctl start mariadb.service
在客户端服务器上测试
mysql -u amoeba -pabc123 -h 192.168.147.103 -P8066
//通过amoeba服务器代理访问mysql 在通过客户端连接mysql后写入的数据只有主服务会记录然后同步给从--从服务器在主服务器上
use db_test;
create table test (id int(10),name varchar(10),address varchar(20));在两台从服务器上
stop slave; #关闭同步
use db_test;
//在slave1上
insert into test values(1,zhangsan,this_is_slave1);//在slave2上
insert into test values(2,lisi,this_is_slave2);//在主服务器上
insert into test values(3,wangwu,this_is_master);//在客户端服务器上
use db_test;
select * from test; //客户端会分别向slave1和slave2读取数据显示的只有在两个从服务器上添加的数据没有在主服务器上添加的数据insert into test values(4,qianqi,this_is_client); //只有主服务器上有此数据//在两个从服务器上执行 start slave; 即可实现同步在主服务器上添加的数据
start slave;
