2020年3月

在项目操作过程发现了一个时区的问题,问题现象为sql打印的时间和数据库里面存储的时间不一样。后来发现问题原因为mysql的时区为CST。网上搜索了下CST时区,才发现这个时区已经被诟病已久。它居然能够表示四种时区,分别为:

1.美国中部时间 Central Standard Time (USA) UTC-06:00

2.澳大利亚中部时间 Central Standard Time (Australia) UTC+09:30

3.中国标准时 China Standard Time UTC+08:00

4.古巴标准时 Cuba Standard Time UTC-04:00

 

由于CST存在歧义,所以导致java通过jdbc去获取时区的时候,就会出现问题,通常会把CST解析为GTM+3时区。

 

这个时候,通常有两个解决办法:

1.修改mysql的设置,把mysql的时区设置为UTC或+8:00

修改mysql的时区也有两种方式

1)通过客户端连接mysql,通过命令设置时区

可以先查看当前时区:show variables like '%time_zone%';

确认时区为CST后再进行修改:set time_zone='+8:00';

2)修改my.cnf文件,再mysqld设置项下添加default-zone-time='+8:00'

 

2.修改jdbc连接设置,直接把连接的时区固定死,绕开mysql本身的时区。

就是在jdbc连接配置上添加以下两个配置即可:

useTimezone=true&serverTimezone=GMT%2B8

分别为启用时区设置和设置连接服务的时区。

此时,jdbc操作都会使用自定义时区去进行时间处理。

DB1: 192.168.10.13:3358 
DB2: 192.168.10.14:3358
VIP: 192.168.10.100:3358
注意: /etc/my.cnf中,bind_address注销掉,或者改为0.0.0.0

mysql已安装完毕,并配置了主-主关系)

DB1,DB2都要安装 ipvsadm, keepalived

服务器安装的是mysql,yum安装Keepalived时,遇到需要的依赖是mariadb库并与mysql的文件冲突,所以采用手工源码安装keepalived:

yum -y install gcc openssl-devel
wget https://www.keepalived.org/software/keepalived-2.0.20.tar.gz
tar zxvf keepalived-2.0.20.tar.gz
cd keepalived-2.0.20
./configure --prefix=/usr/local/keepalived

安装ipvsadm:
yum -y ipvsadm

需要注意的是5.7版本之前不能多源复制,一个从库不能从多个库进行复制,需要使用 log-slave-updates=1 参数,slave执行master的sql后,将sql记录在binlog日志中,这样从库就可以同步slave过来的数据

原理:
master 01 <==> master 02 :01 02两个主库相互复制
slave 01 <== master 01 :如果master 01不配置 log-slave-updates=1 ,那么master 02的更新数据,slave 库将得不到同步更新
slave 02 <== master 01

master 01 配置:

log_bin=master-bin
log-bin-index=master-bin.index

server_id = 1
sync_binlog=1
binlog_format=mixed
binlog-do-db=testdb
binlog-ignore-db=mysql
binlog-ignore-db=performance_schema
binlog-ignore-db=information_schema

replicate-do-db=testdb
auto-increment-increment = 2
auto-increment-offset = 1

relay-log=slave-relay-bin
relay-log-index=slave-relay-bin.index

log_bin_trust_function_creators=1
expire_logs_days = 10
max_binlog_size = 100M

max_connections=600
wait_timeout=5

log-slave-updates=1

master 02 配置:

log_bin=master-bin
log-bin-index=master-bin.index

server_id = 2
sync_binlog=1
binlog_format=mixed
binlog-do-db=testdb
binlog-ignore-db=mysql
binlog-ignore-db=performance_schema
binlog-ignore-db=information_schema

replicate-do-db=testdb
auto-increment-increment = 2
auto-increment-offset = 2

relay-log=slave-relay-bin
relay-log-index=slave-relay-bin.index

log_bin_trust_function_creators=1
expire_logs_days = 10
max_binlog_size = 100M

max_connections=600
wait_timeout=5

log-slave-updates=1

slave 01, 02 配置(注意server_id需要设置为唯一):

server_id = 3

relay-log=slave-relay-bin
relay-log-index=slave-relay-bin.index

expire_logs_days = 10
max_binlog_size = 100M

max_connections=600
wait_timeout=5

master 01, master 02 分别创建用于 复制的账号

grant replication slave on *.* to 'slave'@'%' identified by '123456';
flush privileges;

master 01, master 02 分别设置master到对方服务器

change master to master_host='192.168.1.231',master_user='slave',master_password='123456',master_log_file='mysql-bin.000004',master_log_pos=401;
start slave;
show slave status\G

slave 01, 02 都设置master到master 01

change master to master_host='192.168.1.231',master_user='slave',master_password='123456',master_log_file='mysql-bin.000004',master_log_pos=401;
start slave;
show slave status\G

参数注解:
server-id #指定master主机的id,不可为0,否则拒绝所有slave连接。在master中,您必须配置一个独特的服务器ID(可能需要重新启动服务器)和启用二进制日志,slave的复制基于master的二进制日志。如果没有使用log-bin选项启用二进制日志,复制是不可能的。每个slave与master必须配置一个独特的ID。这个ID用于识别主从服务器,而且必须是一个正整数1和(232)−1之间。

log-bin #指定bin-log文件前缀名称,开启binlog日志

binlog_do_db #指定binlog日志是记录的是哪个库

replicate-do-db #指定复制哪一个库

auto-increment-increment //每次增长2

auto-increment-offset //设置自动增长的字段的偏移量,即初始值为1
log_bin_trust_function_creators 当二进制日志启用后,这个变量就会启用。它控制是否可以信任存储函数创建者,不会创建写入二进制日志引起不安全事件的存储函数。如果设置为0(默认值),用户不得创建或修改存储函数,除非它们具有除CREATE ROUTINE或ALTER ROUTINE特权之外的SUPER权限。如果变量设置为1,MySQL不会对创建存储函数实施这些限制。 此变量也适用于触发器的创建。

expire_logs_days #保留10天的bin_log日志,防止日志太多占用磁盘空间

max_binlog_size #限制每个bin_log日志大小最大为100M。

log-slave-updates #slave执行master的sql后,将sql记录在binlog日志中

max_connections #指定最大连接数

wait_timeout #等待超时

使用 logstash 接入 ES 集群

下载(一定要选择和elasticsearch服务版本一致的版本):
https://www.elastic.co/cn/downloads/past-releases#logstash

下载 rpm

安装:

yum localinstall -y +包文件名称

6.6版本的文档,主要查看怎么配置和怎么运行
设置并运行Logstash
https://www.elastic.co/guide/en/logstash/6.6/setup-logstash.html
怎么使用jdbc插件导入数据库数据
https://www.elastic.co/guide/en/logstash/6.6/plugins-inputs-jdbc.html

使用JDBC导入mysql数据的话,需要先装好java,再去mysql官网下载jar包
https://dev.mysql.com/downloads/connector/j/

这里下载rpm包,使用yum localinstall -y 安装后,会在/usr/share/java目录产生mysql的连接器jar包

配置文件实例:/etc/logstash/conf.d/xxx.conf

input {
  stdin {}
  jdbc {
    jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxxxtablename?serverTimezone=UTC"
    jdbc_user => "xxxusername"
    jdbc_password => "xxxxxpassword"
    jdbc_driver_library => "/usr/share/java/mysql-connector-java-8.0.15.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "2000"
    # 增量更新
    use_column_value => "true"
    record_last_run => "true"
    tracking_column => "id"
    last_run_metadata_path => '/etc/logstash/conf.d/xxxx.log'

    # our query
    statement => "SELECT id,title,content FROM articles where id > :sql_last_value and status=1 ORDER BY id ASC"
    schedule => "* * * * * "
    }
}
output {
  stdout { codec => json_lines }
  elasticsearch {
  "hosts" => "127.0.0.1:9200"
  "index" => "indexname"
  "document_type" => "article"
  "document_id" => "%{id}"
  }
}

用DOCKER搭建一主两从环境,操作日志

安装好docker
拉取官方的centos镜像
centos:centos7

创建一个容器centos1,将22,3306分别映射到主机2211,33061端口,容器的/data目录映射到主机的/data1目录,启动容器时,要加上--privileged -e "container=docker" ,并且最后面的命令改为/usr/sbin/init (不然容易出现 Failed to get D-Bus connection: Operation not permitted)

docker run ....... /usr/sbin/init --privileged -e "container=docker"

分别创建另外两台容器:
centos2:端口:22,3306 => 2212, 33062, /data /data2
centos3:端口:22,3306 => 2213, 33063, /data /data3

在主机分别登录三个容器:
docker exec -it centos1 /usr/bin/bash

yum install -y openssh-server
systemctl start sshd

为root用户设置一个登录密码
passwd root
123456

启动ssh服务,方便操作
然后就可以用终端工个连接上容器,主机ip:2211 root 123456

下载mysql-server 5.6 安装包 上传到容器~目录
https://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-server-5.6.47-1.el7.x86_64.rpm

客户端下载,这个可以用来测试服务器连接
https://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-client-5.6.47-1.el7.x86_64.rpm

使用yum安装本地包的方式mysql
yum localinstall -y Mysql*

安装好了可以启动服务,并修改root密码
systemctl start mysql

查看默认root密码
cat ~/.mysql_secret
初始化,修改root密码
mysql_secure_installation
Enter current password for root (enter for none):
Change the root password? [Y/n] Y //更改root密码?
Remove anonymous users? [Y/n] Y //删除匿名用户? [Y / n]是
Disallow root login remotely? [Y/n] n //禁止远程root登录? [是/否] n
Remove test database and access to it? [Y/n] Y //删除测试数据库并访问它? [是/否]是
Reload privilege tables now? [Y/n] Y 现在重新加载特权表? [Y / n]是

连接MYSQL,授权远程主机访问
mysql -uroot -p123456
grant all privileges on . to 'root'@'%' identified by '123456';
flush privileges;

远程主机通过缩主机IP加33061端口连接到centos1中的mysql服务器;
缩主机也可以通过docker的虚拟网卡连接docker容器的mysql服务器:
ifconfig
可以看到docker0网卡IP地址:172.17.0.1
mysql -h 172.17.0.1 -P 33061 -uroot -p123456

docker容器也可以访问缩主机的docker0网卡,通过其他容器映射到主机的端口来访问其他容器:
比如容器1访问容器2的mysql:
mysql -uroot -p123456 -h 172.17.0.1 -P 33062

到此,mysql环境安装结束,现在来配置主从数据库:
主库centos1配置:

systemctl stop mysql
mv /var/lib/mysql /data
cp /usr/share/mysql/my-default.cnf /etc/my.cnf
vim /etc/my.cnf
#内容如下:
[mysqld]

log_bin=mysql-bin
log-bin-index=mysql-bin.index

datadir = /data/mysql
socket = /data/mysql/mysql.sock

server_id = 1
sync_binlog=1
binlog_format=mixed
binlog-do-db=testdb
binlog-ignore-db=mysql
binlog-ignore-db=performance_schema
binlog-ignore-db=information_schema 

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

配置完成后重启MySql服务。
systemctl start mysql
连上服务器授权复制账号:
mysql -h127.0.0.1 -uroot -p123456
GRANT REPLICATION SLAVE ON . TO 'slave'@'%' IDENTIFIED BY '123456';
flush privileges;
查看主库状态:
show master statusG

从库centos2配置:

[mysqld]

datadir = /data/mysql
socket = /data/mysql/mysql.sock

server_id = 2
log-bin=mysql-bin
relay-log-index=slave-relay-bin.index
relay-log=slave-relay-bin

sync_master_info=1
sync_relay_log=1
sync_relay_log_info=1

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

配置完成后重启MySql服务。
systemctl start mysql
连上数据库,启动主从复制:
mysql -h 127.0.0.1 -uroot -p123456
change master to master_host='172.17.0.1',master_user='slave',master_port=33061,master_password='123456',master_log_file='mysql-bin.000002',master_log_pos=398;

命令说明:
master_host:master 数据库服务器ip
master_user: master 数据库通过GRANT授权的账号
master_port:master 数据库使用的端口号
master_password:master 数据库通过GRANT授权的密码
master_log_file:master数据库中通过show master statusG显示的File名称
master_log_pos:master数据库中通过show master statusG显示的Position数据

启动Slave服务:
start slave;
查看服务状态:
show slave statusG

从库centos3配置和centos2配置一样,只是改一下: server_id = 3

配置完成:
然后从终端连接上主库:
建立测试数据库及表,数据库名称:testdb (在主数据库配置中有写数据库名) 增删改数据测试从库是否会同步数据:
CREATE DATABASE testdb CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
CREATE DATABASE testdb2 CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

CREATE TABLE table1 (
id int UNSIGNED NOT NULL AUTO_INCREMENT ,
name varchar(255) NULL DEFAULT '' ,
PRIMARY KEY (id)
);

实际应用时的注意事项:

另一个需要注意的是最好在从服务器的my.cnf里设置read_only选项,防止发生意外(连接用户不能有SUPER权限,否则无效)。

记得先手动同步一下主从服务器,数据量小的话可以用mysqldump,它有一个master-data参数很有用,通过使用此参数,导出的SQL文件里会自动包含CHANGE MASTER TO MASTER_LOG_FILE='...', MASTER_LOG_POS=...;,这样创建从服务器就更方便了。

如果数据量大的话不太适合使用mysqldump(慢),如果是myisam表的话,加上--lock-all-tables参数,如果是innodb表的话,加上--single-transaction参数。

而应该采用拷贝文件的方式,请按如下操作步骤:

先在主服务器上锁定所有的表,以免在复制过程中数据发生变化:

mysql> flush tables with read lock;

然后在主服务器上查询当前二进制文件的文件名及偏移位置:

mysql > show master status;

然后停止主服务器上的MySQL服务:

shell> mysqladmin -u root shutdown

注意:如果仅是MyISAM的话,可以不停止MySQL服务,但要在复制数据文件的过程中保持只读锁,如果是InnoDB的话,必须停止MySQL服务。

再拷贝数据文件:

shell> tar -cvf /tmp/mysql-snapshot.tar .

拷贝完别忘了启动主服务上的MySQL服务了。

然后把数据文件应用到从服务器上,再次启动slave的时候使用,记得启动时加上skip-slave-start选项,使之不会立刻去连接master,再在从服务器上设置相关的二进制日志信息:

mysql> CHANGE MASTER TO
-> MASTER_HOST='master_host_name',
-> MASTER_USER='replication_user_name',
-> MASTER_PASSWORD='replication_password',
-> MASTER_LOG_FILE='recorded_log_file_name',
-> MASTER_LOG_POS=recorded_log_position;

启动从服务器上的复制线程:

mysql> start slave;

验证主从设置是否已经成功,可以输入如下命令:

mysql> show slave statusG

会得到类似下面的列表:

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

如果这两个选项不全是Yes,那就说明你前面某个步骤配置错了。

应该保证从服务器上任何数据的修改都是通过从主服务器上复制操作获取的,换句话说,从服务器应该是只读的,如果不能保证这一点,则可能造成主从数据不一致。可以在从服务器的my.cnf里加入read-only参数来实现这一点,唯一需要注意的一点事read-only仅对没有super权限的用户有效。所以最好核对一下连接从服务器的用户,确保其没有super权限。

从理想角度看,主从数据库应该无故障的运转下去,可以有时候还是会出现一些莫名其妙的问题,比如说即便从未在从服务器上手动更新过数据,但还是可能遇到“Error: 1062 Duplicate entry”错误,具体原因不详,可能是MySQL本身的问题。遇到这类问题的时候,从服务器会停止复制操作,我们只能手动解决问题,具体的操作步骤如下:

mysql> set global sql_slave_skip_counter = 1;
mysql> start slave;

同样的操作可能需要进行多次,也可以设置自动处理此类操作,在从服务器的my.cnf里设置:

slave-skip-errors=1062

最后再唠叨一下日志的问题:时间长了,数据库服务器上的二进制文件会越来越多,清理是必要的,你可以设置自动清理,相关参数是expire_logs_days,也可以使用手动删除的方式,但这里说的手动不是指rm,而是指PURGE BINARY LOGS,删除任何日志前,最好在所有的从服务器上通过show slave status命令确认一下相关日志是否已经无用。

补充:[ERROR] Error in Log_event::read_log_event(): 'Event too big'

在使用主从复制的时候,出现的问题多半是和日志(主服务器的二进制日志,从服务器的延迟日志)相关的。比如说加入你遇到了上面的错误,你可以根据错误日志的信息在主从数据库服务器上分别执行:

mysqlbinlog 日志文件 > /dev/null

查看错误,如果没有错误,则不会有任何输出,反之会输出错误信息,如果确定了错误是出现在主服务器二进制日志上,可以跳过适当的位置,再在从服务器上重新设定LOG_POS,如果确定了错误是出现在从服务器延迟日志上,则可以删除从服务器的延迟日志(使用CHANGE TO MASTER的时候,除非设定了延迟日志信息,否则会自动删除延迟日志),并在从服务器上重新设定LOG_POS。期间也可以考虑手动执行不能自动执行的SQL日志。

补充:配置的时候如果版本允许最好打开sync_binlog选项。

补充:有时候,从服务器延迟日志可能已经损坏,这时需要执行CHANGE MASTER TO设置新的日志文件信息,但是在从服务器上SHOW SLAVE STATUS会显示很多日志信息,他们的含义有所不同:

Master_Log_File:Read_Master_Log_Pos 是IO相关的日志信息
Relay_Master_Log_File:Exec_Master_Log_Pos 是SQL相关的日志信息

从服务器需要设置的是SQL相关的日志信息:

slave stop;
change master to master_log_file=’(binlog name in relay_master_log_file)’, master_log_pos=(exec_master_log_pos number);
slave start;

1) When you are using the master as a consistent snapshot, use SHOW MASTER STATUS to determine the position.
2) When you are using a slave as a consistent snapshot, use SHOW SLAVE STATUS and Exec_Master_Log_Pos.

参考链接

补充:缺省情况下,从服务器会以主机名命名延迟日志,所以一旦你修改了从服务器的主机名就会造成问题,新版MySQL会提示你这个情况:

[Warning] Neither --relay-log nor --relay-log-index were used;
so replication may break when this MySQL server acts as a slave and has his hostname changed!!
Please use '--relay-log=name-relay-bin' to avoid this problem.