keepalived+nginx,实现nginx高可用,注意事项:1、VIP不需要在服务器网络配置文件中配置。2、nginx主不可用时,需要kill掉nginx主的keepalived服务,这样才可以实现VIP切换,因为主的keepalived优先级高。3、故障切换时发送邮件通知由nginx备的keepalived服务来实现。

其中nginx主上keepalived.conf配置为:

/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
#标识本节点的名称
   router_id master
}

vrrp_script chk_nginx {  
    script "/etc/keepalived/nginx_check.sh"
    #每2秒检测一次nginx的运行状态
    interval 2
    #失败一次,将自己的优先级调整为-20
    weight    -20
} 

vrrp_instance VI_1 {
    #状态,主节点为MASTER
    state MASTER
    #绑定VIP的网络接口
    interface ens33
    #虚拟路由的ID号,两个节点设置必须一样
    virtual_router_id 51
    #节点优先级,值范围0~254,MASTER>BACKUP
    priority 100
    #组播信息发送时间间隔,两个节点必须设置一样,默认为1秒
    advert_int 1
    #设置验证信息,两个节点必须一致
    authentication {
            auth_type PASS
            auth_pass 1111
        }

    #虚拟IP,两个节点设置必须一致,可以设置多个
    virtual_ipaddress {
            192.168.1.106
        }
        #nginx存活状态检测脚本
    track_script {
        chk_nginx
    }
}

其中调用的/etc/keepalived/nginx_check.sh脚本内容为:

#!/bin/bash  
A=`ps -C nginx -no-header |wc -l`
if [ $A -eq 1 ];then
        pkill keepalived
fi

nginx备上keepalived.conf配置为:

! Configuration File for keepalived

global_defs {
        #标识本节点的名称
        router_id backup
}

vrrp_instance VI_1 {
        #状态,备节点为BACKUP
        state BACKUP
        #绑定VIP的网络接口
        interface ens33
        #虚拟路由的ID号,两个节点设置必须一样
        virtual_router_id 51
        #节点优先级,值范围0~254,MASTER>BACKUP
        priority 99
        #组播信息发送时间间隔,两个节点必须设置一样,默认为1秒
        advert_int 1
        #设置验证信息,两个节点必须一致
        authentication {
                auth_type PASS
                auth_pass 1111
        }

        #节点变为master时执行
        notify_master "/usr/bin/python /root/send_mail_ssl.py backup 192.168.1.232 192.168.1.235"

        #虚拟IP,两个节点设置必须一致,可以设置多个
        virtual_ipaddress {
                192.168.1.106
        }

}

里边调用的send_mail.sh脚本为使用Perl编写的,需要安装环境:

yum -y install perl-CPAN
cpan Net::SMTP_auth

send_mail.sh脚本内容为:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
 
import smtplib, sys, time, subprocess
from email.mime.text import MIMEText
from email.utils import formataddr
 
my_sender='xxx@qqvbc.com'    # 发件人邮箱账号
my_pass = 'xxx@'              # 发件人邮箱密码
my_user='xxx@qq.com'      # 收件人邮箱账号,我这边发送给自己

def print_help():
    note = '''python script.py role ip vip
    '''
    print(note)
    exit(1)

time_stamp = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

p = subprocess.Popen('hostname', shell=True, stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
hostname = p.stdout.readline().split('\n')[0]

if len(sys.argv) != 4:
    print_help()
elif sys.argv[1] == 'master':
    message_content = '%s server: %s(%s) change to Master, vIP: %s' %(time_stamp, sys.argv[2], hostname, sys.argv[3])
    subject = '%s change to Master -- keepalived notify' %(sys.argv[2])
elif sys.argv[1] == 'backup':
    message_content = '%s server: %s(%s) change to Backup, vIP: %s' %(time_stamp, sys.argv[2], hostname, sys.argv[3])
    subject = '%s change to Backup -- keepalived notify' %(sys.argv[2])
else:
    print_help()

def mail():
    ret=True
    try:
        msg=MIMEText(message_content,'plain','utf-8')
        msg['From']=formataddr(["Server Auto Notify",my_sender])  # 括号里的对应发件人邮箱昵称、发件人邮箱账号
        msg['To']=formataddr(["SA",my_user])              # 括号里的对应收件人邮箱昵称、收件人邮箱账号
        msg['Subject']="服务器状态切换通知"                # 邮件的主题,也可以说是标题
 
        server=smtplib.SMTP_SSL("smtp.exmail.qq.com", 465)  # 发件人邮箱中的SMTP服务器,端口是25
        server.login(my_sender, my_pass)  # 括号中对应的是发件人邮箱账号、邮箱密码
        server.sendmail(my_sender,[my_user,],msg.as_string())  # 括号中对应的是发件人邮箱账号、收件人邮箱账号、发送邮件
        server.quit()  # 关闭连接
    except Exception:  # 如果 try 中的语句没有执行,则会执行下面的 ret=False
        ret=False
    return ret
 
ret=mail()
if ret:
    #print("邮件发送成功")
    sys.exit(0)
else:
    #print("邮件发送失败")
    sys.exit(1)

转自:https://www.xp.cn/b.php/16569.html

key_buffer_size - 这对MyISAM表来说非常重要。如果只是使用MyISAM表,可以把它设置为可用内存的 30-40%。合理的值取决于索引大小、数据量以及负载 -- 记住,MyISAM表会使用操作系统的缓存来缓存数据,因此需要留出部分内存给它们,很多情况下数据比索引大多了。尽管如此,需要总是检查是否所有的 key_buffer 都被利用了 -- .MYI 文件只有 1GB,而 key_buffer 却设置为 4GB 的情况是非常少的。这么做太浪费了。如果你很少使用MyISAM表,那么也保留低于 16-32MB 的 key_buffer_size 以适应给予磁盘的临时表索引所需。

innodb_buffer_pool_size - 这对Innodb表来说非常重要。Innodb相比MyISAM表对缓冲更为敏感。MyISAM可以在默认的 key_buffer_size 设置下运行的可以,然而Innodb在默认的 innodb_buffer_pool_size 设置下却跟蜗牛似的。由于Innodb把数据和索引都缓存起来,无需留给操作系统太多的内存,因此如果只需要用Innodb的话则可以设置它高达 70-80% 的可用内存。一些应用于 key_buffer 的规则有 -- 如果你的数据量不大,并且不会暴增,那么无需把 innodb_buffer_pool_size 设置的太大了。

innodb_additional_pool_size - 这个选项对性能影响并不太多,至少在有差不多足够内存可分配的操作系统上是这样。不过如果你仍然想设置为 20MB(或者更大),因此就需要看一下Innodb其他需要分配的内存有多少。

innodb_log_file_size 在高写入负载尤其是大数据集的情况下很重要。这个值越大则性能相对越高,但是要注意到可能会增加恢复时间。我经常设置为 64-512MB,跟据服务器大小而异。

innodb_log_buffer_size 默认的设置在中等强度写入负载以及较短事务的情况下,服务器性能还可以。如果存在更新操作峰值或者负载较大,就应该考虑加大它的值了。如果它的值设置太高了,可能会浪费内存 -- 它每秒都会刷新一次,因此无需设置超过1秒所需的内存空间。通常 8-16MB 就足够了。越小的系统它的值越小。

innodb_flush_logs_at_trx_commit 是否为Innodb比MyISAM慢1000倍而头大?看来也许你忘了修改这个参数了。默认值是 1,这意味着每次提交的更新事务(或者每个事务之外的语句)都会刷新到磁盘中,而这相当耗费资源,尤其是没有电池备用缓存时。很多应用程序,尤其是从 MyISAM转变过来的那些,把它的值设置为 2 就可以了,也就是不把日志刷新到磁盘上,而只刷新到操作系统的缓存上。日志仍然会每秒刷新到磁盘中去,因此通常不会丢失每秒1-2次更新的消耗。如果设置为 0 就快很多了,不过也相对不安全了 -- MySQL服务器崩溃时就会丢失一些事务。设置为 2 指挥丢失刷新到操作系统缓存的那部分事务。

table_cache -- 打开一个表的开销可能很大。例如MyISAM把MYI文件头标志该表正在使用中。你肯定不希望这种操作太频繁,所以通常要加大缓存数量,使得足以最大限度地缓存打开的表。它需要用到操作系统的资源以及内存,对当前的硬件配置来说当然不是什么问题了。如果你有200多个表的话,那么设置为 1024 也许比较合适(每个线程都需要打开表),如果连接数比较大那么就加大它的值。我曾经见过设置为 100,000 的情况。

thread_cache -- 线程的创建和销毁的开销可能很大,因为每个线程的连接/断开都需要。我通常至少设置为 16。如果应用程序中有大量的跳跃并发连接并且 Threads_Created 的值也比较大,那么我就会加大它的值。它的目的是在通常的操作中无需创建新线程。

query_cache -- 如果你的应用程序有大量读,而且没有应用程序级别的缓存,那么这很有用。不要把它设置太大了,因为想要维护它也需要不少开销,这会导致MySQL变慢。通常设置为 32-512Mb。设置完之后最好是跟踪一段时间,查看是否运行良好。在一定的负载压力下,如果缓存命中率太低了,就启用它。

注意:就像你看到的上面这些全局表量,它们都是依据硬件配置以及不同的存储引擎而不同,但是会话变量通常是根据不同的负载来设定的。如果你只有一些简单的查询,那么就无需增加 sort_buffer_size 的值了,尽管你有 64GB 的内存。搞不好也许会降低性能。
我通常在分析系统负载后才来设置会话变量。

P.S,MySQL的发行版已经包含了各种 my.cnf 范例文件了,可以作为配置模板使用。通常这比你使用默认设置好的多了。

在项目操作过程发现了一个时区的问题,问题现象为sql打印的时间和数据库里面存储的时间不一样。后来发现问题原因为mysql的时区为CST。网上搜索了下CST时区,才发现这个时区已经被诟病已久。它居然能够表示四种时区,分别为:

1.美国中部时间 Central Standard Time (USA) UTC-06:00

2.澳大利亚中部时间 Central Standard Time (Australia) UTC+09:30

3.中国标准时 China Standard Time UTC+08:00

4.古巴标准时 Cuba Standard Time UTC-04:00

 

由于CST存在歧义,所以导致java通过jdbc去获取时区的时候,就会出现问题,通常会把CST解析为GTM+3时区。

 

这个时候,通常有两个解决办法:

1.修改mysql的设置,把mysql的时区设置为UTC或+8:00

修改mysql的时区也有两种方式

1)通过客户端连接mysql,通过命令设置时区

可以先查看当前时区:show variables like '%time_zone%';

确认时区为CST后再进行修改:set time_zone='+8:00';

2)修改my.cnf文件,再mysqld设置项下添加default-zone-time='+8:00'

 

2.修改jdbc连接设置,直接把连接的时区固定死,绕开mysql本身的时区。

就是在jdbc连接配置上添加以下两个配置即可:

useTimezone=true&serverTimezone=GMT%2B8

分别为启用时区设置和设置连接服务的时区。

此时,jdbc操作都会使用自定义时区去进行时间处理。

需要注意的是5.7版本之前不能多源复制,一个从库不能从多个库进行复制,需要使用 log-slave-updates=1 参数,slave执行master的sql后,将sql记录在binlog日志中,这样从库就可以同步slave过来的数据

原理:
master 01 <==> master 02 :01 02两个主库相互复制
slave 01 <== master 01 :如果master 01不配置 log-slave-updates=1 ,那么master 02的更新数据,slave 库将得不到同步更新
slave 02 <== master 01

master 01 配置:

log_bin=master-bin
log-bin-index=master-bin.index

server_id = 1
sync_binlog=1
binlog_format=mixed
binlog-do-db=testdb
binlog-ignore-db=mysql
binlog-ignore-db=performance_schema
binlog-ignore-db=information_schema

replicate-do-db=testdb
auto-increment-increment = 2
auto-increment-offset = 1

relay-log=slave-relay-bin
relay-log-index=slave-relay-bin.index

log_bin_trust_function_creators=1
expire_logs_days = 10
max_binlog_size = 100M

max_connections=600
wait_timeout=5

log-slave-updates=1

master 02 配置:

log_bin=master-bin
log-bin-index=master-bin.index

server_id = 2
sync_binlog=1
binlog_format=mixed
binlog-do-db=testdb
binlog-ignore-db=mysql
binlog-ignore-db=performance_schema
binlog-ignore-db=information_schema

replicate-do-db=testdb
auto-increment-increment = 2
auto-increment-offset = 2

relay-log=slave-relay-bin
relay-log-index=slave-relay-bin.index

log_bin_trust_function_creators=1
expire_logs_days = 10
max_binlog_size = 100M

max_connections=600
wait_timeout=5

log-slave-updates=1

slave 01, 02 配置(注意server_id需要设置为唯一):

server_id = 3

relay-log=slave-relay-bin
relay-log-index=slave-relay-bin.index

expire_logs_days = 10
max_binlog_size = 100M

max_connections=600
wait_timeout=5

master 01, master 02 分别创建用于 复制的账号

grant replication slave on *.* to 'slave'@'%' identified by '123456';
flush privileges;

master 01, master 02 分别设置master到对方服务器

change master to master_host='192.168.1.231',master_user='slave',master_password='123456',master_log_file='mysql-bin.000004',master_log_pos=401;
start slave;
show slave status\G

slave 01, 02 都设置master到master 01

change master to master_host='192.168.1.231',master_user='slave',master_password='123456',master_log_file='mysql-bin.000004',master_log_pos=401;
start slave;
show slave status\G

参数注解:
server-id #指定master主机的id,不可为0,否则拒绝所有slave连接。在master中,您必须配置一个独特的服务器ID(可能需要重新启动服务器)和启用二进制日志,slave的复制基于master的二进制日志。如果没有使用log-bin选项启用二进制日志,复制是不可能的。每个slave与master必须配置一个独特的ID。这个ID用于识别主从服务器,而且必须是一个正整数1和(232)−1之间。

log-bin #指定bin-log文件前缀名称,开启binlog日志

binlog_do_db #指定binlog日志是记录的是哪个库

replicate-do-db #指定复制哪一个库

auto-increment-increment //每次增长2

auto-increment-offset //设置自动增长的字段的偏移量,即初始值为1
log_bin_trust_function_creators 当二进制日志启用后,这个变量就会启用。它控制是否可以信任存储函数创建者,不会创建写入二进制日志引起不安全事件的存储函数。如果设置为0(默认值),用户不得创建或修改存储函数,除非它们具有除CREATE ROUTINE或ALTER ROUTINE特权之外的SUPER权限。如果变量设置为1,MySQL不会对创建存储函数实施这些限制。 此变量也适用于触发器的创建。

expire_logs_days #保留10天的bin_log日志,防止日志太多占用磁盘空间

max_binlog_size #限制每个bin_log日志大小最大为100M。

log-slave-updates #slave执行master的sql后,将sql记录在binlog日志中

max_connections #指定最大连接数

wait_timeout #等待超时

使用 logstash 接入 ES 集群

下载(一定要选择和elasticsearch服务版本一致的版本):
https://www.elastic.co/cn/downloads/past-releases#logstash

下载 rpm 包

安装:

yum localinstall -y +包文件名称

6.6版本的文档,主要查看怎么配置和怎么运行
设置并运行Logstash
https://www.elastic.co/guide/en/logstash/6.6/setup-logstash.html
怎么使用jdbc插件导入数据库数据
https://www.elastic.co/guide/en/logstash/6.6/plugins-inputs-jdbc.html

使用JDBC导入mysql数据的话,需要先装好java,再去mysql官网下载jar包
https://dev.mysql.com/downloads/connector/j/

这里下载rpm包,使用yum localinstall -y 安装后,会在/usr/share/java目录产生mysql的连接器jar包

配置文件实例:/etc/logstash/conf.d/xxx.conf

input {
  stdin {}
  jdbc {
    jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxxxtablename?serverTimezone=UTC"
    jdbc_user => "xxxusername"
    jdbc_password => "xxxxxpassword"
    jdbc_driver_library => "/usr/share/java/mysql-connector-java-8.0.15.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "2000"
    # 增量更新
    use_column_value => "true"
    record_last_run => "true"
    tracking_column => "id"
    last_run_metadata_path => '/etc/logstash/conf.d/xxxx.log'

    # our query
    statement => "SELECT id,title,content FROM articles where id > :sql_last_value and status=1 ORDER BY id ASC"
    schedule => "* * * * * "
    }
}
output {
  stdout { codec => json_lines }
  elasticsearch {
  "hosts" => "127.0.0.1:9200"
  "index" => "indexname"
  "document_type" => "article"
  "document_id" => "%{id}"
  }
}