最近数据库服务器多事之秋，莫名的批量宕机事件一再发生，搞得压力超大。厂商来了之后也酥手无策。上周路过寺庙，平生第一次感叹道是否要去烧烧香，拜托拜托数据库之神能让我们团队早日度过这个劫难。

上周和William聊到MySQL的参数sql_slave_skip_counter，感叹很多人并没有真正了解这个参数的含义。面试时这是一个很好的问题，相信即使是淘宝P7的level，要准确答对这个问题也是需要平时的细心累积。

01

很多同学的误区在于会把参sql_slave_skip_counter=N理解成跳过N个事务。如果这样的回答，至少在我心中已经扣分不少，要拿高P几乎不可能。首先看看文档中的定义：

SET GLOBAL sql_slave_skip_counter = N

This statement skips the next N events from the master. This is useful for recovering from replication stops caused by a statement.

官方文档中明确指出N表示的是N个event。很多同学把这个参数的单位理解成事务的原因在于他把操作都理解成了由单条语句所组成的事务。这时N的含义两者等价。

然而，更常见的场景却是一个事务可能由多个EVENT组成，例如一个事务可以有多个SQL组成，例如：

BEGIN; INSERT ...；DELETE ...; INSERT; COMMIT；

若这时将N理解成事务，那么结果就会非常不同。当然，答对参数sql_slave_skip_counter的单位是事务，这个答案也仅只有60分。

02

如果细看文档的话，文档最后一段还说道：

When you use SET GLOBAL sql_slave_skip_counter to skip events and the results in the middle of a group, the slave continues to skip events until it reaches the end of the group. Execution then starts with the next event group.

这句非常关键，也就是说可能上面的答案是：以上全错。N可以不表示跳过N个事务，甚至可能是跳过>=N个事务的场景。假设开始时主、从的数据分别为：

Master

+----+ +----+

由于主从数据已然不一致，这时若在主上执行下面的SQL：

BEGIN;

INSERT INTO Z SELECT 4;

DELETE FROM Z WHERE a = 2;

INSERT INTO Z SELECT 5;

COMMIT;

从机显然会报错，提示1032错误，因为记录2这条记录并没有找到。这时的处理方法很多DBA会选择执行SET GLOBAL sql_slave_skip_counter=1。然而，这样的处理会导致INSERT 5这条记录不被执行。因为跳过DELETE 2这个操作后，事务没有结束，会继续跳过接下去的event，这就是文档中说的：the slave continues to skip events until it reaches the end of the group。感兴趣的同学可以自行测试看看最终的结果。

若只想跳过一个EVENT该怎么做呢？其实，只需将参slave_exec_mode设置为IDEMPOTENT即可。

03

出现主从复制出错，最安全的方法还是重建从机。另外，MySQL的复制早就是crash safe的复制机制了。若你的复制环境经常出错，应该好好检查下数据库的配置参数。

对于参数sql_skip_slave_counter来说，这只是一个不得已为之的方法。同时，当开启GTID模式时，也无法通过参数进行跳过出错的EVENT。

原文：https://mp.weixin.qq.com/s/rZZbLmN0Klq0o0bvnijizw

解决python pip 安装报语法错误sys.stderr.write(f“ERROR: {exc}“)

去 https://bootstrap.pypa.io/ 下载相应python版本的 get-pip.py 文件

wget https://bootstrap.pypa.io/2.7/get-pip.py
python get-pip.py

安装成功：Successfully installed pip-20.3.4 wheel-0.36.2

再运行我想要的bt系统，结果报错了

# bt start
Starting Bt-Panel... failed
------------------------------------------------------
Traceback (most recent call last):
  File "main.py", line 16, in <module>
    import sys,web,io,os
ImportError: No module named web
------------------------------------------------------
Error: BT-Panel service startup failed.

原因是web.py模块没有安装，用pip安装试试, 还是报错，不过这次是不一样的错误，原因是6.10的系统2.7的python需要安装指定版本的web.py

pip install web.py==0.51

结果成功，bt也成功运行起了

PS：测试环境 centos 6.10， python 2.7

安装脚本setuptools：

wget https://bootstrap.pypa.io/ez_setup.py -O - | python

https://www.cnblogs.com/mafly/p/redis_cluster.html

一. 透明代理（Transparent Proxies） 目标服务器能够检测到真实的源IP。
使用透明代理，对方服务器可以知道你使用了代理，并且也知道你的真实IP。透明代理访问对方服务器所带的HTTP头信息如下：

REMOTE_ADDR = 代理服务器IP
HTTP_VIA = 代理服务器IP
HTTP_X_FORWARDED_FOR = 你的真实IP              

透明代理还是将你的真实IP发送给了对方服务器，因此无法达到隐藏身份的目的。
二. （普通）匿名代理（Anonymous Proxies）目标服务器无法检测到真实的源IP，但能够检测到使用了代理。
匿名代理访问对方服务器所带的HTTP头信息如下：

REMOTE_ADDR = 代理服务器IP
HTTP_VIA = 代理服务器IP
HTTP_X_FORWARDED_FOR = 代理服务器IP              

匿名代理隐藏了你的真实IP，但是向访问对象透露了你是使用代理服务器访问他们的。

三. 高匿名代理（High Anonymity Proxies -Elite proxies） 目标服务器无法检测到你在是使用代理。
高匿名代理访问对方服务器所带的HTTP头信息如下：

REMOTE_ADDR = 代理服务器IP
HTTP_VIA 不显示
HTTP_X_FORWARDED_FOR 不显示              

高匿名代理隐藏了你的真实IP，同时访问对象也不知道你使用了代理，因此隐蔽度最高。

squid搭建高匿名代理服务: https://www.jianshu.com/p/96c8f1f7fd17

查看系统版本：

cat /etc/redhat-release
uname -a 

centos8安装zabbix-agent:

rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/8/x86_64/zabbix-release-5.0-1.el8.noarch.rpm
dnf install zabbix-agent
systemctl restart zabbix-agent
systemctl enable zabbix-agent

centos7安装zabbix-agent:

rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/7/x86_64/zabbix-release-5.0-1.el7.noarch.rpm
yum clean all
yum install -y zabbix-agent
systemctl restart zabbix-agent
systemctl enable zabbix-agent

centos6安装zabbix-agent:

rpm -Uvh https://repo.zabbix.com/zabbix/5.0/rhel/6/x86_64/zabbix-release-5.0-1.el6.noarch.rpm
yum clean all
yum install -y zabbix-agent
service zabbix-agent restart
chkconfig --level 35 zabbix-agent on

如果使用yum出现repomd.xml 404, 可以先备份一下yum的源配置文件，再恢复成centos官网yum源

cd /etc/yum.repos.d/
mv CentOS-Base.repo CentOS-Base.repo.`date +%Y%m%d%H%I%S`
curl https://www.getpagespeed.com/files/centos6-eol.repo --output /etc/yum.repos.d/CentOS-Base.repo
mv epel.repo epel.repo.`date +%Y%m%d%H%I%S`
curl https://www.getpagespeed.com/files/centos6-epel-eol.repo --output /etc/yum.repos.d/epel.repo
yum makecache

修改zabbix-agent配置文件：
vim /etc/zabbix/zabbix_agentd.conf

LogFileSize=50
Server=172.19.0.16
ListenIP=172.19.0.9 #客户端IP
ServerActive=172.19.0.16:10051
Hostname=sem

BT面板安全设置里面，开放端口：10050 zabbix-agent

BT服务器，需要将mysqladmin命令添加到全局

ln -s /www/server/mysql/bin/mysqladmin /usr/bin/

添加数据库监控账号及授权：

mysql -uroot -p

CREATE USER 'zabbix'@'localhost' IDENTIFIED BY '<password>';
GRANT USAGE,REPLICATION CLIENT,PROCESS,SHOW DATABASES,SHOW VIEW ON *.* TO 'zabbix'@'localhost';
flush privileges;

===mysql config:
mkdir /var/lib/zabbix
vim /var/lib/zabbix/.my.cnf

[client]
user=zabbix
password=saYdX5G2FJs2iEMZ
socket=/tmp/mysql.sock

修改数据库配置的访问权限（新版mysql要求，不然进不了数据库）：
chmod 644 /var/lib/zabbix/.my.cnf

===test数据库配置是否可用，能成功进入即可:
mysql --defaults-file=/var/lib/zabbix/.my.cnf

添加mysql模板（参考配置）到配置目录：
下载地址：
https://git.zabbix.com/projects/ZBX/repos/zabbix/browse/templates/db/mysql_agent/template_db_mysql.conf
放到这个路径:
vim /etc/zabbix/zabbix_agentd.d/template_db_mysql.conf
template_db_mysql.conf参考内容：

#template_db_mysql.conf created by Zabbix for "Template DB MySQL" and Zabbix 4.2
#For OS Linux: You need create .my.cnf in zabbix-agent home directory (/var/lib/zabbix by default) 
#For OS Windows: You need add PATH to mysql and mysqladmin and create my.cnf in %WINDIR%\my.cnf,C:\my.cnf,BASEDIR\my.cnf https://dev.mysql.com/doc/refman/5.7/en/option-files.html
#The file must have three strings:
#[client]
#user='zbx_monitor'
#password='<password>'
#
UserParameter=mysql.ping[*], mysqladmin -h"$1" -P"$2" ping
UserParameter=mysql.get_status_variables[*], mysql -h"$1" -P"$2" -sNX -e "show global status"
UserParameter=mysql.version[*], mysqladmin -s -h"$1" -P"$2" version
UserParameter=mysql.db.discovery[*], mysql -h"$1" -P"$2" -sN -e "show databases"
UserParameter=mysql.dbsize[*], mysql -h"$1" -P"$2" -sN -e "SELECT COALESCE(SUM(DATA_LENGTH + INDEX_LENGTH),0) FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA='$3'"
UserParameter=mysql.replication.discovery[*], mysql -h"$1" -P"$2" -sNX -e "show slave status"
UserParameter=mysql.slave_status[*], mysql -h"$1" -P"$2" -sNX -e "show slave status"

nginx php-fpm监控：
vhost/phpfpm_status.conf （修改 phpfpm_56_status、fastcgi_pass 127.0.0.1:9000）

server {

        listen 80;
        server_name 127.0.0.1;
        allow 127.0.0.1;
        location /nginx_status {
                stub_status on;
                access_log off;
        }

        location /phpfpm_56_status {
                fastcgi_pass unix:/tmp/php-cgi.sock;
                include fastcgi_params;
                fastcgi_param SCRIPT_FILENAME $fastcgi_script_name;
        }

}

php-fpm配置：

pm.status_path = /phpfpm_54_status