CentOS 6下安装部署Galera Cluster for MySQL集群

Galera Cluster for MySQL是一套基于同步复制的多主MySQL集群解决方案，使用简单，没有单点故障，可用性高，能很好保证业务不断增长时数据的安全和随时的扩展，主要特点：
同步复制
多主服务器的拓扑结构
可以在任意节点上进行读写
自动剔除故障节点
自动加入新节点
真正行级别的并发复制
客户端连接跟操作单台MySQL数据库的体验一致

Galera本质是一个wsrep提供者（provider），运行依赖于wsrep的API接口。Wsrep API定义了一系列应用回调和复制调用库，来实现事务数据库同步写集(writeset)复制以及相似应用。目的在于从应用细节上实现抽象的，隔离的复制。虽然这个接口的主要目标是基于认证的多主复制，但同样适用于异步和同步的主从复制。

使用前十项注意
1、使用Galera必须要给MySQL-Server打wsrep补丁。可以直接使用官方提供的已经打好补丁的MySQL安装包，如果服务器上已经安装了标准版MYSQL，需要先卸载再重新安装。卸载前注意备份数据。
2、MySQL/Galera集群只支持InnoDB存储引擎。如果你的数据表使用的MyISAM，需要转换为InnoDB，否则记录不会在多台复制。可以在备份老数据时，为mysqldump命令添加–skip-create-options参数，这样会去掉表结构的声明信息，再导入集群时自动使用InnoDB引擎。不过这样会将AUTO_INCREMENT一并去掉，已有AUTO_INCREMENT列的表，必须在导入后重新定义。
3、MySQL 5.5及以下的InnoDB引擎不支持全文索引（FULLTEXT indexes），如果之前使用MyISAM并建了全文索引字段的话，只能安装MySQL 5.6 with wsrep patch。
4、所有数据表必须要有主键（PRIMARY）,如果没有主键可以建一条AUTO_INCREMENT列。
5、MySQL/Galera集群不支持下面的查询：LOCK/UNLOCK TABLES，不支持下面的系统变量：character_set_server、utf16、utf32及ucs2。
6、数据库日志不支持保存到表，只能输出到文件（log_output = FILE），不能设置binlog-do-db、binlog-ignore-db。
7、跟其他集群一样，为了避免节点出现脑裂而破坏数据，建议Galera集群最低添加3个节点。
8、在高并发的情况下，多主同时写入时可能会发生事务冲突，此时只有一个事务请求会成功，其他的全部失败。可以在写入/更新失败时，自动重试一次，再返回结果。
9、节点中每个节点的地位是平等的，没有主次，向任何一个节点读写效果都是一样的。实际可以配合VIP/LVS或HA使用，实现高可用性。
10、如果集群中的机器全部重启，如机房断电，第一台启动的服务器必须以空地址启动：mysqld_safe –wsrep_cluster_address=gcomm:// >/dev/null &

典型的Galera集群场景

安装MySQL with wsrep patch
#先安装依赖库
yum -y install libaio gcc gcc-c++ boost-devel scons check-devel openssl-devel
ln -sf /usr/lib64/libssl.so.10 /usr/lib64/libssl.so.6
ln -sf /usr/lib64/libcrypto.so.10 /usr/lib64/libcrypto.so.6

#下载MySQL with wsrep源码包，目前最新版本是5.5.34-25.9
wget https://launchpad.net/codership-mysql/5.5/5.5.34-25.9/+download/mysql-5.5.34_wsrep_25.9-linux-x86_64.tar.gz
tar -zxvf mysql-5.5*
mv mysql-5.5.34_wsrep_25.9-linux-x86_64 /usr/local/mysql
cd /usr/local/mysql/
groupadd mysql
useradd -r -g mysql mysql
chown -R mysql:mysql .
./scripts/mysql_install_db --no-defaults --datadir=/opt/mysqldb/--user=mysql
chown -R root .
chown -R mysql /opt/mysqldb/
echo "export PATH=$PATH:/usr/local/mysql/bin">>/etc/profile
source /etc/profile
mysqld_safe --wsrep_cluster_address=gcomm:// >/dev/null &

安装Xtrabackup
yum -y install perl-DBD-MySQL perl-Time-HiRes nc
wget http://www.percona.com/redir/downloads/XtraBackup/LATEST/RPM/rhel6/x86_64/percona-xtrabackup-2.1.9-744.rhel6.x86_64.rpm
rpm -ivh percona-xtrabackup-2.1.9-744.rhel6.x86_64.rpm

安装Galera复制插件
cd ~
wget https://launchpad.net/galera/3.x/25.3.5/+download/galera-25.3.5-src.tar.gz
tar zxvf galera-*
cd galera-*
scons
cp garb/garbd /usr/local/mysql/bin/
cp libgalera_smm.so /usr/local/mysql/lib/plugin/

初始化配置
mkdir -p /var/lib/mysql
mkdir -p /etc/mysql/conf.d/
chown mysql:mysql /var/lib/mysql
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
/usr/local/mysql/bin/mysqld_safe --wsrep_cluster_address=gcomm:// >/dev/null &

#创建用于同步的帐号，注意替换掉示例值。
mysql -e "SET wsrep_on=OFF; GRANT ALL ON *.* TO tvmining@'%' IDENTIFIED BY 'linuxidc.com'";

#修改root帐号密码，注意替换掉示例值。
mysql -e "SET wsrep_on=OFF;GRANT ALL PRIVILEGES ON * . * TO 'root'@'localhost' IDENTIFIED BY 'linuxidc.com' WITH GRANT OPTION MAX_QUERIES_PER_HOUR 0 MAX_CONNECTIONS_PER_HOUR 0 MAX_UPDATES_PER_HOUR 0 MAX_USER_CONNECTIONS 0 ; "

#关闭MySQL
mysqladmin -uroot -p shutdown

配置节点
galera的配置都在my.cnf和其包含目录下，可以自己根据需要设置，也可以下载我配置好的cnf：
wget http://my.downsoft.cn/linux/mysql/galera/my.cnf -o /etc/my.cnf
wget http://my.downsoft.cn/linux/mysql/galera/wsrep.cnf -o /etc/mysql/conf.d/wsrep.cnf

配置第一个节点的/etc/mysql/conf.d/wsrep.cnf：
#MySQL服务器的ID，必须是唯一的
server-id=101
#galera集群的名字，必须是统一的
wsrep_cluster_name='tvm_galera_cluster'
#wsrep节点的ID，必须是唯一的
wsrep_node_name = node1
#集群中的其他节点地址，可以使用主机名或IP
wsrep_cluster_address=gcomm://mysqlnode2,mysqlnode3
#本机节点地址，可以使用主机名或IP
wsrep_node_address='mysqlnode1'
#一个逗号分割的节点串作为状态转移源，比如wsrep_sst_donor=node5,node3, 如果node5可用，用node5,不可用用node3,如果node3不可用，最后的逗号表明让提供商自己选择一个最优的。
wsrep_sst_donor='node3,'
#线程数量。参考设置：1.CPU内核数*2以上;2.其它写节点连接总数的1/4.
wsrep_slave_threads=16
#xtrabackup使用的用户名密码
wsrep_sst_auth=tvmining:linuxidc.com
其它节点，根据实际情况修改对应的ID值。

启动集群
启动第一个节点的MySQL：
mysqld_safe --wsrep_cluster_address=gcomm:// >/dev/null &

启动第二个节点的MySQL：
mysqld_safe >/dev/null&
依次类推启动其他节点。

通过查看4567 端口确认集群是否启动：
netstat -plantu | grep mysqld

查询 galera 插件是否已启用：
mysql -e "SHOW status LIKE 'wsrep_ready'"-p
mysql -e "SHOW VARIABLES LIKE 'wsrep_cluster_address'"-p

常见错误
1405300:09:18[Note] WSREP:Running:'wsrep_sst_xtrabackup --role 'joiner' --address 'mysqlnode2' --auth 'ssttvm:tvmining@123' --datadir '/opt/mysqldb/' --defaults-file '/etc/my.cnf' --parent '21812''
1405300:09:18[ERROR] WSREP:Failed to read 'ready 'from: wsrep_sst_xtrabackup --role 'joiner'--address 'mysqlnode2'--auth 'ssttvm:tvmining@123'--datadir '/opt/mysqldb/'--defaults-file '/etc/my.cnf'--parent '21812'
Read:'Can't find innobackupex in the path'
140530 0:09:18 [ERROR] WSREP: Process completed with error: wsrep_sst_xtrabackup --role 'joiner' --address 'mysqlnode2' --auth 'ssttvm:tvmining@123' --datadir '/opt/mysqldb/' --defaults-file '/etc/my.cnf' --parent '21812': 22 (Invalid argument)
140530 0:09:18 [ERROR] WSREP: Failed to prepare for 'xtrabackup' SST. Unrecoverable.
140530 0:09:18 [ERROR] Aborting
该提示为未安装Xtrabackup。