上传文件至 /
This commit is contained in:
parent
d9bc1fa5ec
commit
ee14893af6
|
|
@ -0,0 +1,173 @@
|
|||
<h1><center>Mysql常见配置</center></h1>
|
||||
|
||||
|
||||
|
||||
------
|
||||
|
||||
```
|
||||
back_log = 600
|
||||
#在MYSQL暂时停止响应新请求之前，短时间内的多少个请求可以被存在堆栈中。如果系统在短时间内有很多连接，则需要增大该参数的值，该参数值指定到来的TCP/IP连接的监听队列的大小。默认值50。
|
||||
|
||||
max_connections = 3000
|
||||
#MySQL允许最大的进程连接数，如果经常出现Too Many Connections的错误提示，则需要增大此值。
|
||||
|
||||
max_connect_errors = 6000
|
||||
#设置每个主机的连接请求异常中断的最大次数，当超过该次数，MYSQL服务器将禁止host的连接请求，直到mysql服务器重启或通过flush hosts命令清空此host的相关信息。
|
||||
|
||||
table_cache = 614
|
||||
#指示表调整缓冲区大小。# table_cache 参数设置表高速缓存的数目。每个连接进来，都会至少打开一个表缓存。#因此， table_cache 的大小应与 max_connections 的设置有关。例如，对于 200 个#并行运行的连接，应该让表的缓存至少有 200 × N ，这里 N 是应用可以执行的查询#的一个联接中表的最大数量。此外，还需要为临时表和文件保留一些额外的文件描述符。
|
||||
# 当 Mysql 访问一个表时，如果该表在缓存中已经被打开，则可以直接访问缓存；如果#还没有被缓存，但是在 Mysql 表缓冲区中还有空间，那么这个表就被打开并放入表缓#冲区；如果表缓存满了，则会按照一定的规则将当前未用的表释放，或者临时扩大表缓存来存放，使用表缓存的好处是可以更快速地访问表中的内容。执行 flush tables 会#清空缓存的内容。一般来说，可以通过查看数据库运行峰值时间的状态值 Open_tables #和 Opened_tables ，判断是否需要增加 table_cache 的值（其中 open_tables 是当#前打开的表的数量， Opened_tables 则是已经打开的表的数量）。即如果open_tables接近table_cache的时候，并且Opened_tables这个值在逐步增加，那就要考虑增加这个#值的大小了。还有就是Table_locks_waited比较高的时候，也需要增加table_cache。
|
||||
|
||||
|
||||
external-locking = FALSE
|
||||
#使用–skip-external-locking MySQL选项以避免外部锁定。该选项默认开启
|
||||
|
||||
max_allowed_packet = 32M
|
||||
#设置在网络传输中一次消息传输量的最大值。系统默认值 为1MB，最大值是1GB，必须设置1024的倍数。
|
||||
|
||||
sort_buffer_size = 2M
|
||||
# Sort_Buffer_Size 是一个connection级参数，在每个connection（session）第一次需要使用这个buffer的时候，一次性分配设置的内存。
|
||||
#Sort_Buffer_Size 并不是越大越好，由于是connection级的参数，过大的设置+高并发可能会耗尽系统内存资源。例如：500个连接将会消耗 500*sort_buffer_size(8M)=4G内存
|
||||
#Sort_Buffer_Size 超过2KB的时候，就会使用mmap() 而不是 malloc() 来进行内存分配，导致效率降低。
|
||||
#技术导读 http://blog.webshuo.com/2011/02/16/mysql-sort_buffer_size/
|
||||
#dev-doc: http://dev.mysql.com/doc/refman/5.5/en/server-parameters.html
|
||||
#explain select*from table where order limit；出现filesort
|
||||
#属重点优化参数
|
||||
|
||||
join_buffer_size = 2M
|
||||
#用于表间关联缓存的大小，和sort_buffer_size一样，该参数对应的分配内存也是每个连接独享。
|
||||
|
||||
thread_cache_size = 300
|
||||
# 服务器线程缓存这个值表示可以重新利用保存在缓存中线程的数量,当断开连接时如果缓存中还有空间,那么客户端的线程将被放到缓存中,如果线程重新被请求，那么请求将从缓存中读取,如果缓存中是空的或者是新的请求，那么这个线程将被重新创建,如果有很多新的线程，增加这个值可以改善系统性能.通过比较 Connections 和 Threads_created 状态的变量，可以看到这个变量的作用。设置规则如下：1GB 内存配置为8，2GB配置为16，3GB配置为32，4GB或更高内存，可配置更大。
|
||||
|
||||
thread_concurrency = 8
|
||||
# 设置thread_concurrency的值的正确与否, 对mysql的性能影响很大, 在多个cpu(或多核)的情况下，错误设置了thread_concurrency的值, 会导致mysql不能充分利用多cpu(或多核), 出现同一时刻只能一个cpu(或核)在工作的情况。thread_concurrency应设为CPU核数的2倍. 比如有一个双核的CPU, 那么thread_concurrency的应该为4; 2个双核的cpu, thread_concurrency的值应为8
|
||||
#属重点优化参数
|
||||
|
||||
query_cache_size = 64M
|
||||
## 对于使用MySQL的用户，对于这个变量大家一定不会陌生。前几年的MyISAM引擎优化中，这个参数也是一个重要的优化参数。但随着发展，这个参数也爆露出来一些问题。机器的内存越来越大，人们也都习惯性的把以前有用的参数分配的值越来越大。这个参数加大后也引发了一系列问题。我们首先分析一下 query_cache_size的工作原理：一个SELECT查询在DB中工作后，DB会把该语句缓存下来，当同样的一个SQL再次来到DB里调用时，DB在该表没发生变化的情况下把结果从缓存中返回给Client。这里有一个关建点，就是DB在利用Query_cache工作时，要求该语句涉及的表在这段时间内没有发生变更。那如果该表在发生变更时，Query_cache里的数据又怎么处理呢？首先要把Query_cache和该表相关的语句全部置为失效，然后在写入更新。那么如果Query_cache非常大，该表的查询结构又比较多，查询语句失效也慢，一个更新或是Insert就会很慢，这样看到的就是Update或是Insert怎么这么慢了。所以在数据库写入量或是更新量也比较大的系统，该参数不适合分配过大。而且在高并发，写入量大的系统，建议把该功能禁掉。
|
||||
#重点优化参数（主库 增删改-MyISAM）
|
||||
|
||||
query_cache_limit = 4M
|
||||
#指定单个查询能够使用的缓冲区大小，缺省为1M
|
||||
|
||||
query_cache_min_res_unit = 2k
|
||||
#默认是4KB，设置值大对大数据查询有好处，但如果你的查询都是小数据查询，就容易造成内存碎片和浪费
|
||||
#查询缓存碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100%
|
||||
#如果查询缓存碎片率超过20%，可以用FLUSH QUERY CACHE整理缓存碎片，或者试试减小query_cache_min_res_unit，如果你的查询都是小数据量的话。
|
||||
#查询缓存利用率 = (query_cache_size – Qcache_free_memory) / query_cache_size * 100%
|
||||
#查询缓存利用率在25%以下的话说明query_cache_size设置的过大，可适当减小;查询缓存利用率在80%以上而且Qcache_lowmem_prunes > 50的话说明query_cache_size可能有点小，要不就是碎片太多。
|
||||
#查询缓存命中率 = (Qcache_hits – Qcache_inserts) / Qcache_hits * 100%
|
||||
|
||||
default-storage-engine = MyISAM
|
||||
#default_table_type = InnoDB
|
||||
|
||||
thread_stack = 192K
|
||||
#设置MYSQL每个线程的堆栈大小，默认值足够大，可满足普通操作。可设置范围为128K至4GB，默认为192KB。
|
||||
|
||||
transaction_isolation = READ-COMMITTED
|
||||
# 设定默认的事务隔离级别.可用的级别如下:
|
||||
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE
|
||||
# 1.READ UNCOMMITTED-读未提交2.READ COMMITTE-读已提交3.REPEATABLE READ -可重复读4.SERIALIZABLE -串行
|
||||
|
||||
tmp_table_size = 256M
|
||||
# tmp_table_size 的默认大小是 32M。如果一张临时表超出该大小，MySQL产生一个 The table tbl_name is full 形式的错误，如果你做很多高级 GROUP BY 查询，增加 tmp_table_size 值。如果超过该值，则会将临时表写入磁盘。
|
||||
max_heap_table_size = 256M
|
||||
long_query_time = 2
|
||||
log_long_format
|
||||
log-slow-queries=/data/3306/slow-log.log
|
||||
#log-bin = /data/3306/mysql-bin
|
||||
log-bin
|
||||
binlog_cache_size = 4M
|
||||
max_binlog_cache_size = 8M
|
||||
max_binlog_size = 512M
|
||||
|
||||
expire_logs_days = 7
|
||||
key_buffer_size = 2048M
|
||||
#批定用于索引的缓冲区大小，增加它可以得到更好的索引处理性能，对于内存在4GB左右的服务器来说，该参数可设置为256MB或384MB。
|
||||
|
||||
read_buffer_size = 1M
|
||||
# MySql读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySql会为它分配一段内存缓冲区。read_buffer_size变量控制这一缓冲区的大小。如果对表的顺序扫描请求非常频繁，并且你认为频繁扫描进行得太慢，可以通过增加该变量值以及内存缓冲区大小提高其性能。和sort_buffer_size一样，该参数对应的分配内存也是每个连接独享。
|
||||
|
||||
read_rnd_buffer_size = 16M
|
||||
# MySql的随机读（查询操作）缓冲区大小。当按任意顺序读取行时(例如，按照排序顺序)，将分配一个随机读缓存区。进行排序查询时，MySql会首先扫描一遍该缓冲，以避免磁盘搜索，提高查询速度，如果需要排序大量数据，可适当调高该值。但MySql会为每个客户连接发放该缓冲空间，所以应尽量适当设置该值，以避免内存开销过大。
|
||||
|
||||
bulk_insert_buffer_size = 64M
|
||||
#批量插入数据缓存大小，可以有效提高插入效率，默认为8M
|
||||
|
||||
myisam_sort_buffer_size = 128M
|
||||
# MyISAM表发生变化时重新排序所需的缓冲
|
||||
|
||||
myisam_max_sort_file_size = 10G
|
||||
# MySQL重建索引时所允许的最大临时文件的大小 (当 REPAIR, ALTER TABLE 或者 LOAD DATA INFILE).
|
||||
# 如果文件大小比此值更大,索引会通过键值缓冲创建(更慢)
|
||||
|
||||
myisam_max_extra_sort_file_size = 10G
|
||||
myisam_repair_threads = 1
|
||||
# 如果一个表拥有超过一个索引, MyISAM 可以通过并行排序使用超过一个线程去修复他们.
|
||||
# 这对于拥有多个CPU以及大量内存情况的用户,是一个很好的选择.
|
||||
|
||||
myisam_recover
|
||||
#自动检查和修复没有适当关闭的 MyISAM 表
|
||||
skip-name-resolve
|
||||
lower_case_table_names = 1
|
||||
|
||||
server-id = 1
|
||||
|
||||
innodb_additional_mem_pool_size = 16M
|
||||
#这个参数用来设置 InnoDB 存储的数据目录信息和其它内部数据结构的内存池大小，类似于Oracle的library cache。这不是一个强制参数，可以被突破。
|
||||
|
||||
innodb_buffer_pool_size = 2048M
|
||||
# 这对Innodb表来说非常重要。Innodb相比MyISAM表对缓冲更为敏感。MyISAM可以在默认的 key_buffer_size 设置下运行的可以，然而Innodb在默认的 innodb_buffer_pool_size 设置下却跟蜗牛似的。由于Innodb把数据和索引都缓存起来，无需留给操作系统太多的内存，因此如果只需要用Innodb的话则可以设置它高达 70-80% 的可用内存。一些应用于 key_buffer 的规则有 — 如果你的数据量不大，并且不会暴增，那么无需把 innodb_buffer_pool_size 设置的太大了
|
||||
|
||||
innodb_data_file_path = ibdata1:1024M:autoextend
|
||||
#表空间文件 重要数据
|
||||
|
||||
innodb_file_io_threads = 4
|
||||
#文件IO的线程数，一般为 4，但是在 Windows 下，可以设置得较大。
|
||||
|
||||
innodb_thread_concurrency = 8
|
||||
#服务器有几个CPU就设置为几，建议用默认设置，一般为8.
|
||||
|
||||
innodb_flush_log_at_trx_commit = 2
|
||||
# 如果将此参数设置为1，将在每次提交事务后将日志写入磁盘。为提供性能，可以设置为0或2，但要承担在发生故障时丢失数据的风险。设置为0表示事务日志写入日志文件，而日志文件每秒刷新到磁盘一次。设置为2表示事务日志将在提交时写入日志，但日志文件每次刷新到磁盘一次。
|
||||
|
||||
innodb_log_buffer_size = 16M
|
||||
#此参数确定些日志文件所用的内存大小，以M为单位。缓冲区更大能提高性能，但意外的故障将会丢失数据.MySQL开发人员建议设置为1－8M之间
|
||||
|
||||
innodb_log_file_size = 128M
|
||||
#此参数确定数据日志文件的大小，以M为单位，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间
|
||||
|
||||
innodb_log_files_in_group = 3
|
||||
#为提高性能，MySQL可以以循环方式将日志文件写到多个文件。推荐设置为3M
|
||||
|
||||
innodb_max_dirty_pages_pct = 90
|
||||
#推荐阅读 http://www.taobaodba.com/html/221_innodb_max_dirty_pages_pct_checkpoint.html
|
||||
# Buffer_Pool中Dirty_Page所占的数量，直接影响InnoDB的关闭时间。参数innodb_max_dirty_pages_pct 可以直接控制了Dirty_Page在Buffer_Pool中所占的比率，而且幸运的是innodb_max_dirty_pages_pct是可以动态改变的。所以，在关闭InnoDB之前先将innodb_max_dirty_pages_pct调小，强制数据块Flush一段时间，则能够大大缩短 MySQL关闭的时间。
|
||||
|
||||
innodb_lock_wait_timeout = 120
|
||||
# InnoDB 有其内置的死锁检测机制，能导致未完成的事务回滚。但是，如果结合InnoDB使用MyISAM的lock tables 语句或第三方事务引擎,则InnoDB无法识别死锁。为消除这种可能性，可以将innodb_lock_wait_timeout设置为一个整数值，指示 MySQL在允许其他事务修改那些最终受事务回滚的数据之前要等待多长时间(秒数)
|
||||
|
||||
innodb_file_per_table = 0
|
||||
#独享表空间（关闭）
|
||||
|
||||
[mysqldump]
|
||||
quick
|
||||
max_allowed_packet = 32M
|
||||
|
||||
[mysqld_safe]
|
||||
log-error=/data/3306/mysql_oldboy.err
|
||||
pid-file=/data/3306/mysqld.pid
|
||||
|
||||
|
||||
|
||||
#补充
|
||||
#wait_timeout = 10
|
||||
#指定一个请求的最大连接时间，对于4GB左右的内存服务器来说，可以将其设置为5-10。
|
||||
#skip_networking
|
||||
#开启该选可以彻底关闭MYSQL的TCP/IP连接方式，如果WEB服务器是以远程连接的方式访问MYSQL数据库服务器的，则不要开启该选项，否则将无法正常连接。
|
||||
|
||||
#log-queries-not-using-indexes
|
||||
将没有使用索引的查询也记录下来
|
||||
```
|
||||
|
||||
|
|
@ -0,0 +1,521 @@
|
|||
<h1><center>读写分离</center></h1>
|
||||
|
||||
|
||||
|
||||
------
|
||||
|
||||
## 一：读写分离部署
|
||||
|
||||
#### 1.环境介绍
|
||||
|
||||
|
||||
|
||||
#### 2.读写分离集群部署
|
||||
|
||||
##### A：数据库集群部署（略）
|
||||
|
||||
单主单从；多主多从等均可
|
||||
|
||||
##### B：Mycat部署
|
||||
|
||||
新机器，不需要安装mysql
|
||||
|
||||
安装jdk环境：
|
||||
|
||||
```shell
|
||||
[root@mycat ~]# tar xf jdk-8u211-linux-x64.tar.gz -C /usr/local/
|
||||
[root@mycat ~]# mv /usr/local/jdk1.8.0_211/ /usr/local/java
|
||||
```
|
||||
|
||||
设置环境变量：
|
||||
|
||||
```shell
|
||||
[root@mycat ~]# vi /etc/profile
|
||||
JAVA_HOME=/usr/local/java
|
||||
PATH=$JAVA_HOME/bin:$PATH
|
||||
export JAVA_HOME PATH
|
||||
[root@mycat ~]# source /etc/profile
|
||||
[root@mycat ~]# java -version
|
||||
java version "1.8.0_211"
|
||||
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
|
||||
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
|
||||
```
|
||||
|
||||
安装mycat：
|
||||
|
||||
```shell
|
||||
[root@mycat ~]# tar xf Mycat-server-1.6.7.1-release-20190627191042-linux.tar.gz -C /usr/local/
|
||||
```
|
||||
|
||||
设置环境变量：
|
||||
|
||||
```shell
|
||||
[root@mycat ~]# vi ~/.bash_profile
|
||||
PATH=$PATH:$HOME/bin:/usr/local/mycat/bin
|
||||
[root@mycat ~]# source ~/.bash_profile
|
||||
```
|
||||
|
||||
##### C：数据库部署
|
||||
|
||||
Mysql中添加数据库和账户：
|
||||
|
||||
```shell
|
||||
[root@master-1 ~]# mysql -u root -pQianFeng@123
|
||||
mysql: [Warning] Using a password on the command line interface can be insecure.
|
||||
Welcome to the MySQL monitor. Commands end with ; or \g.
|
||||
Your MySQL connection id is 10
|
||||
Server version: 5.7.39-log MySQL Community Server (GPL)
|
||||
|
||||
Copyright (c) 2000, 2022, Oracle and/or its affiliates.
|
||||
|
||||
Oracle is a registered trademark of Oracle Corporation and/or its
|
||||
affiliates. Other names may be trademarks of their respective
|
||||
owners.
|
||||
|
||||
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
|
||||
|
||||
mysql> create database shop;
|
||||
Query OK, 1 row affected (0.00 sec)
|
||||
|
||||
mysql> create database bbs;
|
||||
Query OK, 1 row affected (0.00 sec)
|
||||
|
||||
mysql> create database blog;
|
||||
Query OK, 1 row affected (0.00 sec)
|
||||
|
||||
mysql> grant all on shop.* to shop@'%' identified by 'QianFeng@123';
|
||||
Query OK, 0 rows affected, 1 warning (0.00 sec)
|
||||
|
||||
mysql> grant all on bbs.* to bbs@'%' identified by 'QianFeng@123';
|
||||
Query OK, 0 rows affected, 1 warning (0.00 sec)
|
||||
|
||||
mysql> grant all on blog.* to blog@'%' identified by 'QianFeng@123';
|
||||
Query OK, 0 rows affected, 1 warning (0.00 sec)
|
||||
```
|
||||
|
||||
注意：
|
||||
|
||||
创建的库跟mycat关联，原则上一个库对应一个项目，根据实际情况创建
|
||||
|
||||
创建的库需要单独授权用户进行管理，用户名和库名根据实际情况决定
|
||||
|
||||
##### D：Mycat配置
|
||||
|
||||
server.xml：Mycat的配置文件，设置账号、参数等
|
||||
|
||||
```shell
|
||||
[root@mycat conf]# vim server.xml
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<!DOCTYPE mycat:server SYSTEM "server.dtd">
|
||||
<mycat:server xmlns:mycat="http://io.mycat/">
|
||||
<system>
|
||||
<property name="nonePasswordLogin">0</property>
|
||||
<property name="useHandshakeV10">1</property>
|
||||
<property name="useSqlStat">0</property>
|
||||
<property name="useGlobleTableCheck">0</property>
|
||||
<property name="sequnceHandlerType">2</property>
|
||||
<property name="sequnceHandlerPattern">(?:(\s*next\s+value\s+for\s*MYCATSEQ_(\w+))(,|\)|\s)*)+</property>
|
||||
<property name="subqueryRelationshipCheck">false</property>
|
||||
<property name="processorBufferPoolType">0</property>
|
||||
<property name="handleDistributedTransactions">0</property>
|
||||
<property name="useOffHeapForMerge">0</property>
|
||||
<property name="memoryPageSize">64k</property>
|
||||
<property name="spillsFileBufferSize">1k</property>
|
||||
<property name="useStreamOutput">0</property>
|
||||
<property name="systemReserveMemorySize">384m</property>
|
||||
<property name="useZKSwitch">false</property>
|
||||
<property name="strictTxIsolation">false</property>
|
||||
<property name="useZKSwitch">true</property>
|
||||
</system>
|
||||
<user name="root" defaultAccount="true">
|
||||
<property name="password">123456</property>
|
||||
<property name="schemas">TESTDB</property>
|
||||
</user>
|
||||
<user name="shop">
|
||||
<property name="password">123456</property>
|
||||
<property name="schemas">shop</property>
|
||||
</user>
|
||||
<user name="bbs">
|
||||
<property name="password">123456</property>
|
||||
<property name="schemas">bbs</property>
|
||||
</user>
|
||||
<user name="blog">
|
||||
<property name="password">123456</property>
|
||||
<property name="schemas">blog</property>
|
||||
</user>
|
||||
</mycat:server>
|
||||
```
|
||||
|
||||
注意：
|
||||
|
||||
```shell
|
||||
user 用户配置节点
|
||||
–name 登录的用户名，也就是连接Mycat的用户名
|
||||
–password 登录的密码，也就是连接Mycat的密码
|
||||
–schemas 数据库名，这里会和schema.xml中的配置关联，多个用逗号分开，例如需要这个用户需要管理两个数据库db1,db2，则配置db1,db2
|
||||
```
|
||||
|
||||
schema.xml：Mycat对应的物理数据库和数据库表的配置
|
||||
|
||||
```shell
|
||||
[root@mycat conf]# cat schema.xml
|
||||
<?xml version="1.0"?>
|
||||
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
|
||||
<mycat:schema xmlns:mycat="http://io.mycat/">
|
||||
|
||||
<schema name="shop" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> </schema>
|
||||
<schema name="bbs" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn2"> </schema>
|
||||
<schema name="blog" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn3"> </schema>
|
||||
<dataNode name="dn1" dataHost="localhost1" database="shop" />
|
||||
<dataNode name="dn2" dataHost="localhost2" database="bbs" />
|
||||
<dataNode name="dn3" dataHost="localhost3" database="blog" />
|
||||
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
|
||||
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
|
||||
<heartbeat>show status like 'wsrep%'</heartbeat>
|
||||
<writeHost host="mysql-1" url="mysql-1:3306" user="shop" password="QianFeng@123">
|
||||
<readHost host="slave-1" url="slave-1:3306" user="shop" password="QianFeng@123" />
|
||||
<readHost host="slave-2" url="slave-2:3306" user="shop" password="QianFeng@123" />
|
||||
</writeHost>
|
||||
<writeHost host="mysql-2" url="mysql-2:3306" user="shop" password="QianFeng@123">
|
||||
<readHost host="slave-1" url="slave-1:3306" user="shop" password="QianFeng@123" />
|
||||
<readHost host="slave-2" url="slave-2:3306" user="shop" password="QianFeng@123" />
|
||||
</writeHost>
|
||||
</dataHost>
|
||||
<dataHost name="localhost2" maxCon="1000" minCon="10" balance="1"
|
||||
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
|
||||
<heartbeat>show status like 'wsrep%'</heartbeat>
|
||||
<writeHost host="mysql-1" url="mysql-1:3306" user="bbs" password="QianFeng@123">
|
||||
<readHost host="slave-1" url="slave-1:3306" user="bbs" password="QianFeng@123" />
|
||||
<readHost host="slave-2" url="slave-1:3306" user="bbs" password="QianFeng@123" />
|
||||
</writeHost>
|
||||
<writeHost host="mysql-2" url="mysql-2:3306" user="bbs" password="QianFeng@123">
|
||||
<readHost host="slave-1" url="slave-1:3306" user="bbs" password="QianFeng@123" />
|
||||
<readHost host="slave-2" url="slave-2:3306" user="bbs" password="QianFeng@123" />
|
||||
</writeHost>
|
||||
</dataHost>
|
||||
<dataHost name="localhost3" maxCon="1000" minCon="10" balance="1"
|
||||
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
|
||||
<heartbeat>show status like 'wsrep%'</heartbeat>
|
||||
<writeHost host="mysql-1" url="mysql-1:3306" user="blog" password="QianFeng@123">
|
||||
<readHost host="slave-1" url="slave-1:3306" user="blog" password="QianFeng@123" />
|
||||
<readHost host="slave-2" url="slave-1:3306" user="blog" password="QianFeng@123" />
|
||||
</writeHost>
|
||||
<writeHost host="mysql-2" url="mysql-2:3306" user="blog" password="QianFeng@123">
|
||||
<readHost host="slave-1" url="slave-1:3306" user="blog" password="QianFeng@123" />
|
||||
<readHost host="slave-2" url="slave-2:3306" user="blog" password="QianFeng@123" />
|
||||
</writeHost>
|
||||
</dataHost>
|
||||
</mycat:schema>
|
||||
```
|
||||
|
||||
注意：
|
||||
|
||||
```shell
|
||||
balance=1 开启读写分离机制，所有读操作都发送到当前备用的 writeHost 上。
|
||||
wirteType=0 所有写操作发送到第一个writeHost，第一个挂了切换到第二个
|
||||
switchType=3 基于MySQL Galera cluster的切换机制，心跳语句为show status like 'wsrep%'
|
||||
```
|
||||
|
||||
##### E：启动服务
|
||||
|
||||
```shell
|
||||
[root@mycat conf]# mycat start
|
||||
Starting Mycat-server...
|
||||
[root@mycat conf]# jps
|
||||
1494 WrapperSimpleApp
|
||||
1528 Jps
|
||||
```
|
||||
|
||||
查看端口：
|
||||
|
||||
```shell
|
||||
[root@mycat conf]# ss -antpl
|
||||
State Recv-Q Send-Q Local Address:Port Peer Address:Port
|
||||
LISTEN 0 128 *:22 *:* users:(("sshd",pid=837,fd=3))
|
||||
LISTEN 0 100 127.0.0.1:25 *:* users:(("master",pid=933,fd=13))
|
||||
LISTEN 0 1 127.0.0.1:32000 *:* users:(("java",pid=1494,fd=4))
|
||||
LISTEN 0 50 :::37680 :::* users:(("java",pid=1494,fd=57))
|
||||
LISTEN 0 128 :::22 :::* users:(("sshd",pid=837,fd=4))
|
||||
LISTEN 0 100 ::1:25 :::* users:(("master",pid=933,fd=14))
|
||||
LISTEN 0 50 :::1984 :::* users:(("java",pid=1494,fd=58))
|
||||
LISTEN 0 100 :::8066 :::* users:(("java",pid=1494,fd=79))
|
||||
LISTEN 0 50 :::32834 :::* users:(("java",pid=1494,fd=59))
|
||||
LISTEN 0 100 :::9066 :::* users:(("java",pid=1494,fd=75))
|
||||
```
|
||||
|
||||
##### F：客户端测试
|
||||
|
||||
mycat连接测试：
|
||||
|
||||
```shell
|
||||
[root@master-1 ~]# mysql -u shop -p123456 -P 8066 -h 10.0.0.47
|
||||
mysql: [Warning] Using a password on the command line interface can be insecure.
|
||||
Welcome to the MySQL monitor. Commands end with ; or \g.
|
||||
Your MySQL connection id is 1
|
||||
Server version: 5.6.29-mycat-1.6.7.1-release-20190627191042 MyCat Server (OpenCloudDB)
|
||||
|
||||
Copyright (c) 2000, 2022, Oracle and/or its affiliates.
|
||||
|
||||
Oracle is a registered trademark of Oracle Corporation and/or its
|
||||
affiliates. Other names may be trademarks of their respective
|
||||
owners.
|
||||
|
||||
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
|
||||
|
||||
mysql> show databases;
|
||||
+----------+
|
||||
| DATABASE |
|
||||
+----------+
|
||||
| shop |
|
||||
+----------+
|
||||
1 row in set (0.00 sec)
|
||||
|
||||
mysql> use shop
|
||||
Database changed
|
||||
mysql> create table t1(id int);
|
||||
Query OK, 0 rows affected (0.01 sec)
|
||||
|
||||
mysql> show tables;
|
||||
+----------------+
|
||||
| Tables_in_shop |
|
||||
+----------------+
|
||||
| t1 |
|
||||
+----------------+
|
||||
1 row in set (0.01 sec)
|
||||
|
||||
mysql> insert into t1 values(1);
|
||||
Query OK, 1 row affected (0.03 sec)
|
||||
|
||||
mysql> insert into t1 values(2);
|
||||
Query OK, 1 row affected (0.01 sec)
|
||||
```
|
||||
|
||||
从服务数据验证：
|
||||
|
||||
```shell
|
||||
[root@slave-2 ~]# mysql -u root -pQianFeng@123
|
||||
mysql: [Warning] Using a password on the command line interface can be insecure.
|
||||
Welcome to the MySQL monitor. Commands end with ; or \g.
|
||||
Your MySQL connection id is 7
|
||||
Server version: 5.7.39-log MySQL Community Server (GPL)
|
||||
|
||||
Copyright (c) 2000, 2022, Oracle and/or its affiliates.
|
||||
|
||||
Oracle is a registered trademark of Oracle Corporation and/or its
|
||||
affiliates. Other names may be trademarks of their respective
|
||||
owners.
|
||||
|
||||
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
|
||||
|
||||
mysql> show databases;
|
||||
+--------------------+
|
||||
| Database |
|
||||
+--------------------+
|
||||
| information_schema |
|
||||
| mysql |
|
||||
| performance_schema |
|
||||
| qfcloud |
|
||||
| sys |
|
||||
+--------------------+
|
||||
5 rows in set (0.00 sec)
|
||||
|
||||
mysql> show databases;
|
||||
+--------------------+
|
||||
| Database |
|
||||
+--------------------+
|
||||
| information_schema |
|
||||
| bbs |
|
||||
| blog |
|
||||
| mysql |
|
||||
| performance_schema |
|
||||
| qfcloud |
|
||||
| shop |
|
||||
| sys |
|
||||
+--------------------+
|
||||
8 rows in set (0.00 sec)
|
||||
|
||||
mysql> use shop
|
||||
Reading table information for completion of table and column names
|
||||
You can turn off this feature to get a quicker startup with -A
|
||||
|
||||
Database changed
|
||||
mysql> show tables;
|
||||
+----------------+
|
||||
| Tables_in_shop |
|
||||
+----------------+
|
||||
| t1 |
|
||||
+----------------+
|
||||
1 row in set (0.00 sec)
|
||||
|
||||
mysql> select * from t1;
|
||||
+------+
|
||||
| id |
|
||||
+------+
|
||||
| 1 |
|
||||
| 2 |
|
||||
+------+
|
||||
2 rows in set (0.00 sec)
|
||||
```
|
||||
|
||||
#### 3.Mycat配置文件
|
||||
|
||||
##### server.xml
|
||||
|
||||
```shell
|
||||
一：server.xml 配置文件
|
||||
1.privileges标签
|
||||
对用户的 schema以及表进行精细化的DML(数据操纵语言)权限控制
|
||||
<privileges check="false"> </privileges> --check 表示是否开启DML权限检查。默认是关闭。
|
||||
--dml 顺序说明：insert,update,select,delete
|
||||
<schema name="db1" dml="0110" >
|
||||
<table name="tb01" dml="0000"></table>
|
||||
<table name="tb02" dml="1111"></table> </schema>
|
||||
db1的权限是update,select。
|
||||
tb01的权限是啥都不能干。
|
||||
tb02的权限是insert,update,select,delete。
|
||||
其他表默认是udpate,select。
|
||||
|
||||
2.system标签
|
||||
这个标签内嵌套的所有 property 标签都与系统配置有关。
|
||||
<property name="charset">utf8</property>
|
||||
字符集
|
||||
<property name="processors">1</property>
|
||||
处理线程数量，默认是cpu数量。
|
||||
<property name="processorBufferChunk">4096</property>
|
||||
每次读取留的数量，默认4096。
|
||||
<property name="processorBufferPool">409600</property>
|
||||
创建共享buffer需要占用的总空间大小。processorBufferChunk*processors*100。
|
||||
<property name="processorBufferPoolType">0</property>
|
||||
默认为0。0表示DirectByteBufferPool，1表示ByteBufferArena。
|
||||
<property name="processorBufferLocalPercent">100</property>
|
||||
二级共享buffer是processorBufferPool的百分比，这里设置的是百分比。
|
||||
<property name="sequnceHandlerType">100</property>
|
||||
全局ID生成方式。(0:为本地文件方式，1:为数据库方式；2:为时间戳序列方式；3:为ZK生成ID；4:为ZK递增ID生成。
|
||||
<property name="useCompression">1</property>
|
||||
是否开启mysql压缩协议。1为开启，0为关闭，默认关闭。
|
||||
<property name="packetHeaderSize">4</property>
|
||||
指定 Mysql 协议中的报文头长度。默认 4。
|
||||
<property name="maxPacketSize">16M</property>
|
||||
指定 Mysql 协议可以携带的数据最大长度。默认 16M。
|
||||
<property name="idleTimeout">1800000</property>
|
||||
指定连接的空闲超时时间。某连接在发起空闲检查下，发现距离上次使用超过了空闲时间，那么这个连接会被回收，就是被直接的关闭掉。默认 30 分钟，单位毫秒。
|
||||
<property name="txIsolation">3</property>
|
||||
前端连接的初始化事务隔离级别，只在初始化的时候使用，后续会根据客户端传递过来的属性对后端数据库连接进行同步。默认为 REPEATED_READ，设置值为数字默认 3。
|
||||
READ_UNCOMMITTED = 1;
|
||||
READ_COMMITTED = 2;
|
||||
REPEATED_READ = 3;
|
||||
SERIALIZABLE = 4;
|
||||
<property name="sqlExecuteTimeout">300</property>
|
||||
SQL 执行超时的时间，Mycat 会检查连接上最后一次执行 SQL 的时间，若超过这个时间则会直接关闭这连接。默认时间为 300 秒，单位秒。
|
||||
<property name="processorCheckPeriod">1000</property>
|
||||
清理 NIOProcessor 上前后端空闲、超时和关闭连接的间隔时间。默认是 1 秒，单
|
||||
位毫秒。
|
||||
<property name="dataNodeIdleCheckPeriod">300000</property>
|
||||
对后端连接进行空闲、超时检查的时间间隔，默认是 300 秒，单位毫秒。
|
||||
<property name="dataNodeHeartbeatPeriod">10000</property>
|
||||
对后端所有读、写库发起心跳的间隔时间，默认是 10 秒，单位毫秒。
|
||||
<property name="bindIp">0.0.0.0</property>
|
||||
mycat 服务监听的 IP 地址，默认值为 0.0.0.0。
|
||||
<property name="serverPort">8066</property>
|
||||
定义 mycat 的使用端口，默认值为 8066。
|
||||
<property name="managerPort">9066</property>
|
||||
定义 mycat 的管理端口，默认值为 9066。
|
||||
<property name="fakeMySQLVersion">5.6</property>
|
||||
mycat 模拟的 mysql 版本号，默认值为 5.6 版本，如非特需，不要修改这个值，目前支持设置 5.5,5.6,5.7 版本，其他版本可能会有问题。
|
||||
<property name="useSqlStat">0</property>
|
||||
是否开启实时统计。1为开启；0为关闭 。
|
||||
<property name="useGlobleTableCheck">0</property>
|
||||
是否开启全局表一致性检测。1为开启；0为关闭 。
|
||||
<property name="handleDistributedTransactions">0</property>
|
||||
分布式事务开关。0为不过滤分布式事务；1为过滤分布式事务；2 为不过滤分布式事务,但是记录分布式事务日志。
|
||||
<property name="maxStringLiteralLength">65535</property>
|
||||
默认是65535。 64K 用于sql解析时最大文本长度
|
||||
以上举例的属性仅仅是一部分，可以配置的变量很多。
|
||||
System标签下的属性，一般是上线后，需要根据实际运行的情况，分析后调优的时候进行修改。
|
||||
|
||||
3. Firewall标签
|
||||
防火墙的设置，也就是在网络层对请求的地址进行限制，主要是从安全角度来保证Mycat不被匿名IP进行访问
|
||||
<firewall>
|
||||
<whitehost>
|
||||
<host host="127.0.0.1" user="mycat"/>
|
||||
<host host="127.0.0.2" user="mycat"/>
|
||||
</whitehost>
|
||||
<blacklist check="false">
|
||||
</blacklist>
|
||||
</firewall>
|
||||
```
|
||||
|
||||
##### schema.xml
|
||||
|
||||
```shell
|
||||
一：schema.xml
|
||||
–schema 数据库设置，此数据库为逻辑数据库，name与server.xml中schema对应
|
||||
–dataNode 分片信息，也就是分库相关配置
|
||||
–dataHost 物理数据库，真正存储数据的数据库
|
||||
|
||||
1、schema 标签
|
||||
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="10"> </schema>
|
||||
schema标签用来定义mycat实例中的逻辑库，mycat可以有多个逻辑库，每个逻辑库都有自己的相关配置。可以使用schema标签来划分这些不同的逻辑库,如果不配置schema标签，所有表的配置会属于同一个默认的逻辑库。逻辑库的概念和MySql的database的概念一样，我们在查询两个不同逻辑库中的表的时候，需要切换到该逻辑库下进行查询。
|
||||
–name 逻辑数据库名，与server.xml中的schema对应
|
||||
–checkSQLschema 数据库前缀相关设置，当该值为true时，例如我们执行语句select * from TESTDB.company 。mycat会把语句修改为 select * from company 去掉TESTDB。
|
||||
–sqlMaxLimit 当该值设置为某个数值时，每条执行的sql语句，如果没有加上limit语句，Mycat会自动加上对应的值。不写的话，默认返回所有的值。需要自己sql语句加limit。
|
||||
|
||||
2、dataNode标签
|
||||
<dataNode name="dn1" dataHost="localhost1" database="db1" />
|
||||
datanode标签定义了mycat中的数据节点，也就是数据分片。一个datanode标签就是一个独立的数据分片。
|
||||
localhost1数据库实例上的db1物理数据库，这就组成一个数据分片，最后我们用dn1来标示这个分片。
|
||||
–name 定义数据节点的名字，这个名字需要唯一。我们在table标签上用这个名字来建立表与分片对应的关系
|
||||
–dataHost 用于定义该分片属于哪个数据库实例，属性与datahost标签上定义的name对应
|
||||
–database 用于定义该分片属于数据库实例上 的具体库。
|
||||
|
||||
3、dataHost标签
|
||||
这个标签直接定义了具体数据库实例，读写分离配置和心跳语句。
|
||||
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
|
||||
<heartbeat>select user()</heartbeat>
|
||||
<writeHost host="hostM1" url="192.168.1.100:3306" user="root" password="123456">
|
||||
<readHost host="hostS1" url="192.168.1.101:3306" user="root" password="123456" />
|
||||
</writeHost>
|
||||
</dataHost>
|
||||
|
||||
–name 唯一标示dataHost标签，供上层使用
|
||||
–maxCon 指定每个读写实例连接池的最大连接。
|
||||
–minCon 指定每个读写实例连接池的最小连接，初始化连接池的大小
|
||||
–balance 负载均称类型
|
||||
balance=“0”：不开启读写分离机制，所有读操作都发送到当前可用的writeHost上
|
||||
balance=“1”：全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式（M1-S1，M2-S2 并且M1 M2互为主备），正常情况下，M2,S1,S2都参与select语句的负载均衡。
|
||||
balance=“2”：所有读操作都随机的在writeHost、readHost上分发
|
||||
balance=“3”：所有读请求随机的分发到writeHst对应的readHost执行，writeHost不负担读写压力。
|
||||
–writeType 负载均衡类型。
|
||||
writeType=“0”, 所有写操作发送到配置的第一个 writeHost，第一个挂了切到还生存的第二个writeHost，重新启动后已切换后的为准，切换记录在配置文件中:dnindex.properties .
|
||||
writeType=“1”，所有写操作都随机的发送到配置的 writeHost。1.5以后版本废弃不推荐。
|
||||
–switchType -1不自动切换
|
||||
1 默认值 自动切换
|
||||
2 基于MySql主从同步的状态决定是否切换心跳语句为 show slave status
|
||||
3 基于mysql galary cluster 的切换机制（适合集群） 心跳语句为 show status like ‘wsrep%’
|
||||
–dbType 指定后端链接的数据库类型目前支持二进制的mysql协议，还有其他使用jdbc链接的数据库，例如：mongodb，oracle，spark等
|
||||
–dbDriver 指定连接后段数据库使用的driver，目前可选的值有native和JDBC。使用native的话，因为这个值执行的是二进制的mysql协议，所以可以使用mysql和maridb，其他类型的则需要使用JDBC驱动来支持。
|
||||
如果使用JDBC的话需要符合JDBC4标准的驱动jar 放到mycat\lib目录下，并检查驱动jar包中包括如下目录结构文件 META-INF\services\java.sql.Driver。 在这个文件写上具体的driver类名，例如com.mysql.jdbc.Driver
|
||||
writeHost readHost指定后端数据库的相关配置给mycat，用于实例化后端连接池。
|
||||
–tempReadHostAvailable
|
||||
如果配置了这个属性 writeHost 下面的 readHost 仍旧可用，默认 0 可配置（0、1）。
|
||||
1）heartbeat标签
|
||||
这个标签内指明用于和后端数据库进行心跳检查的语句。
|
||||
例如：MYSQL 可以使用 select user()，Oracle 可以使用 select 1 from dual 等。
|
||||
2) writeHost /readHost 标签
|
||||
这两个标签都指定后端数据库的相关配置，用于实例化后端连接池。唯一不同的是，writeHost 指定写实例、readHost 指定读实例。
|
||||
在一个 dataHost 内可以定义多个 writeHost 和 readHost。但是，如果 writeHost 指定的后端数据库宕机，那么这个 writeHost 绑定的所有 readHost 都将不可用。
|
||||
另一方面，由于这个 writeHost 宕机，系统会自动的检测到，并切换到备用的 writeHost 上去。这两个标签的属性相同，这里就一起介绍。
|
||||
–host 用于标识不同实例，一般 writeHost 我们使用M1，readHost 我们用S1。
|
||||
–url 后端实例连接地址。Native：地址：端口 JDBC：jdbc的url
|
||||
–password 后端存储实例需要的密码
|
||||
–user 后端存储实例需要的用户名字
|
||||
–weight 权重 配置在 readhost 中作为读节点的权重
|
||||
–usingDecrypt 是否对密码加密，默认0。
|
||||
```
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
Loading…
Reference in New Issue