MySQL压力测试工具简单教程--mysqlslap

MySQL从5.1.4版开始带有一个压力测试工具mysqlslap，通过模拟多个并发客户端访问mysql来执行测试，使用起来非常的简单。通过mysqlslap –help可以获得可用的选项，这里列一些主要的参数，更详细的说明参考官方手册。
-auto-generate-sql, -a
自动生成测试表和数据

-auto-generate-sql-load-type=type
测试语句的类型。取值包括：read，key，write，update和mixed(默认)。

-number-char-cols=N, -x N
自动生成的测试表中包含多少个字符类型的列，默认1

-number-int-cols=N, -y N
自动生成的测试表中包含多少个数字类型的列，默认1

-number-of-queries=N
总的测试查询次数(并发客户数×每客户查询次数)

-query=name,-q
使用自定义脚本执行测试，例如可以调用自定义的一个存储过程或者sql语句来执行测试。

-create-schema
测试的schema，MySQL中schema也就是database

-commint=N
多少条DML后提交一次

-compress, -C
如果服务器和客户端支持都压缩，则压缩信息传递

-concurrency=N, -c N
并发量，也就是模拟多少个客户端同时执行select。可指定多个值，以逗号或者–delimiter参数指定的值做为分隔符

-engine=engine_name, -e engine_name
创建测试表所使用的存储引擎，可指定多个

-iterations=N, -i N
测试执行的迭代次数

-detach=N
执行N条语句后断开重连

-debug-info, -T
打印内存和CPU的信息

-only-print
只打印测试语句而不实际执行

它的使用语法如下：
shell>/usr/local/mysql/bin/mysqlslap [options]

常用参数【options】详细介绍：
--concurrency代表并发数量，多个可以用逗号隔开。例如：--concurrency=50,200,500
--engines代表要测试的引擎，可以有多个，用分隔符隔开。例如：--engines=myisam,innodb,memory
--iterations代表要在不同并发环境下，各自运行测试多少次。
--auto-generate-sql 代表用mysqlslap工具自己生成的SQL脚本来测试并发压力。
--auto-generate-sql-add-auto-increment 代表对生成的表自动添加auto_increment列，从5.1.18版本开始，
--auto-generate-sql-load-type 代表要测试的环境是读操作还是写操作还是两者混合的（read,write,update,mixed）
--number-of-queries 代表总共要运行多少条查询。
--debug-info 代表要额外输出CPU以及内存的相关信息。
--number-int-cols 代表示例表中的INTEGER类型的属性有几个。
--number-char-cols代表示例表中的vachar类型的属性有几个。
--create-schema 代表自定义的测试库名称。
--query 代表自定义的测试SQL脚本。

说明：
测试的过程需要生成测试表，插入测试数据，这个mysqlslap可以自动生成，默认生成一个mysqlslap的schema，如果已经存在则先删除。可以用-only-print来打印实际的测试过程，整个测试完成后不会在数据库中留下痕迹。

实验步骤：
练习一：
单线程测试。测试做了什么。
>./bin/mysqlslap -a -uroot -p111111
多线程测试。使用--concurrency来模拟并发连接。
> ./bin/mysqlslap -a -c 100 -uroot -p111111
迭代测试。用于需要多次执行测试得到平均值。
> ./bin/mysqlslap -a -i 10 -uroot -p111111

练习二：
> ./bin/mysqlslap -auto-generate-sql-add-autoincrement -a -uroot -p111111
> ./bin/mysqlslap -a -auto-generate-sql-load-type=read -uroot -p111111
> ./bin/mysqlslap -a -auto-generate-secondary-indexes=3 -uroot -p111111
> ./bin/mysqlslap -a -auto-generate-sql-write-number=1000 -uroot -p111111

> ./bin/mysqlslap --create-schema world -q "select count(*) from City" -uroot -p111111
> ./bin/mysqlslap -a -e innodb -uroot -p111111
> ./bin/mysqlslap -a --number-of-queries=10 -uroot -p111111

练习三：
执行一次测试，分别50和100个并发，执行1000次总查询：
> ./bin/mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --debug-info -uroot -p111111

50和100个并发分别得到一次测试结果(Benchmark)，并发数越多，执行完所有查询的时间越长。为了准确起见，可以多迭代测试几次:
> ./bin/mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --debug-info -uroot -p111111

测试同时不同的存储引擎的性能进行对比：
>./bin/mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --engine=myisam,innodb --debug-info -uroot -p111111

Mysql中迅速插入上百万条记录测试数据

最近想到创建一个大量数据的测试环境，于是找了一下怎么插入100W条数据，我用的是20个字段。
对比一下，首先是用 mysql 的存储过程做的:
mysql> delimiter $
SET AUTOCOMMIT = 0$$
create procedure test()
begin
declare i decimal (10) default 0 ;
dd:loop
INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`, `thumb_url`, `is_display_front`, `create_html_time`, `hit`, `buy_sum`, `athor`, `templete _style`, `is_hot`, `is_new`, `is_best`) VALUES
(268, 2, '0,262,268,', 0, '2342', '423423', '123123', '2012-01-09 09:55:43', 'upload/product/20111205153432_53211.jpg', 'upload/product/thumb_20111205153432_53211.jpg', 1, 0, 0, 0, 'admin', '0', 0, 0, 0);
commit;
set i = i+1;
if i= 1000000 then leave dd;
end if;
end loop dd ;
end;$
delimiter ;
call test;

结果
mysql> call test;
Query OK, 0 rows affected (58 min 30.83 sec)
非常耗时。

于是我又找了一个方法
先用PHP代码生成数据，再导入：
= (SELECT floor(RAND() * (SELECT MAX(itemid) FROM `downitems`))) ORDER BY itemid LIMIT 1000;
然后可以修改1000的数字了。改为5000或者1万。很快可以达到100万的数据量了。

在进行hdwiki二次开发全文检索时需要大量的测试数据，多执行几次以下代码，就可以达到百万级别mysql记录。
注：LIMIT 100000数值可以随意更改，看服务器性能……
代码如下：
insert into wiki_doc (cid,letter,title,tag,summary,content,author,authorid,time,lastedit,lasteditor,lasteditorid,views,edits,editions,comments,votes,visible,locked)
SELECT cid,letter,title,tag,summary,content,author,authorid,time,lastedit,lasteditor,lasteditorid,views,edits,editions,comments,votes,visible,locked FROM `wiki_doc` WHERE did >= (SELECT floor(RAND() * (SELECT MAX(did) FROM `wiki_doc`))) ORDER BY did LIMIT 100000;

Mysql动态生成测试数据
一、问题
要生成两类数据：
A类：两位数的数据 01 02 03 ... 09 10 11 ... 19 20 21 ... 98 99
B类：三位数的数据 100 101 102 ... 110 111 112 ... 998 999

二、解决办法
1、建表
CREATE TABLE `test`.`ta` (`a` varchar(45) NOT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;
2、创建存储过程
DELIMITER $$
DROP PROCEDURE IF EXISTS `test`.`proc_tp` $$
CREATE DEFINER=`root`@`localhost` PROCEDURE `proc_tp`(in prex int,in max int)
begin
declare i INT DEFAULT 0;
declare s varchar(500);
WHILE (i<10 and prex
经过测试，如果采用逐条的方式，1万条数据的插入时间，大概是227.246S，上面的方法，只需要0.940S，如果数据量增加到10W条，也仅需14.774S
由于本机配置不高，生成30W条时发生内存溢出错误，因而30W条数据的插入，无法做判断。
未创建索引前
mysql> select count(*) from test where title = "a";
mysql> select count(*) from test where title = "a";
那么，现在开始创建索引
ALTER TABLE test ADD INDEX index_title (title);
之后再次查询
mysql> select count(*) from test where title = "a";
mysql> select count(*) from test where title = "a";