成都网站建设设计

将想法与焦点和您一起共享

Java、PHP、Python与MySQL交互的性能测试-创新互联

这几天看源码弄清了一件事:WEB服务器接收浏览器请求、将请求传给PHP/Python进程(FCGI等)、与数据库进行交互都是用socket(套接字)。
也就是说,这些行为都是进程间通信。一台WEB服务器在硬件、操作系统不变的情况下,它的性能主要取决于socket通信的速度。如果所有进程都在一台服务器上的话,这个速度就取决于通信的效率了。

例如与MySQL数据库交互时,程序会调用驱动程序来访问数据库,这个驱动程序主要做这几件事:

1.创建socket,连接到MySQL。

2.将程序调用的API翻译成SQL语句,通过socket发送给MySQL;MySQL执行后,将结果发送回来;驱动程序将结果(字符串)传给程序,如有需要,还可以自动翻译成程序能识别的变量类型(如整型)。

3.断开连接。

可见连接的速度、翻译的速度和接受响应的及时性是最主要的3个方面。

弄明白这点后就不难发现,与数据库的执行时间相比,这些只是很少的一部分;而且PHP和Python使用的都是C实现,而JDBC是用Java实现,所以根本不必担心PHP和Python的性能。
不过在翻译方面还存在算法和实现上的差异,客户端还可以缓存一些语句,所以仍然会出现一些性能上的差异。
为证明我的想法,我特意去测试了一番。

首先列出测试平台:

创新互联公司是一家集网站建设,临河企业网站建设,临河品牌网站建设,网站定制,临河网站建设报价,网络营销,网络优化,临河网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

引用

CPU:Intel Core2 Duo T9400 @ 2.53GHz
内存:3GB
操作系统:Windows XP Pro SP2
MySQL:5.1.36
Java:1.6.0_17-b04
JDBC:MySQL Connector/J 5.1.10
PHP:5.2.11 (cli)
MySQLi:5.2.11.11
Python:2.6.4
MySQL-Python:1.2.3c1 

所用的库都是最新版的,也都采用了最为推荐的库。
但数据库并没有使用最新的稳定版,因为我懒得重下了。5.4.3-beta测试版也试过,在连续插入时,性能比5.1快1~2个数量级,估计是服务器端缓存和设置的原因。

测试项目:

1.创建100万个随机数,并生成插入这些随机数的SQL语句。

2.连接本地数据库,如不成功,尝试创建数据库。

3.删除并创建数据库表,引擎类型为InnoDB,主键为自动递增的整数,此外有个浮点型的字段(无索引)。

4.分成100组,每次插入1万个随机数。(因为每组的执行量都很大,因此启用自动提交事务。)

5.用SELECT COUNT(*)统计小于0.1的随机数个数。(约10万个)

6.用SELECT *取出再统计大于0.9的随机数个数。(约10万个)

7.将所有0.4~0.5之间的随机数加1。(约10万个)

8.将所有0.5~0.6之间的行删除。(约20万个)

9.断开数据库连接。

10.再次连接数据库。

测试代码:

Java:

Java代码  Java、PHP、Python与MySQL交互的性能测试

  1. import java.sql.Connection;

  2. import java.sql.DriverManager;

  3. import java.sql.SQLException;

  4. import java.sql.Statement;

  5. import java.sql.ResultSet;

  6. import java.util.Random;

  7. public final class Test {

  8.     public static void main(String[] args) {

  9.         final int SIZE1 = 10000;

  10.         final int SIZE2 = 100;

  11.         final String DB_ENGINE = "InnoDB"; // InnoDB Memory MyISAM

  12.         final double NANO_TIME_PER_SEC = 1000000000.0;

  13.         System.out.printf("测试数据量:%d\n", SIZE1 * SIZE2);

  14.         System.out.printf("测试引擎:%s\n", DB_ENGINE);

  15.         long t1 = System.nanoTime(), t2, t3 = 0, t4, t5, t6, t7, t8, t9, t10, t11;

  16.         Connection conn = null;

  17.         Statement stmt = null;

  18.         ResultSet rs = null;

  19.         Random r = new Random();

  20.         String[] sqls = new String[SIZE2];

  21.         for (int i = 0; i < SIZE2; ++i){

  22.             StringBuilder buffer = new StringBuilder("INSERT INTO test (value) VALUES (");

  23.             for (int j = 0; j < SIZE1; ++j){

  24.                 buffer.append(r.nextDouble()).append("),(");

  25.             }

  26.             sqls[i] = buffer.substring(0, buffer.length() -2);

  27.         }

  28.         t2 = System.nanoTime();

  29.         try {

  30.             conn = DriverManager.getConnection("jdbc:mysql://localhost/testdb?user=root&password=123456");

  31.             t3 = System.nanoTime();

  32.             stmt = conn.createStatement();

  33.         } catch (SQLException e) {

  34.             try {

  35.                 conn = DriverManager.getConnection("jdbc:mysql://localhost/?user=root&password=123456");

  36.                 t3 = System.nanoTime();

  37.                 stmt = conn.createStatement();

  38.                 stmt.execute("CREATE DATABASE testdb");

  39.             } catch (SQLException ex) {

  40.                 System.out.println("SQLException: " + ex.getMessage());

  41.                 System.out.println("SQLState: " + ex.getSQLState());

  42.                 System.out.println("VendorError: " + ex.getErrorCode());

  43.             }

  44.         }

  45.         try {

  46.             stmt.execute("DROP TABLE test");

  47.         } catch (SQLException e) {

  48.         }

  49.         try {

  50.             stmt.execute("CREATE TABLE test (`id` INT AUTO_INCREMENT PRIMARY KEY, `value` REAL) ENGINE = " + DB_ENGINE);

  51.         } catch (SQLException e) {

  52.         }

  53.         t4 = System.nanoTime();

  54.         try {

  55.             for (String sql: sqls){

  56.                 stmt.execute(sql);

  57.             }

  58.             t5 = System.nanoTime();

  59.             rs = stmt.executeQuery("SELECT COUNT(*) FROM test WHERE value < 0.1");

  60.             if (rs.next())

  61.                 System.out.printf("共有%d个小于0.1的随机数\n", rs.getInt(1));

  62.             t6 = System.nanoTime();

  63.             rs = stmt.executeQuery("SELECT * FROM test WHERE value > 0.9");

  64.             if (rs.last())

  65.                 System.out.printf("共有%d个大于0.9的随机数\n", rs.getRow());

  66.             t7 = System.nanoTime();

  67.             stmt.executeUpdate("UPDATE test SET value = value + 0.1 WHERE value > 0.4 AND value < 0.5");

  68.             t8 = System.nanoTime();

  69.             stmt.execute("DELETE FROM test WHERE value > 0.5 AND value < 0.6");

  70.             t9 = System.nanoTime();

  71.             stmt.close();

  72.             conn.close();

  73.             t10 = System.nanoTime();

  74.             conn = DriverManager.getConnection("jdbc:mysql://localhost/?user=root&password=123456");

  75.             t11 = System.nanoTime();

  76.             conn.close();

  77.             System.out.printf("创建随机数:%f\n", (t2 - t1) / NANO_TIME_PER_SEC);

  78.             System.out.printf("初次连接数据库:%f\n", (t3 - t2) / NANO_TIME_PER_SEC);

  79.             System.out.printf("再次连接数据库:%f\n", (t11 - t10) / NANO_TIME_PER_SEC);

  80.             System.out.printf("初始化数据库和表:%f\n", (t4 - t3) / NANO_TIME_PER_SEC);

  81.             System.out.printf("插入:%f\n", (t5 - t4) / NANO_TIME_PER_SEC);

  82.             System.out.printf("选择(COUNT):%f\n", (t6 - t5) / NANO_TIME_PER_SEC);

  83.             System.out.printf("选择:%f\n", (t7 - t6) / NANO_TIME_PER_SEC);

  84.             System.out.printf("更新:%f\n", (t8 - t7) / NANO_TIME_PER_SEC);

  85.             System.out.printf("删除:%f\n", (t9 - t8) / NANO_TIME_PER_SEC);

  86.             System.out.printf("关闭连接:%f\n", (t10 - t9) / NANO_TIME_PER_SEC);

  87.             System.out.printf("总时间:%f\n", (t10 - t1) / NANO_TIME_PER_SEC);

  88.         } catch (SQLException ex) {

  89.             System.out.println("SQLException: " + ex.getMessage());

  90.             System.out.println("SQLState: " + ex.getSQLState());

  91.             System.out.println("VendorError: " + ex.getErrorCode());

  92.         }

  93.     }

  94. }

PHP:

Php代码  Java、PHP、Python与MySQL交互的性能测试

  1. define('SIZE1', 10000);

  2. define('SIZE2', 100);

  3. define('DB_ENGINE', 'InnoDB'); // InnoDB Memory MyISAM

  4. printf("测试数据量:%d\n", SIZE1 * SIZE2);

  5. printf("测试引擎:%s\n", DB_ENGINE);

  6. $t1 = microtime(true);

  7. for ($i = 0; $i < SIZE2; ++$i){

  8.     for ($j = 0; $j < SIZE1; ++$j){

  9.         $buffer[] = lcg_value();

  10.     }

  11.     $sqls[$i] = 'INSERT INTO test (value) VALUES ('.join('),(', $buffer).')';

  12.     unset($buffer);

  13. }

  14. $t2 = microtime(true);

  15. $db = new mysqli('localhost', 'root', '123456', 'testdb');

  16. $t3 = microtime(true);

  17. if (mysqli_connect_errno()) {

  18.     $db = new mysqli('localhost', 'root', '123456');

  19.     $t3 = microtime(true);

  20.     $db->query('CREATE DATABASE testdb');

  21.     $db->select_db('testdb');

  22. }

  23. $db->query('DROP TABLE test');

  24. $db->query('CREATE TABLE test (`id` INT AUTO_INCREMENT PRIMARY KEY, `value` REAL) ENGINE = '.DB_ENGINE);

  25. $t4 = microtime(true);

  26. foreach ($sqls as $key=>$sql) {

  27.     $db->query($sql);

  28. }

  29. $t5 = microtime(true);

  30. $result = $db->query('SELECT COUNT(*) FROM test WHERE value < 0.1')->fetch_row();

  31. printf("共有%d个小于0.1的随机数\n", $result[0]);

  32. $t6 = microtime(true);

  33. $result = $db->query('SELECT * FROM test WHERE value > 0.9');

  34. printf("共有%d个大于0.9的随机数\n", $result->num_rows);

  35. $t7 = microtime(true);

  36. $db->query('UPDATE test SET value = value + 0.1 WHERE value > 0.4 AND value < 0.5');

  37. $t8 = microtime(true);

  38. $db->query('DELETE FROM test WHERE value > 0.5 AND value < 0.6');

  39. $t9 = microtime(true);

  40. $db->close();

  41. $t10 = microtime(true);

  42. $db = new mysqli('localhost', 'root', '123456', 'testdb');

  43. $t11 = microtime(true);

  44. $db->close();

  45. printf("创建随机数:%f\n", $t2 - $t1);

  46. printf("初次连接数据库:%f\n", $t3 - $t2);

  47. printf("再次连接数据库:%f\n", $t11 - $t10);

  48. printf("初始化数据库和表:%f\n", $t4 - $t3);

  49. printf("插入:%f\n", $t5 - $t4);

  50. printf("选择(COUNT):%f\n", $t6 - $t5);

  51. printf("选择:%f\n", $t7 - $t6);

  52. printf("更新:%f\n", $t8 - $t7);

  53. printf("删除:%f\n", $t9 - $t8);

  54. printf("关闭连接:%f\n", $t10 - $t9);

  55. printf("总时间:%f\n", $t10 - $t1);

  56. ?>

Python:

Python代码  Java、PHP、Python与MySQL交互的性能测试

  1. # -*- coding: gbk -*-

  2. import MySQLdb

  3. from random import random

  4. from time import clock

  5. SIZE1 = 10000

  6. SIZE2 = 100

  7. DB_ENGINE = 'InnoDB' # InnoDB Memory MyISAM

  8. print '测试数据量:', SIZE1 * SIZE2

  9. print '测试引擎:', DB_ENGINE

  10. t1 = clock()

  11. sqls = ['INSERT INTO test (value) VALUES (%s)' % '),('.join([`random()` for i in xrange(SIZE1)]) for j in xrange(SIZE2)]

  12. t2 = clock()

  13. try:

  14.   con = MySQLdb.connect(user='root', passwd='123456', db='testdb')

  15.   t3 = clock()

  16.   cu = con.cursor()

  17. except:

  18.   con = MySQLdb.connect(user='root', passwd='123456')

  19.   t3 = clock()

  20.   cu = con.cursor()

  21.   cu.execute('CREATE DATABASE testdb')

  22.   con.select_db('testdb')

  23. con.autocommit(True)

  24. try:

  25.   cu.execute('DROP TABLE test')

  26. except:

  27.   pass

  28. cu.execute('''''CREATE TABLE test (

  29. `id` INT AUTO_INCREMENT PRIMARY KEY,

  30. `value` REAL)

  31. ENGINE = %s''' % DB_ENGINE)

  32. t4 = clock()

  33. for sql in sqls:

  34.   cu.execute(sql)

  35. t5 = clock()

  36. cu.execute('SELECT COUNT(*) FROM test WHERE value < 0.1')

  37. print '共有%d个小于0.1的随机数' % cu.fetchone()[0]

  38. t6 = clock()

  39. cu.execute('SELECT * FROM test WHERE value > 0.9')

  40. print '共有%d个大于0.9的随机数' % len(cu.fetchall())

  41. t7 = clock()

  42. cu.execute('UPDATE test SET value = value + 0.1 WHERE value > 0.4 AND value < 0.5')

  43. t8 = clock()

  44. cu.execute('DELETE FROM test WHERE value > 0.5 AND value < 0.6')

  45. t9 = clock()

  46. cu.close()

  47. con.close()

  48. t10 = clock()

  49. con = MySQLdb.connect(user='root', passwd='123456', db='testdb')

  50. t11 = clock()

  51. con.close()

  52. print '创建随机数:', t2 - t1

  53. print '初次连接数据库:', t3 - t2

  54. print '再次连接数据库:', t11 - t10

  55. print '初始化数据库:', t4 - t3

  56. print '插入:', t5 - t4

  57. print '选择(COUNT)', t6 - t5

  58. print '选择:', t7 - t6

  59. print '更新:', t8 - t7

  60. print '删除:', t9 - t8

  61. print '关闭连接:', t10 - t9

  62. print '总时间:', t10 - t1

MySQL-Python还有个底层的模块,一并测试下:

Python代码  Java、PHP、Python与MySQL交互的性能测试

  1. # -*- coding: gbk -*-

  2. import _mysql

  3. from MySQLdb.converters import conversions

  4. from random import random

  5. from time import clock

  6. SIZE1 = 10000

  7. SIZE2 = 100

  8. DB_ENGINE = 'InnoDB' # InnoDB Memory MyISAM

  9. print '测试数据量:', SIZE1 * SIZE2

  10. print '测试引擎:', DB_ENGINE

  11. t1 = clock()

  12. sqls = ['INSERT INTO test (value) VALUES (%s)' % '),('.join([`random()` for i in xrange(SIZE1)]) for j in xrange(SIZE2)]

  13. t2 = clock()

  14. try:

  15.   con = _mysql.connect(user='root', passwd='123456', db='testdb', conv=conversions)

  16.   t3 = clock()

  17. except:

  18.   con = _mysql.connect(user='root', passwd='123456', conv=conversions)

  19.   t3 = clock()

  20.   con.query('CREATE DATABASE testdb')

  21.   con.select_db('testdb')

  22. con.autocommit(True)

  23. try:

  24.   con.query('DROP TABLE test')

  25. except:

  26.   pass

  27. con.query('''''CREATE TABLE test (

  28. `id` INT AUTO_INCREMENT PRIMARY KEY,

  29. `value` REAL)

  30. ENGINE = %s''' % DB_ENGINE)

  31. t4 = clock()

  32. for sql in sqls:

  33.   con.query(sql)

  34. t5 = clock()

  35. con.query('SELECT COUNT(*) FROM test WHERE value < 0.1')

  36. print '共有%d个小于0.1的随机数' % con.store_result().fetch_row()[0]

  37. t6 = clock()

  38. con.query('SELECT * FROM test WHERE value > 0.9')

  39. print '共有%d个大于0.9的随机数' % con.store_result().num_rows()

  40. t7 = clock()

  41. con.query('UPDATE test SET value = value + 0.1 WHERE value > 0.4 AND value < 0.5')

  42. t8 = clock()

  43. con.query('DELETE FROM test WHERE value > 0.5 AND value < 0.6')

  44. t9 = clock()

  45. con.close()

  46. t10 = clock()

  47. con = _mysql.connect(user='root', passwd='123456', db='testdb', conv=conversions)

  48. t11 = clock()

  49. con.close()

  50. print '创建随机数:', t2 - t1

  51. print '初次连接数据库:', t3 - t2

  52. print '再次连接数据库:', t11 - t10

  53. print '初始化数据库:', t4 - t3

  54. print '插入:', t5 - t4

  55. print '选择(COUNT)', t6 - t5

  56. print '选择:', t7 - t6

  57. print '更新:', t8 - t7

  58. print '删除:', t9 - t8

  59. print '关闭连接:', t10 - t9

  60. print '总时间:', t10 - t1

每种测试3次(等硬盘灯无闪烁后才进行下一次测试),取最好的一次作为测试结果:
Java:

引用

测试数据量:1000000
测试引擎:InnoDB
共有99465个小于0.1的随机数
共有99859个大于0.9的随机数
创建随机数:2.367840
初次连接数据库:0.220420
再次连接数据库:0.013174
初始化数据库和表:0.075140
插入:12.139346
选择(COUNT):1.130345
选择:1.017769
更新:6.173245
删除:9.380070
关闭连接:0.002131
总时间:32.506307

PHP:

引用

测试数据量:1000000
测试引擎:InnoDB
共有99898个小于0.1的随机数
共有100152个大于0.9的随机数
创建随机数:1.506294
初次连接数据库:0.003146
再次连接数据库:0.001808
初始化数据库和表:0.131754
插入:12.046944
选择(COUNT):1.236742
选择:1.238153
更新:6.115232
删除:8.145547
关闭连接:0.000125
总时间:30.423937

Python(MySQLdb):

引用

测试数据量: 1000000
测试引擎: InnoDB
共有100040个小于0.1的随机数
共有100351个大于0.9的随机数
创建随机数: 1.6822107279
初次连接数据库: 0.0332120423126
再次连接数据库: 0.00221704155137
初始化数据库: 0.131054924578
插入: 11.7999030603
选择(COUNT) 1.27067266929
选择: 1.16714526567
更新: 6.29200638629
删除: 8.13660563005
关闭连接: 0.000131022238861
总时间: 30.5129417286

Python(_mysql):

引用

测试数据量: 1000000
测试引擎: InnoDB
共有99745个小于0.1的随机数
共有99869个大于0.9的随机数
创建随机数: 1.68099074044
初次连接数据库: 0.0112056141213
再次连接数据库: 0.00159293988482
初始化数据库: 0.130169616529
插入: 12.1364623157
选择(COUNT) 1.125517908
选择: 0.968366649951
更新: 6.8042843434
删除: 8.9760508668
关闭连接: 9.61015995031e-05
总时间: 31.8331441566

可以看到,在大批量数据测试中,Java是最慢的,而PHP是最快的。
不考虑IO性能的波动的话,Java主要慢在连接和关闭数据库。JDBC 4.0在第一次连接数据库时会动态加载驱动,非常耗时,因此使用Java要记住使用数据库连接池,避免连接浪费大量时间。当然,这也造成了数据库的负担,势必影响内存占用。而创建随机数的算法实现各不相同,所以不具备可比性;令我惊讶的是SELECT的翻译速度,将字符串转换成浮点数居然慢于Python,要知道后者的浮点数可是对象。
PHP连接数据库非常快,所以完全无需使用连接池,因为维护连接池会增加复杂性。
Python的表现和PHP差不多,但是第一次连接数据库比较慢(仍比Java快1个数量级)。如果不用连接池,则使用FCGI等方式来运行比较合适。_mysql模块的通信很快,但更新和删除操作却不太理想,也许是IO性能波动的原因。此外,我在连接数据库时使用了转换参数,实际上我用的语句都不需要翻译,不使用的话会更快一点。

接着试试小数据,改成最常用的MyISAM引擎,插入100条(1组)。一般的应用不可能一次插入那么多,所以足够满足平时的应用了;而且由于数据量很小,也基本不受IO影响。

测试结果:

Java:

引用

测试数据量:100
测试引擎:MyISAM
共有9个小于0.1的随机数
共有10个大于0.9的随机数
创建随机数:0.001596
初次连接数据库:0.224135
再次连接数据库:0.018656
初始化数据库和表:0.055601
插入:0.001476
选择(COUNT):0.000529
选择:0.000433
更新:0.000304
删除:0.000313
关闭连接:0.000927
总时间:0.285314

PHP:

引用

测试数据量:测试数据量:100
测试引擎:MyISAM
共有12个小于0.1的随机数
共有9个大于0.9的随机数
创建随机数:0.000649
初次连接数据库:0.008077
再次连接数据库:0.001609
初始化数据库和表:0.060421
插入:0.001860
选择(COUNT):0.000580
选择:0.000465
更新:0.000326
删除:0.000373
关闭连接:0.000127
总时间:0.072878

Python(MySQLdb):

引用

测试数据量: 100
测试引擎: MyISAM
共有14个小于0.1的随机数
共有9个大于0.9的随机数
创建随机数: 0.000198907961766
初次连接数据库: 0.0334640296462
再次连接数据库: 0.00150577796899
初始化数据库: 0.0123194428342
插入: 0.00125211444471
选择(COUNT) 0.000581079438867
选择: 0.000484139744018
更新: 0.000250311142897
删除: 0.000262323842835
关闭连接: 7.98984228442e-05
总时间: 0.0488922474784

Python(_mysql):

引用

测试数据量: 100
测试引擎: MyISAM
共有12个小于0.1的随机数
共有10个大于0.9的随机数
创建随机数: 0.000214273043082
初次连接数据库: 0.0118774872225
再次连接数据库: 0.00123702872851
初始化数据库: 0.0315031659052
插入: 0.00120322554962
选择(COUNT) 0.000596165155069
选择: 0.000507327048549
更新: 0.0002447238406
删除: 0.00026148574749
关闭连接: 5.78285787719e-05
总时间: 0.0464656820909

从结果可以看出,虽然差距都很小,但Python仍然稍微占优。不过Java的SELECT操作稍微胜出,而这也是实际应用中最常使用的操作。
再从语言方面来看,Python无疑是写得最欢畅的,生成随机数只用了1行代码;PHP的变量要写个$让我老是出错,不过数据库操作不需要处理异常,这点节省了很多代码;Java的代码量很大,而且不得不使用很多try...catch,我甚至懒得以安全的方式将close()放在finally块里面,因为它也会抛出我根本懒得去管的异常,且会提示我计时变量可能没有初始化。

总体上来看,Google放弃Python,只采用C++和Java是有点不明智。因为页面响应时间主要在于数据库通信和磁盘文件IO上,语言的影响基本忽略不计。

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


本文标题:Java、PHP、Python与MySQL交互的性能测试-创新互联
浏览地址:http://chengdu.cdxwcx.cn/article/dcpehe.html