在工作中遇到了需要大批量的更新同步数据，首先用了个笨方法测试，那就是for循环插入与更新。由于数据是从另外一个大型网站的接口中获取的，我本地需要进行处理后，再进行更新与判断，程序执行完成之后，发现耗时太长，仅仅五千条数据就耗时了五个小时左右，非常耗时间。

在进行更新与插入的操作的时候，我们首先必须考虑到文件执行时间的问题。当php文件执行时间过长时，服务器会终止该文件的执行，所以我们要么更改php.ini配置，要么在文件开头加上下列代码：

　　set_time_limit(0);         //取消脚本执行延时上限　　ignore_user_abort(TRUE); //如果客户端断开连接，不会引起脚本abort

 

另外我们在获取数据以及对数据进行处理的时候，可能会造成数据乱码或者编码格式错误，在开头加上设置编码格式的代码，如下： 　　

　　header("content-type:text/html;charset=utf-8");

 

下面我们来进行插入的实例操作：

方法一：根据资料显示，可以进行事务处理操作，经过测试，时间确实缩短了，五千条数据大概一个多小时全部处理完毕，时间缩短了一大半。但是这方法必要要求是（该数据库支持事务处理），重中之重

示例代码如下：

　　

　　　$connect_mysql->query(‘BEGIN');　　　$params=array(‘value'=>'50′);　　　　for($i=0;$i<2000000;$i++){   　　　　 $connect_mysql->insert($params);    　　　　 if($i%100000==0){        　　　　$connect_mysql->query(‘COMMIT');        　　　　$connect_mysql->query(‘BEGIN');   　　　　 }　　　　}　　　　　　　　$connect_mysql->query(‘COMMIT');

 

该方法需要注意的是：

1.每次rollback或者commit之后加上begin，否则下次循环将不会开启事务

2.在循环结束后，加上commit，否则可能会有开启的事务未commit或者rollback，会造成数据库错误：1025-lock wait timeout exceeded;try restarting transaction

方法二：对sql语句进行拼接，最后统一插入。

代码示例如下：

　　

　　$sql= “insert into twenty_million (value) values”;　　for($i=0;$i<2000000;$i++){    $sql.=”('50′),”;　　};　　$sql=substr($sql,0,strlen($sql)-1);　　$connect_mysql->query($sql);

 

该方法的主要耗时是在程序数据的处理上，减少了与数据库的连接与操作，而我们知道程序的短板和主要耗时都是在数据库上，该方法确实有效地减少了程序执行的时间，我们在使用的时候可以使用该方法

但是必须注意的是，该方法语句的字段必须正确，并且与值对应，不能有错误的值，否则插入会失败

下面是对于数据批量更新的操作，下列方法真的让人受益良多，打开新知识的大门

方法一：该方法根据资料所述，实际上是将对应的数据先进行delete，再进行insert，如果更新的字段不全会将缺失的字段设置为缺省值，这个在实际工作中要注意，很危险