php大数据优化 php如何处理大数据( 六 )


$pdo = new PDO("mysql:host=localhost;dbname=test","root","123456");
$sql = "insert into test(name,age,state,created_time) values";
for($i=0; $i100000; $i++){
$sql .="('zhangsan',21,1,'2015-09-17')";
}
$sql = substr($sql,0,strlen($sql)-1);
var_dump($sql);
if($pdo - exec($sql)){
echo "插入成功!";
echo $pdo - lastinsertid();
}
试试吧 。10万条1分钟多,我觉得还行
请教如何通过WCF传输大数据量数据
就是直接把DataSet 类型作为参数直接传递给服务端
WCF默认支持这么做,直接传Datatable不行 。
你看一下 “服务引用设置”中你选的 *** 类型是什么,我选的是System.Array
字典 *** 类型是默认第一项 System.Collections.Generic.Dictionary
又是一个把自己架在火上烤的需求啊,
如果不考虑传输因素,可以调整wcf配置,提升传递的容量,如果是对象传递可能还要调整对象层次的深度
php+Mysql 大数据导入怎样提高效率优化SQL插入语句;
比如循环一条一条插入 , 改成链接多个值进行插入 。
将:
foreach($re as $it){
$sql="insert into table (id,name) values(".$it['id'].","."$it['name'].")";
mysql_query($sql);
}
改为:
$sql="insert into table (id,name) values";
foreach($re as $it){
$str="'".$it['id']."','".$it['name']."'";
}
$sql .= "(".$str."),";
$sql2 = substr($sql,0,-1);
mysql_query($sql);
打开mysql的配置文件,my.ini文件,并找到:max_allowed_packet项;
将值修改大一点,具体根据自己需要修改 。比如这里修改为:1G 。
重启mysql服务;
5
如果运行页面提示内存溢出 , 可将值设大一点 。
Allowed memory size of 134217728 bytes exhausted (tried to allocate 132907287 bytes)
步骤阅读
6
这样 , 面对千万数据导入的时候,比原来那种方法至少快好多倍 。
如何自学PHP以及大数据量的优化学成的人不是没有但是太少了,没有基础的还是找个地方学学好点 。我建议你应该去实地去看一下 , 可以选择试听,感受一下学习的氛围和环境,跟学生交谈一下,了解更多的信息 。然后再根据自己的感受和各方面的因素来决定,避免浪费时间和金钱 。
【php大数据优化 php如何处理大数据】关于php大数据优化和php如何处理大数据的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站 。