成都网站建设设计

将想法与焦点和您一起共享

php多进程处理数据库 php多线程和多进程实现

php采集大数据的方案

1、建议你读写数据和下载图片分开,各用不同的进程完成。

公司主营业务:网站制作、网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出磴口免费做网站回馈大家。

比如说,取数据用get-data.php,下载图片用get-image.php。

2、多进程的话,php可以简单的用pcntl_fork()。这样可以并发多个子进程。

但是我不建议你用fork,我建议你安装一个gearman worker。这样你要并发几个,就启几个worker,写代码简单,根本不用在代码里考虑thread啊,process等等。

3、综上,解决方案这样:

(1)安装gearman worker。

(2)写一个get-data.php,在crontab里设置它每5分钟执行一次,只负责读数据,然后把读回来的数据一条一条的扔到 gearman worker的队列里;

然后再写一个处理数据的脚本作为worker,例如叫process-data.php,这个脚本常驻内存。它作为worker从geraman 队列里读出一条一条的数据,然后跟你的数据库老数据比较,进行你的业务逻辑。如果你要10个并发,那就启动10个process-data.php好了。处理完后,如果图片地址有变动需要下载图片,就把图片地址扔到 gearman worker的另一个队列里。

(3)再写一个download-data.php,作为下载图片的worker,同样,你启动10个20个并发随便你。这个进程也常驻内存运行,从gearman worker的图片数据队列里取数据出来,下载图片

4、常驻进程的话,就是在代码里写个while(true)死循环,让它一直运行好了。如果怕内存泄露啥的,你可以每循环10万次退出一下。然后在crontab里设置,每分钟检查一下进程有没有启动,比如说这样启动3个process-data worker进程:

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了没有

PHP如何实现多进程

thisObj.className = "active";

document.getElementById(tabObj+"_Content"+i).style.display = "block";

}else{

tabList[i].className = "normal";

document.getElementById(tabObj+"_Content"+i).style.display = "none";

}

北大青鸟设计培训:PHP中的(伪)多线程与多进程?

利用WEB服务器本身的多线程来处理,从WEB服务器多次调用我们需要实现多线程的程序。

PHP中也能多线程了,那么问题也来了,那就是同步的问题。

厦门电脑培训知道PHP本身是不支持多线程的,所以更不会有什么像Java中synchronize的方法了。

那我们该如何做呢?1.尽量不访问同一个资源。

以避免冲突。

但是可以同时像数据库操作。

因为数据库是支持并发操作的。

所以在多线程的PHP中不要向同一个文件中写入数据。

如果必须要写的话,用别的方法进行同步。

如调用flock对文件进行加锁等。

或建立临时文件,并在另外的线程中等待这个文件的消失while(file_exits('xxx'));这样就等于这个临时文件存在时,表示其实线程正在操作。

如果没有了这个文件,说明其它线程已经释放了这个。

2.尽量不要从runThread在执行fputs后取这个socket中读取数据。

因为要实现多线程,需要的用非阻塞模式。

即在像fgets这样的函数时立即返回。

所以读写数据就会出问题。

如果使用阻塞模式的话,程序就不算是多线程了。

他要等上面的返回才执行下面的程序。

所以如果需要交换数据最后利用外面文件或数据中完成。

实在想要的话就用socket_set_nonblock($fp)来实现。

说了这么多,倒底这个有没有实际的意义呢?在什么时候需要这种用这种方法呢?答案是肯定的。

大家知道。

在一个不断读取网络资源的应用中,网络的速度是瓶颈。

如果采多这种形式就可以同时以多个线程对不同的页面进行读取。

PHP多进程同时追加写入TXT,导致之前的内容丢失。

多进程同时修改一个文件是很容易造成这样的情况,建议使用数据库来存储,编程就非常简单,锁可以细到记录级。

如果必须使用文件,一般的办法是读文件前判断是否存在临时文件,存在就放弃(或者等待),只有不存在临时文件才继续操作,继续操作的第一步是建立临时文件,修改文件,最后删除临时文件。

php 如何实现多进程

#!/usr/bin/env php

?php

$cmds=array(

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','mobile',1),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','mobile',2),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','click',1),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','click',2),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php',1),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php',2)

);

foreach($cmds as $cmd){

$pid=pcntl_fork();

if($pid==-1){ //进程创建失败

die('fork child process failure!');

}

else if($pid){ //父进程处理逻辑

pcntl_wait($status,WNOHANG);

}

else{ //子进程处理逻辑

pcntl_exec('/usr/local/bin/php',$cmd);

}

}

PHP如何解决多进程同时读写一个文件的方法

/*

*flock(file,lock,block)

*file 必需,规定要锁定或释放的已打开的文件

*lock 必需。规定要使用哪种锁定类型。

*block 可选。若设置为 1 或 true,则当进行锁定时阻挡其他进程。

*lock

*LOCK_SH 要取得共享锁定(读取的程序)

*LOCK_EX 要取得独占锁定(写入的程序)

*LOCK_UN 要释放锁定(无论共享或独占)

*LOCK_NB 如果不希望 flock() 在锁定时堵塞

/*

if (flock($file,LOCK_EX))

{

fwrite($file,'write more words');

flock($file,LOCK_UN);

}

else

{

//处理错误逻辑

}

fclose($file);

)


网页标题:php多进程处理数据库 php多线程和多进程实现
网站路径:http://chengdu.cdxwcx.cn/article/doojdes.html