服务器的访问压力比较大时,我们可以通过负载均衡来将负载分散到多台服务器上.但有些比较耗时的请求.比如:
1. 需要连接邮件服务器,发送一封超长的HTML邮件。2. 需要对用户上传的图片进行裁剪,生成多份缩略图。3. 需要将用户上传的文件分发到多台服务器上。在我们的日常应用中经常遇到,用户需要等待一段时间,这个请求才能完成,在用户上传照片时,照片上传成功后,然后是裁剪,最后生成缩略图,在这么一个过程中,用户只能等待,所以对用户的体验来讲是相当不好的。可能在用户第一次使用过后,下次就很难再让他使用这个图片的上传功能了。
那么有没有一种方法将这些处理过程放在后台慢慢运行呢?答案是肯定的,通过分布式处理可以将这些比较耗时的任务放在后台,甚至分散到多台服务器上去处理,对于这个问题异步处理就派上了用场。
现在有很多开源的软件能实现异步通信,比如ActiveMQ、Hadoop、Gearman和MecacheMQ等,它们巧妙的将计算转移到其他服务器上,而这一切都是隐藏在API中,同时,这些机制都是跨语言的,可以用PHP来分配一个任务,然后将后台的C/C++程序来进行处理,这一切都不是什么问题。
下面通过php和Gearman来演示异步的处理过程.
一、Gearman的安装
tar zxvf gearmand-0.11.tar.gzcd gearmand-0.11./configure --prefix=/usr/local/gearmanmakemake install
二、安装Gearman PHP extension.
tar zxf gearman-0.6.0.tgz cd gearman-0.6.0 phpize ./configure make
将module目录上的gearman.so拷贝到php的module目录下,我机器的目录在/usr/lib/php5/20060613+lfs/.
cp module/gearman.so /usr/lib/php5/20060613+lfs/.
然后在php.ini中添加
extension = “gearman.so”最后重启apache服务器.三、启动Gearman服务cd /usr/local/gearman/sbin./gearman -d -u root
Job的默认端口为4730,可以通过
[root@serv_1 sbin]# netstat -nl | grep 4730tcp 0 0 :::4730 :::* LISTEN
是否启动.
通过bin/gearman这个工具,我们可以来体验Gearman的功能.
启动Worker:./gearman -w -f wc -- wc -l &[1] 2547
运行 Client:
./gearman -f wc < /etc/passwd38
上面的例子中,Worker中定义了一个函数 wc,主要功能用来统计文本的行数,而client将/etc/passwd这个文件的内容传给Worker来处理,最后得出passwd有38行文本.
四、使用php来编写Worker和Client.这里任务还是用官方的一个例子来说明,将一个字符串反转后输出,为了模拟这个过程耗时,我们将程序sleep1秒种,并将处理函数连续调用100次.
先来看看一般情况下我们的程序处理方式.1、不使用异步处理的方式.for ($i = 0; $i < 100; $i ++) { my_reverse_function("helloword!")} function my_reverse_function($str) { sleep(1); echo strrev($str); echo "\n";}
可以看出这个处理过程是相当耗时的,整个程序处理完成基本需要100秒.
2、使用基于Gearman的php异步处理方式
编写Worker.php
$worker = new GearmanWorker();$worker->addServer();//$worker->addServer();$worker->addFunction("reverse","my_reverse_function"); while ($worker->work()); function my_reverse_function($job) { sleep(1); echo strrev($job->workload()); echo "\n";}
启动Worker.php.
php Worker.php
这时Worker.php作为一个后台服务,处于一个监听状态,只要有任务过来,马上进行处理.
编写Client.php
$client = new GearmanClient();$client->addServer();echo "beginning...\n";for ($i = 0; $i < 100; $i++) { $client->doBackground('reverse',($i+1).'_Hello World!')."\n";}echo "finishing...\n";
这里的Client.php就是任务的发起者,这里将连续处理100次字符串反转任务.
运行Client.php
$ php client.php beginning...finishing...
这时Client.php将任务交给了Worker.php来处理,但它本身很快就运行完成,这里再回过来来看Worker.php的运行状态,如下.
$ php Worker.php !dlroW olleH_1!dlroW olleH_2!dlroW olleH_3!dlroW olleH_4!dlroW olleH_5!dlroW olleH_6!dlroW olleH_7!dlroW olleH_8!dlroW olleH_9!dlroW olleH_01!dlroW olleH_11!dlroW olleH_21!dlroW olleH_31!dlroW olleH_41!dlroW olleH_51!dlroW olleH_61....
发现在Client.php运行完成后,Worker.php则是每秒输出一条处理结果,直到所有的任务全部处理完成.
以上主要是说明异步处理是怎么回事,在目前的开发中,怎么将耗时过长的任务进行异步来处理。但在日常的开发中,可能有些任务耗时确实很长,但处理后的结果又需要很快的反馈给用户时,这里我们就需要将处理后的结果即时的保存到数据库中,然后靠专门的程序将结果反馈给用户。可能还会有一个问题,这样异步处理,万一处理失败了怎么办,同样的道理,我们可以将每个任务的处理状态保存起来,然后用程序定时的去扫描,将处理失败的任务再重启执行一次,反复下去,直接它成功完成为止。
参考资料.