PHPで長時間かかる重い処理を行うとき、
マルチスレッドで動かせたらなぁ！と思うことがよくあります。
マルチスレッド処理を行うことで、時間のかかる処理を
複数同時に並列実行でき、高速化することができます。
(特に通信処理などで遅延がある場合に有効です)
PHPにはpcntl_forkというプロセスをフォーク(複製)することが
できる関数がありますが、これはPHPをCGIモードで
動かしている場合にのみ有効です。
通常はPHPをApacheモジュールとして動作させていることが
多いので、これが使えないケースが多々あります。
他には、system関数などでシステムコールを行い、
など & を使って実行するという方法もありますが、
これもphpがCGI版として実行できなければいけません。
システムコールで呼ぶプログラムをPerlなどで
書けばいいのですが、できればPHPで全部統一したいものです。
そこでいろいろ実験や研究をしていたのですが、
良さそうな方法を見つけました。
curl_multiを使って並列処理を行う
PHP5になってから、curl_multi_*という関数群が
使えるようになりました。
curlの関数はURLからソースを取得するなどの用途で
使っている方も多いと思いますが、
PHP5から並列にソースを取得するcurl_multi系の
機能が追加されています。
これを使ってAPIを複数同時にたたいたりできるのですが、
並列実行したいPHPをたたくことで並列化が可能です！
サンプルを書いてみました。
-
<?php
-
-
//並列実行したいPHP
-
$url_list = array(
-
'http://localhost/sleep.php?pid=1',
-
'http://localhost/sleep.php?pid=2',
-
'http://localhost/sleep.php?pid=3',
-
'http://localhost/sleep.php?pid=4',
-
);
-
//開始時間取得
-
-
//実行
-
$res = fetch_multi_url($url_list);
-
-
//結果出力
-
echo '実行結果:<pre>';
-
echo '</pre>';
-
-
//実行時間
-
-
/**
-
* 複数URLを同時に取得する
-
*
-
* @param array $url_list URLの配列
-
* @param int $timeout タイムアウト秒数 0だと無制限
-
* @return array 取得したソースコードの配列
-
*/
-
function fetch_multi_url($url_list,$timeout=0) {
-
$mh = curl_multi_init();
-
-
foreach ($url_list as $i => $url) {
-
$conn[$i] = curl_init($url);
-
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
-
curl_setopt($conn[$i],CURLOPT_FAILONERROR,1);
-
curl_setopt($conn[$i],CURLOPT_FOLLOWLOCATION,1);
-
curl_setopt($conn[$i],CURLOPT_MAXREDIRS,3);
-
-
//SSL証明書を無視
-
curl_setopt($conn[$i],CURLOPT_SSL_VERIFYPEER,false);
-
curl_setopt($conn[$i],CURLOPT_SSL_VERIFYHOST,false);
-
-
//タイムアウト
-
if ($timeout){
-
curl_setopt($conn[$i],CURLOPT_TIMEOUT,$timeout);
-
}
-
-
curl_multi_add_handle($mh,$conn[$i]);
-
}
-
-
//URLを取得
-
//すべて取得するまでループ
-
$active = null;
-
do {
-
$mrc = curl_multi_exec($mh,$active);
-
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
-
-
while ($active and $mrc == CURLM_OK) {
-
if (curl_multi_select($mh) != -1) {
-
do {
-
$mrc = curl_multi_exec($mh,$active);
-
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
-
}
-
}
-
-
if ($mrc != CURLM_OK) {
-
echo '読み込みエラーが発生しました:'.$mrc;
-
}
-
-
//ソースコードを取得
-
$res = array();
-
foreach ($url_list as $i => $url) {
-
if (($err = curl_error($conn[$i])) == '') {
-
$res[$i] = curl_multi_getcontent($conn[$i]);
-
} else {
-
echo '取得に失敗しました:'.$url_list[$i].'<br />';
-
}
-
curl_multi_remove_handle($mh,$conn[$i]);
-
curl_close($conn[$i]);
-
}
-
curl_multi_close($mh);
-
-
return $res;
-
}
sleep.phpの中身は
-
<?php
-
echo 'pid='.$_GET['pid'];
こんな感じで、一つにつき5秒のsleepをかけてます。
(GET値がちゃんと渡っているか確認する為にechoしています)
このsleep.phpを4回実行します。
逐次実行すれば 5秒 x 4回 = 20秒 ほどかかるはずです。
結果は・・・
-
実行結果:
-
-
Array
-
(
-
[0] => pid=1
-
[1] => pid=2
-
[2] => pid=3
-
[3] => pid=4
-
)
-
-
--
-
time:5 sec
バッチリ5秒で実行されてます！ (感動)
DNS逆引き処理を並列実行してみました
実際にIPアドレスをホスト名にDNS逆引きする処理を
並列処理してみました。
アクセスログから抽出した重複しないIP1,000個に対して、
phpのgethostbyaddr関数を実行していきます。
(キャッシュの影響を除外する為に2回目の計測結果です)
実行結果
-----------------------------------
並列なし:124秒
10スレッド並列:33秒
-----------------------------------
すごい！
DNSが逆引きできない場合タイムアウト待ちをするので
さすがに十分の一とはいきませんでしたが、
それでもかなり高速化できています。
実運用に際して
実運用の際は、
-
//並列実行したいPHP
-
$url_list = array(
-
'http://localhost/something.php?from=0&to=100',
-
'http://localhost/something.php?from=101&to=200',
-
'http://localhost/something.php?from=201&to=300',
-
'http://localhost/something.php?from=301&to=400',
-
);
こんな感じでタスクを割り振るとか、
スレッドの合計並列数とスレッド番号を渡して
自動でタスクを分割するようなロジックをかけばいいですね。
もちろん長時間動かす時はset_time_limitの設定も忘れずに。
ignore_user_abortを使えばバックグラウンド処理も可能です。
あとは意図しないアクセスを防ぐために
IPアドレスなどでブロックしておくといいと思います。
ソースコードは各自の責任範囲で自由にお使いください。
関連した記事：
PHPでマルチスレッド処理を行う方法を探してここにたどり着きました。
ここに記載されていることは、自分の得たい情報そのものであり、非常に感謝しています。
しかしながら、ひとつ疑問に思う点があり質問させていただきます。
それは、上の処理方法ですとsleep.phpからデータが返ってくるときは文字列データになってるのではないかということです。
数値データのままデータを返すことはできないのでしょうか？
よろしくお願いします。
curlで取得できるデータは全て文字列型になります。
もし数値や配列、オブジェクトなどで受け取りたい場合は、sleep.php側で、echo する値をserialize関数で文字列にし、curlを呼び出す側でunserializeしてやればそのまま受け取ることができますよ