目录
什么是php采集程序？
为什么要采集？
采集些什么？
如何采集？
采集范例程序
一些常用的函数
对一个目标网站的全面采集
什么是php采集程序？
php采集程序，也叫php小偷，主要是用于自动搜集网络上web页里特定内容，用php语言写的web程序，运行于支持php的平台上。谈到“自动搜集”，你可能联想到百度goole，联想到搜索引擎所做的事情。php采集程序，正是做类似的工作。
为什么要采集？
互联网正以飞快的速度在发展，web数据每天以几何级数据量递增，面对这庞大的数据，作为一个网站管理员的你，该如何搜集自己所需要的信息呢？特别对某个或某几个同类网站，你需要它们的大量信息，来充实你的网站内容，难道就只能复制粘贴的过日子吗？一个网站管理员，你真的就得花大量时间去搞原创内容，而与整个互联网信息量的发展速度脱节吗？这些问题的解决方法只有一个：采集。如果有那么一个程序，你帮你的网站自动或半自动的采集你所需要的特定内容，即时更新你网站的信息，是否是你梦寐以求的呢？这就是采集程序出现的原因所在。
采集些什么？
这要看你做的什么类型的网站了。如果你做图片站，就采集图片；做音乐站，就采集mp3，做新闻站，就采集新闻等等。一切根据你网站的内容架构需要而定。确定你要采集的东西，才好写出相应的采集程序。
[本帖最后由 天涯风云 于 2007-6-3 12:41 编辑]
论坛模式 推荐 收藏 分享给好友 推荐到圈子 管理
TAG:
天涯风云 发布于2007-06-03 11:54:08
如何采集？
如何采集？
通常采集程序，都是有的放矢的。也就是需要有目标网站，搜集一些你需要的采集内容的网站，分别对其html代码进行分析，找出规律性的东西，依据你要采集的特定内容，写出php代码。采集到你要的东西以后，你可以选择自己需要的存放方式。比如直接生成html页面，或是放进数据库，作进一步处理或是存放成特定的形式，以备后用。
针对目标网站，我们可以采用以下方式：
1.使用file()函数，获取目标页面文件流，转换成字符串，作进一步处理.
一个范例函数：
CODE:
//获取目标页面文件流并转换成字符串形式
function openfile($url)
{
if(file($url)){
$str = file($url);
$count = count($str);
for ($i=0;$i<$count;$i++){
$file .= $str[$i];
}
return $file;
} else { die("文件打开失败!"); }
}
用法举例：
$getstr=openfile("[url=http://86enjoy.com]http://86enjoy.com[/url]");
//getsrt是一个字符串，你可对它作进一步处理。
2.使用file_get_contents()函数,该函数可以直接将获取的web页面内容转换成字符串
CODE:
$getstr=file_get_contents("[url=http://86enjoy.com]http://86enjoy.com[/url]");
//getsrt就是一个字符串，你可对它作进一步处理。
3.使用Microsoft.XMLHTTP组件方式。不过该组件需要windows平台支持,它是windows的一个组件，php程序以com形式调用它。
范例程序：
CODE:
open(“GET”,$url,False, “”, “”);
$xmlhttp->setRequestHeader(“content-Type”,”text/html”);
$xmlhttp->send();
$body=$xmlhttp->responseText;
echo $body;
?>
用法：get.php?id=”目标页面”
4.使用fsockopen()函数，获取文件流
范例程序:
CODE:
function request_url($url,$method=’POST’) {
$url = parse_url($url); //解析url地址,取得host,path,port,query等
if (!$url) return “couldn’t parse url”;
if (!isset($url[‘port’])) { $url[‘port’] = “”; }
if (!isset($url[‘query’])) { $url[‘query’] = “”; }
//连接服务器
$fp = fsockopen($url[‘host’], $url[‘port’] ? $url[‘port’] : 80);
if (!$fp) return “不能连接”.$url[‘host’].”服务器”;
//发送请求
fputs($fp, sprintf(“$method %s%s%s HTTP/1.0n”, $url[‘path’], $url[‘query’] ? “?” : “”, $url[‘query’]));
fputs($fp, “Host: $url[host]n”);
fputs($fp, “Content-type: application/x-www-form-urlencodedn”);
fputs($fp, “Connection: closenn”);
//获得请求后返回的内容
$line = fgets($fp,1024);
if (!eregi(“^HTTP/1.. 200”, $line)) return;
$results = “”;
while(!feof($fp)) {
$line = fgets($fp,1024);
$results .= $line;
}
fclose($fp);
return $results;
}
函数用法：
$getstr=request_url(“目标页面”);
//getstr是一个字符串，你可对它作进一步处理。
[ 本帖最后由 天涯风云 于 2007-6-3 12:14 编辑 ]
天涯风云 发布于2007-06-03 12:24:33
采集范例程序
采集范例程序1
获取sina网上的某个城市的天气信息
//sinatianqi.php
CODE:
“);//取得天气预报的截取段
$end=strpos($content,”“);
$len=$end-$start;
$b=substr($content,$start,$len); //截取得指定内容
//从上面的截取段中取得城市今日天气预报的截取段
$sub_start=strpos($b,”
$sub_end=strpos($b,”
$len2=$sub_end-$sub_start;
$c=substr($b,$sub_start,$len2);
$d=split(“n”,$c); //去掉换行符
//print_r($d);
$e=””;
foreach ($d as $key=>$value){
$value=strip_tags($value); //去掉html标记
$e.=$value;
if ($key==2) {
$e.=”
“;
}
}
echo $e;
ob_end_flush();
?>
程序运行情况：
测试
[ 本帖最后由 天涯风云 于 2007-6-3 12:26 编辑 ]
天涯风云 发布于2007-06-03 12:29:08
采集范例程序
采集范例程序
采集范例程序2：取得tom的天气
CODE:
 |
| 首页 |  | 走光偷拍 | | 激情诱惑 | | 清纯女孩 | | 美女自拍 | | 明星写真 | | 性爱健康 | | 免费电影 | | 搞笑图片 | | 天气预报 |
|
(友情提醒:按”Ctrl键+F”查找你所在城市的天气情况) |
 | 中国天气查询 |  |
数据来源：中央气象台 |  |
“,$tomtq[1]);
$tomtq= $tomtq[0];
echo $tomtq;
?>
|
Chinese 
English