snoopy php网页抓取工具(php官方网站Snoopy的功能特点及类方法介绍(一) )

　　snoopy php网页抓取工具(php官方网站Snoopy的功能特点及类方法介绍(一)

)

　　snoopy是模仿Web浏览器的功能的PHP类，可以完成获取Web内容并发送表单的任务。官方网站

　　Snoopy功能的声音：

　　需要php4或更多。由于它是一类PHP，因此无需扩展，服务器不支持卷曲的最佳选择。

　　方法

　　1. fetch（$ uri）

　　这是用于捕获网页内容的方法。 $ URI参数是网页捕获的URL地址。捕获的结果存储在$ this-和gt;结果。

　　如果您正在抓取框架，Snoopy将每个框架存储到数组中，然后存入$ this-＆gt;结果。

　　2. fetchtext（$ uri）

　　此方法类似于fetch（），唯一的区别是此方法删除HTML标记和其他不相关的数据，只返回网页中的文本内容。

　　3. fetchform（$ uri）

　　此方法类似于fetch（），唯一的区别是此方法删除HTML标记和其他独立数据，只返回网页中的表单内容（表单）。

　　4. fetchlinks（$ uri）

　　此方法类似于fetch（），唯一的区别是此方法删除HTML标记和其他不相关的数据，仅在网页中的链接（链接）。默认情况下，将自动完成相对链接，转换为完整的URL。

　　5. submit（$ uri，$ formvars）

　　此方法将确认表单发送到$ URL指定的链接地址。 $ formvars是存储表单个参数的数组。

　　6. submittext（$ uri，$ formvars）

　　此方法类似于提交（），唯一的区别是此方法删除HTML标记和其他独立数据，只返回登录中的文本内容。

　　7. submitlinks（$ uri）

　　此方法类似于提交（），唯一的区别是此方法将删除HTML标记和其他不相关的数据，只返回网页中的链接（链接）。默认情况下，将自动完成相对链接，转换为完整的URL。

　　类属性（括号中的默认值）

　　演示

　　include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->proxy_host = "http://www.nowamagic.net/librarys/veda/";

$snoopy->proxy_port = "80";

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";

$snoopy->referer = "http://www.4wei.cn";

$snoopy->cookies["SessionID"] = 238472834723489l;

$snoopy->cookies["favoriteColor"] = "RED";

$snoopy->rawheaders["Pragma"] = "no-cache";

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

$snoopy->user = "joe";

$snoopy->pass = "bloe";

if($snoopy->fetchtext("http://www.4wei.cn"))

{

echo "".htmlspecialchars($snoopy->results)."

　　n“;} elseocho”错误获取文档：“$ snoopy-＆gt;错误。” n“;

　　获取指定的URL内容：

　　表单提交：

　　由于已经提交的表格，您可以做很多。接下来我们来伪装IP，迷彩浏览器：

　　比较例：

　　/**

* You need the snoopy.class.php from

* http://snoopy.sourceforge.net/

*/

include("snoopy.class.php");

$snoopy = new Snoopy;

// need an proxy?:

//$snoopy->proxy_host = "my.proxy.host";

//$snoopy->proxy_port = "8080";

// set browser and referer:

$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";

$snoopy->referer = "http://www.jonasjohn.de/";

// set some cookies:

$snoopy->cookies["SessionID"] = '238472834723489';

$snoopy->cookies["favoriteColor"] = "blue";

// set an raw-header:

$snoopy->rawheaders["Pragma"] = "no-cache";

// set some internal variables:

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

// set username and password (optional)

//$snoopy->user = "joe";

//$snoopy->pass = "bloe";

// fetch the text of the website www.google.com:

if($snoopy->fetchtext("http://www.google.com")){

// other methods: fetch, fetchform, fetchlinks, submittext and submitlinks

// response code:

print "response code: ".$snoopy->response_code."n";

// print the headers:

print "<b>Headers:

";

while(list($key,$val) = each($snoopy->headers)){

print $key.": ".$val."

n";

}

print "

n";

// print the texts of the website:

print htmlspecialchars($snoopy->results)."n";

}

else {

print "Snoopy: error while fetching document: ".$snoopy->error."n";

}

　　用snoopy类采集：

　　完成一个简单的图片

<p>