PHP snoopy采集类如何采集我想要的内容
优采云 发布时间: 2020-08-27 00:48PHP snoopy采集类如何采集我想要的内容
Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单,可以拿来开发一些采集程序和扒手程序,本文章详细介绍snoopy的使用教程。
Snoopy的一些特征:
抓取网页的内容 fetch
抓取网页的文本内容 (去除HTML标签) fetchtext
抓取网页的链接,表单 fetchlinks fetchform
支持代理主机
支持基本的用户名/密码验证
支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
支持浏览器重定向,并能控制重定向深度
能把网页中的链接扩充成高质量的url(默认)
提交数据但是获取返回值
支持跟踪HTML框架
支持重定向的时侯传递cookies
要求php4以上就可以了 由于本身是php一个类 无需扩支持 服务器不支持curl时侯的最好选择,
Snoopy类方式及示例:
fetch($URI)
这是为了抓取网页的内容而使用的技巧。
$URI参数是被抓取网页的URL地址。
抓取的结果被储存在 $this->results 中。
如果你正在抓取的是一个框架,Snoopy将会将每位框架追踪后存入字段中,然后存入 $this->results。
fetchtext($URI)
本方式类似于fetch(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中的文字内容。
fetchform($URI)
本方式类似于fetch(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中表单内容(form)。
fetchlinks($URI)
本方式类似于fetch(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中链接(link)。
默认情况下,相对链接将手动补全,转换成完整的URL。
submit($URI,$formvars)
本方式向$URL指定的链接地址发送确认表单。$formvars是一个储存表单参数的链表。
submittext($URI,$formvars)
本方式类似于submit(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回登录后网页中的文字内容。
submitlinks($URI)
本方式类似于submit(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中链接(link)。
默认情况下,相对链接将手动补全,转换成完整的URL。