PHP snoopy采集类如何采集我想要的内容

优采云 发布时间: 2020-08-27 00:48

  PHP snoopy采集类如何采集我想要的内容

  Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单,可以拿来开发一些采集程序和扒手程序,本文章详细介绍snoopy的使用教程。

  Snoopy的一些特征:

  抓取网页的内容 fetch

  抓取网页的文本内容 (去除HTML标签) fetchtext

  抓取网页的链接,表单 fetchlinks fetchform

  支持代理主机

  支持基本的用户名/密码验证

  支持设置 user_agent, referer(来路), cookies 和 header content(头文件)

  支持浏览器重定向,并能控制重定向深度

  能把网页中的链接扩充成高质量的url(默认)

  提交数据但是获取返回值

  支持跟踪HTML框架

  支持重定向的时侯传递cookies

  要求php4以上就可以了 由于本身是php一个类 无需扩支持 服务器不支持curl时侯的最好选择,

  Snoopy类方式及示例:

  fetch($URI)

  这是为了抓取网页的内容而使用的技巧。

  $URI参数是被抓取网页的URL地址。

  抓取的结果被储存在 $this->results 中。

  如果你正在抓取的是一个框架,Snoopy将会将每位框架追踪后存入字段中,然后存入 $this->results。

  fetchtext($URI)

  本方式类似于fetch(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中的文字内容。

  fetchform($URI)

  本方式类似于fetch(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中表单内容(form)。

  fetchlinks($URI)

  本方式类似于fetch(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中链接(link)。

  默认情况下,相对链接将手动补全,转换成完整的URL。

  submit($URI,$formvars)

  本方式向$URL指定的链接地址发送确认表单。$formvars是一个储存表单参数的链表。

  submittext($URI,$formvars)

  本方式类似于submit(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回登录后网页中的文字内容。

  submitlinks($URI)

  本方式类似于submit(),唯一不同的就是本方式会消除HTML标签和其他的无关数据,只返回网页中链接(link)。

  默认情况下,相对链接将手动补全,转换成完整的URL。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线