php禁止网页抓取的基本上是不可能的,想想

优采云 发布时间: 2022-07-17 09:06

  php禁止网页抓取的基本上是不可能的,想想

  php禁止网页抓取基本上是不可能的,想想,一个项目时间久了,什么人都可能上,还有前端可能,

  php当中不支持类似fiddler这样抓包软件,如果网页编程有问题,你要不然就找个轮子,要不然就手动操作。把php给禁止了,

  

  实现不了。php禁止网页抓取,从技术上来说,php是不支持网页抓取的,因为如果要抓取网页,就必须有蜘蛛在后面干活。那用php做pc端的页面抓取,前端用javascript就能在前面干活了,也不需要把php禁止了。

  一般来说禁止网页抓取需要修改php的设置,如果是php多线程的话,你可以尝试1、2、3等,不过会改动很大,而且抓取效率低。禁止网页抓取主要是为了某些网站爬虫调度网页上的各种元素,然后放在数据库中放着,有相应线程去抓取。

  

  即使禁止,php在功能上也有一定的局限性,所以我觉得不会,就算禁止可能也是禁止一些url的抓取。

  有个库,叫phpvs,可以禁止文件的抓取,但是你需要模拟才行。

  1.有些请求接收,本身不在php能做的范围内。2.需要付费。我同事做的php3.2+,检测网络抓取是通过fiddler检测抓取返回的地址,再通过phpviewer抓取到,数据实时更新到nginx+flash。3.要么你修改php文件,要么修改请求代理。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线