php禁止网页抓取很正常,答案其实是php给你的

优采云 发布时间: 2022-08-07 12:05

  php禁止网页抓取很正常,答案其实是php给你的

  php禁止网页抓取很正常,

  

  答案其实是php给你的。php无法抓取某一行,只能抓取这一行的每一个元素。你以为你的请求在调用api,其实api只是把调用传递给php,让php实现api。另外,php并不清楚你的请求什么意思,可能认为你的意思是要推送什么数据给客户端。

  就知道一个header加上:gzipreload权限启用accept-encoding'utf-8'/accept-language'zh-cn'

  

  第一次接触php,建议你看一下上面一个哥们的答案。至于抓取你想要的数据,最简单的方法应该是用正则表达式替换。当然如果数据量太大可以用sed命令。最近接触了一个有趣的框架,推荐给你试一下。

  @伯扬引用的方法是正确的php开发一个容易爬取的网站并不容易(只考虑熟悉php的人来说)。即使是使用浏览器抓取页面并不难,难的是开发一个爬虫以获取数据所有的元素,并通过适当的方式反馈给服务器和浏览器。本质上还是用户和服务器的博弈。另外这类网站是否有必要推送数据?比如excel、sql?个人觉得,如果要推送数据,应该是获取的页面有经常推送的用户,比如像卖酒的。

  假设我抓取了网上所有的酒类广告,这个网站也许就会从千万级爆发式增长中清理掉一批流量,减少用户对这个网站的依赖。

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线