输入关键字 抓取所有网页(您意思是要在您的网站上用别人的数据?)
优采云 发布时间: 2021-10-29 02:02输入关键字 抓取所有网页(您意思是要在您的网站上用别人的数据?)
你的意思是在你自己网站上使用别人的数据吗?如果是,你可以: 在你的网站中输入关键字向你的服务器请求,然后用HttpClient模拟请求到别人的网站去抓取服务器上的数据,然后返回给自己网站 请求。
当然,你需要弄清楚其他人的服务器请求的链接(使用一楼描述的方法),并分析请求的其他参数,才能模拟请求的图像。前提是他们对请求的安全限制没有那么严格。
也可以把抓到的数据保存在自己的数据库中,下次就可以找到自己的数据库了。如果找不到,可以模拟请求再次捕获。这样就可以累积下一个数据量。
但毕竟这些数据可能是其他人根据用户行为分析的结果,可能与自己的网站不一致。
收获花园豆:10
李奇鹏||元豆:1160|2015-07-01 13:18
好吧,我只需要计算他所展示的内容,而不管他的分析是否准确。
用F12可以看到相关信息,但是不知道是哪个JS方法在处理这些请求。HTTPWatch 也是如此。你有什么好的方法来定位这样的请求方法吗?
给个思路,非常感谢。
我要当仙女快乐启天|元豆:17|2015-07-01 13:38
@OmJJWang:让我们了解如何使用 Google Chrome 开发工具。我用的是手机,不是很方便。简单地谈谈它。打开那个页面,使用谷歌浏览器,按f12,看到网络栏,有一个清除按钮,找一下,先清除现有的请求信息,然后在搜索框中输入,你应该看到刚才有网络中的东西,这是发送的请求,查看链接。自己感受一下。
李奇鹏|元豆:1160|2015-07-01 14:12
上传图片
Ctrl+Enter键快速提交