完整的采集神器(完整的采集神器:打开ie浏览器,安装web前端)
优采云 发布时间: 2021-09-22 15:02完整的采集神器(完整的采集神器:打开ie浏览器,安装web前端)
完整的采集神器:.打开ie浏览器,安装web前端挖掘器:进入开发者选项,代理->tcp代理->单输入url->一直下一步,加载成功后,启动fiddler,然后打开某站点的任何页面:(注意浏览器的设置页面里没有那行代码):intra:(或者intra[])[0],intra[][0]的意思是“从ie的默认url路径开始,到真正要请求的站点为止”的任意个数,代表可以扫描的页面数,一般我们需要扫描“本站全部”或者“本站特定页面”。
当然,本身设置url路径的时候就可以启用fiddler,不用这一步时,才扫描本站所有页面,所以这一步是多余的。fiddler设置url可以点菜单中的general->settings,选择firstclickfiddlersettings,在settings填入你的ie默认url。如上图,在工具栏上就会出现“工具”,工具f2里面就有一个“浏览fiddler设置”。
2.浏览器中输入“”,输入需要扫描的网址,点next,浏览器会给出一个断网页的区域,然后我们要做的就是点击这个区域的按钮(点击之后不要关闭浏览器)。这里的意思是显示“next:”后面的页面(如果没有关闭浏览器,浏览器默认不显示)。下图就是正常的页面显示路径。点击按钮后:这时候会跳转到ie或者360,在这里和360浏览器共享同一个数据,所以可以使用上述方法抓取本站内容。
然后在浏览器中输入自己的网址:,输入:点next,浏览器就会给你列出本站所有特定页面了,随便你点开哪一个,然后在页面上右键点击:可以得到“download”,上方的图是所有页面的下载链接。