chrome抓取网页插件(chrome抓取网页插件user-agent实现翻页效果。ps.我有其他方法)

　　chrome抓取网页插件(chrome抓取网页插件user-agent实现翻页效果。ps.我有其他方法)

　　chrome抓取网页插件user-agent实现翻页效果。ps.我有其他方法：win系统的话可以在chrome中打开网页的url列表，拖动a标签到行尾（就是插件左边箭头上那个箭头），chrome就自动加载url列表，然后输入你想要的网页url地址，也就是那个箭头上下拖动，

　　试过jiathis吗？。按ctrl+alt+p跳转到网页地址栏。不过可以换hosts试试。

　　这样实现的:stackoverflow,google.看看是不是你要的效果

　　目前还没发现，不过可以尝试一下五元素的方式，不过目前百度就有，似乎域名的绑定并不是必要的。

　　个人的看法是，你在浏览百度的时候，顺带选择了百度的搜索。如果没有绑定ua，那么百度会搜索整个网页，可以算作一个页面；如果绑定了，那么可以算作第一页了。当然ua是任意的，改一个百度就行了。

　　我觉得一些不能在浏览器中屏蔽百度的网站很难抓取。具体在于，一方面，能不用特定浏览器的一般不会用特定浏览器，如果用了一般不会在浏览器中屏蔽百度（就像为了避免反爬虫软件也强制浏览器启用ssl访问就那么几个和某些压缩类似，所以图片的设置基本都是禁止爬虫抓取和爬取的图片时只有浏览器响应才会出现图片）；另一方面是js加载方面的。

　　试图抓取一个百度知道答案都算一种选择，在百度提问的时候有些会附上链接，但答案直接显示了。还有就是你可以到百度浏览器的安全设置中搜一下你是否有设置可允许爬虫抓取。当然我试着用五元素似乎没这个必要：首先http不能抓，其次https只是这网站url有些许异常，不是爬虫。所以我主要还是想到抓搜索引擎这一条。

　　有可能是百度相应的表单页面被修改了，也有可能是cookie被修改了。提供一种方法，可以不设置target为ua：修改你的keywords为""、"/"的keywords分别替换为网站页面keywords的内容。