网页爬虫抓取百度图片(网页爬虫抓取百度图片都是走网页自带的httpserver，怎么办)

　　网页爬虫抓取百度图片(网页爬虫抓取百度图片都是走网页自带的httpserver，怎么办)

　　网页爬虫抓取百度图片都是走网页自带的httpserver，chrome/firefox/ie浏览器好多都是网页爬虫自带的api，但是uc在国内不能使用api，所以要要用第三方的爬虫，第三方爬虫可以选择友盟，talkingdata，360/uc等第三方，也可以去搜狗开放平台注册使用各种第三方的爬虫。第三方第三方爬虫相对用户的量多，获取数据也方便。

　　1.chrome、火狐或其他现有网页爬虫2.微博爬虫3.第三方微博爬虫，

　　百度，腾讯和好多门户网站都是自己搞一套的，

　　你怎么找这些网站不就一目了然了，知乎还有一个私家课，可以爬教程，这种不靠谱的都是虚假广告。

　　个人比较推荐talkingdata的数据，开放性比较好，数据质量也不错，并且分析逻辑比较清晰。相比于其他的要容易上手一些。但现在爬虫出来的报告，只适合做一个简单的数据分析用，不适合做长远的业务规划。还有建议爬虫的时候模仿别人做好的网站网站。实在要爬的话，

　　火狐浏览器直接设置用户过滤：

　　因为浏览器能力有限，网页爬虫都是如此，很多网站在你登录的时候就会屏蔽爬虫抓取这种网站，只能从第三方的网站进行爬取或者是联网调用一些第三方的爬虫。当然也有不少没有限制的，在利用插件方面用的人比较多，你可以学一学搜狗爬虫插件和百度爬虫插件，学会之后相信你自己就可以找到一些公司*敏*感*词*。还有一个好用的东西，uc浏览器也是可以进行网页爬虫，可以从网站爬取信息，只要能进入的网站都有接口，但是功能比较简单，比如点开百度，然后点左下角相机，打开一个页面图片什么的。