网页爬虫抓取百度图片，get百度的图片都是加密的

　　网页爬虫抓取百度图片，get百度的图片都是加密的

　　网页爬虫抓取百度图片，get百度的图片都是加密的，需要服务器解密。如果你用了浏览器安全模块，直接把你的post形式的数据提交给服务器服务器解密即可。

　　可以用ecshop的镜像功能。比如，你有30000的业务在一个站点，正常访问需要3~5分钟，复制ecshop/viewschema镜像到application目录下，那么不需要用户输入servername，直接从application拿过来数据就好了。

　　一、异步加载用http协议抓取图片和图片的restfulapi，可以用phantomjs等异步框架。

　　二、读取本地图片有利于减少对服务器的请求。

　　三、用户多次抓取的时候不影响其它用户抓取。

　　看你是想要哪方面，不同的用户可能要抓取的数据有差异。例如抓取不同域名之间的数据，抓取不同图片，抓取不同下载链接，抓取不同图片的大小等等，不同需求可以针对抓取出来的结果封装函数。

　　我很同意下面网友所说的，既然是python爬虫，其实并不需要执行加密方式的restfulurl提交，通过http协议就可以了。举个例子：获取淘宝首页的banner。那么可以抓取阿里同学提供的一个图片地址。然后做一个简单的pipinstall上传图片，即可获取app中主要页面。再通过api向后台的开发者工具上传成功后，通过图片json格式提交即可。

　　restfulurl提交，分别发起baiduspider-spider包(google/googlebrowser)和facebook-spider包(facebook/facebookbanner)的url请求;就会在一个表单里，