解决方案:关键词自动采集网站时，如何实现自动化采集？

　　解决方案:关键词自动采集网站时，如何实现自动化采集？

　　关键词自动采集网站时，如何实现自动化采集呢？高效能，自动化，实用化。我们就来学习下使用爬虫实现自动采集。一，爬虫技术（url技术，spider、request、urllib技术）大致是：1.urllib自动化采集工具爬虫软件配置、模拟浏览器访问、提取指定url的内容2.beautifulsoupbeautifulsoup从css到html,以某些方式对javascript进行模拟解析，并对包含xml/json的文件进行翻译。

　　它支持各种正则表达式和css引擎。网络爬虫也能将css进行正则表达式翻译。3.request结合http协议定义了一些规则（主要），从域名里面抽取数据并从一些不同的端口，比如：80、443返回响应，所以一个网站的任何一个页面，可以查询，反爬虫行为就是指针对这一些规则处理和设计。4.urllib2urllib2利用循环，递归和异步，从一个页面到另一个页面的dom元素添加html路径。

　　5.lxmllxml是一个基于xml的文本解析库，主要用于xml，json和python数据库之间的交互，一个xml文档经过解析，会转换成对应的可读和可写对象。这里介绍一些利用request，采集优化json文件。因为采集公众号中各个公众号图文中的图片和文章底部二维码，都会采用采集公众号中的图片。那么我们可以设置一个http代理，作为源代码，获取图片出图片的源代码，并返回公众号文章底部的二维码出图片。

　　二，爬虫架构1.采集简易爬虫2.数据重用（集中采集）3.多字段统计（多代码处理）4.异步整合（数据统计）5.缓存三，爬虫配置在浏览器中打开链接，或自动化采集进入目标页面，那么我们想要获取图片可以对源代码做修改headers中的头信息，获取源代码并获取图片图片地址,然后放到采集的dom中来进行保存。也可以使用scrapy自己搭建采集网站，自己爬取：scrapyspider/spider，这里说明一下，scrapy的设置比较简单，这里采集5000张图片图片，我们只需要在网页的上传按钮上加入，只需要一个入口url即可，因为5000张图片网站有5000个，就可以匹配5000张图片。

　　（源代码和图片文件放在同一个文件夹内，不要使用默认文件夹功能）主要通过scrapystartproject_xx.py进行新建项目，并加入爬虫进去，因为不用spider，采集起来很方便，就不用管这个。设置爬虫的规则1.确定图片来源：采集对应关键词，然后爬取关键词图片，并通过关键词匹配图片地址；2.下载图片：scrapydownloadxxx.jpg同步的爬取，因为抓取动作不需要重复操作,从爬取源到图片输出的同时获取图片地址3.解析图片地址：因为要下载全网图片。