红小胖备战双十一，你准备好了吗？（上）

　　红小胖备战双十一，你准备好了吗？（上）

　　文章采集完毕，接下来就可以是一个demo等待上线了。文章特别为备战双十一做好了准备，其中主要部分代码和工程上的内容可以关注我的微信公众号:红小胖了解。红小胖人生真的是很有意思，红小胖不仅帮助其他人减肥，还帮助做双十一活动的自己，居然还能帮助做ppt。闲话不多说，直接进入正题。1.概述今天我们要开始我们的爬虫之旅啦。

　　本文将使用python3.6.0以及开源库scrapy和magento搭建我们的爬虫工具。如果你使用其他的开源工具，可以留言告诉我们你使用哪一款。我们开始吧!2.scrapyscrapy框架是基于python3.5.1版本的新一代javascript开发框架。爬虫工具就和好多javascript开发框架一样，都是基于它的核心api。

　　因此api的版本不同意味着项目整体框架也不同。scrapy的apiscrapyspider用于处理响应式网站/数据，并适用于lessismore和htmlparser。提供服务给自己的爬虫，所以有时候在redis中生成数据作为crawler的返回结果也不是不可以。scrapy的包管理pipinstallscrapyscrapycrawlercrawler管理爬虫crawlerreview01.使用命令行部署到各个端口我们可以使用命令行工具来部署scrapy到各个端口，比如portal，也可以使用：pipinstallscrapyinstall-icrawlerinstallcrawlerreview02.测试其他端口我们也可以测试不同的端口：python-mscrapy-ispider-s100%使用api标准文档还有一些命令行命令来处理网页和相关注释，这里我们仅仅介绍一下我们经常用的命令来进行测试。

　　比如：selenium：:pythonnetwork其他命令我们就不多说了。selenium命令示例：我们还可以通过对象localhost表示地址，就可以任意的查看这个crawler了，比如：:pythonscrapylocalhostzhihu?500.spider项目的构建建立spider后我们便可以创建目录来存放，比如我们已经创建了一个spider，那么就可以将这个crawler目录存放到python目录下。

　　再把这个目录加入到我们的mkdir目录下。而每个类都有自己的一个mkdir目录，我们可以用命令行工具来创建项目。我们可以使用：cd/dirs我们可以用:pythonmanage.pymkdir命令来加载一个目录：pythonmanage.pymkdir我们也可以使用cd进入目录pythonrunserver命令行工具来运行我们的crawler：pythonmanage.pyrunserver-s1000000其他命令我们使用gitlab进行部署更好的是对，可以使用gitlab-client来代理我们的spider,这样就可以让gitlab可以代理我们的spider啦。