算法 自动采集列表(爬取商城里的所有电商商城登录和注册需要什么输入？)

　　算法 自动采集列表(爬取商城里的所有电商商城登录和注册需要什么输入？)

　　算法自动采集列表，列表在自动采集下自动变量处理，是通过对网络爬虫内部的分析统计处理（写代码-理解数据-解决问题-处理数据等），分析出来上线效果，然后用人工判断的方式自动选取对应需要采集的网站进行处理，这里就会存在采集率的问题，在数据量不是很大的情况下，可以采取机器运算规则优化。ps:这个问题是用来筛选没有明确问题目标的人。

　　分享一下我的做法，推荐使用scrapy框架搭建爬虫，可以将网页打印出来，遇到什么判断就走什么流程。

　　按照item的组成去判断，比如按照品牌,分为大品牌，中型品牌，小品牌；按照信息来源，分为国家，省市区；按照来源渠道分为自营，第三方；每个品牌，也就是网站上的一个项目，都有单独的列表，比如电商商城上的登录和注册，手机商城上的定位和短信验证码，如果是带有银行卡绑定等参数，就可以直接转换到相应的银行卡中。那么爬取商城里的所有电商商城的登录和注册需要什么特定的输入呢？如果说做商城的生意，就需要商品登录和注册，那就需要各种登录和注册的httpapi，使用过银行卡绑定等api的话，其实就是可以解决这个问题的。

　　按照需求去判断，可以简单的分为安全级别，因为有的时候，可能登录很多次，但是一个步骤没法登录。按照不同的安全级别去分析的话，可以解决不同用户登录注册不同功能，这样就能知道，用户是来干嘛的，从而知道去拿其他的功能的这些*敏*感*词*。如果商城的登录、注册功能复杂，那还是需要一个比较全面的数据采集分析结果，应该不能随便乱抓或者瞎抓，不然也会导致浪费采集和清洗时间，多个人一起起来操作也可能会出现重复的数据等。

　　另外总结一下，就是爬虫的技术需要有个容易被接受的级别，人多对你采集出来的东西不会反对，效率不要太高，对于高要求的网站采集出来的一些结果可能会带来并发较大，对设备配置的要求也比较高，带宽等等情况等。另外这里就不得不说说自己的看法，大家一般说起爬虫的时候，不是想到爬虫多好多好，爬虫多好多好，一般都是些爬虫好难好难，再也爬不出来，自己想做爬虫等等一些比较消极的话语。

　　真正的爬虫怎么样呢？多数爬虫，都有一些好处，比如不开启服务器压力，一些是服务器可以没有购买，那么就降低了采集带来的外包公司跑业务的事情等。另外也有一些是，爬虫这个东西，可以提升自己的技术壁垒，认为自己技术非常牛逼，能轻易的把大家pc上的工作都去搞定了，这些很牛逼的东西，其实也可以说技术壁垒，但是我还没能遇到比这些技术壁垒还牛逼的东西。