汇总:自动采集编写代码采集淘宝和天猫商品的数据分析和数据挖掘

　　汇总:自动采集编写代码采集淘宝和天猫商品的数据分析和数据挖掘

　　自动采集编写代码采集淘宝和天猫商品，按商品类型进行采集或者采集到本地电脑数据库后经过数据修改、过滤、下载保存下来做进一步的数据分析和数据挖掘。

　　一、自动采集注意事项：

　　1、有效商品。支持商品名、商品描述、标题、颜色、价格、图片、属性、链接等信息自动化采集，不可人工手动手动修改。

　　2、搜索商品。支持搜索商品名、商品描述、标题、颜色、价格、图片、属性、链接等信息自动化采集，不可人工手动手动修改。

　　3、智能分类。支持商品标题、商品描述、标题、颜色、价格、图片、属性、链接等信息自动化采集，不可人工手工手动修改。

　　4、购物小票。支持卖家店铺信息、支付宝账号信息、店铺地址信息、运费模板、定位地址信息自动化采集，不可人工手工手动修改。

　　二、爬虫技术爬取规则（正则表达式）：

　　1、分享商品的链接、支付宝账号信息和购物小票的链接放到一起。正则表达式匹配所有内容，包括正则表达式匹配不到的链接。

　　2、根据搜索商品名在商品详情页查看是否有网页图片并添加到正则表达式中。

　　3、根据搜索商品描述添加到正则表达式中。

　　4、分享商品到淘宝bot后台查看是否有商品图片并添加到正则表达式中。

　　5、找到对应的商品关键词（商品list中）

　　三、应用场景：

　　1、评论爬取。

　　2、照片、视频爬取。图片信息采集可以用于打印照片、视频采集可以做网页投票、录屏教程等。

　　3、requests库使用

　　1）可选。可以用来爬天猫。

　　2）可选。可以用来爬京东、淘宝、拼多多等所有网站。