自动采集淘宝和天猫，数据来源于公开数据与第三方爬虫获取

　　自动采集淘宝和天猫，数据来源于公开数据与第三方爬虫获取

　　原创文章自动采集淘宝和天猫，数据来源于公开数据与第三方爬虫获取。希望借助我们的努力和精湛的技术，越来越多的人可以买到正品商品并且享受优质服务。本篇利用到了python3.5和python2.6首先先看下数据总的字段情况，top5是哪些，类目分布情况，分布情况图如下：数据总的字段量一共有81545条数据，有效数据是32056条数据，为了更加快速的分析出每个类目的商品情况，我们在对分类进行了转换后统计出所有买卖商品的平均价格，如下图：和我们用淘宝获取的数据一样，比如我想获取食品的销量，可以利用pandas进行数据的读取，计算和分析，这次我选取的是动物类目。

　　说明：数据来源于淘宝、天猫和京东3大电商平台可以注意到，数据中的价格是按照单位长度计算的，这样我们就可以简单粗暴的计算出商品的物价每月涨了多少，每件商品的单价是多少，利用这个方法我们可以统计出一个月内在所有产品当中的平均价格，同时也可以分析出产品不同价格的情况。这样的数据比我们只知道一个时间来定义是哪个月要来更加方便下面我们来做分析，分析的时间我选择上旬和下旬，这样在效率上和准确性上都要比春节和其他节假日的时间段高一些数据按照类目进行了转换，分布图如下（仅统计热门类目），可以看到我们的分析主要分布在还是电子产品、化妆品和*敏*感*词*和手机等产品上，说明产品的受众人群是大量的年轻人。

　　接下来我们来统计各个国家的销量和平均价格情况，使用数据透视表方式统计到下图中：下面是一些可以利用数据透视表或其他方式查看到的销量和价格数据，以及代表该产品的国家，完全不用发愁数据的规整问题接下来我们用数据透视表来统计各产品产地的销量及平均价格情况：下面我们用数据透视表统计不同国家的销量和平均价格情况：好像数据处理还是可以有点进步了，接下来我们来分析物品类目分布情况：（字段包括单品名，产品类目代码，商品名）结论：食品销量最高，其次是化妆品，生活用品和*敏*感*词*，电子产品销量相对较少，婴儿用品销量有点低，孩子成长教育产品销量大增，*敏*感*词*销量最差。

　　如果你也喜欢我的文章，一定要推荐给你身边的朋友哦，了解更多，关注公众号【阿丽么电商】，每天更新电商数据干货等你来取。