如何从京东商城中爬取的非标品视频销售top10

　　如何从京东商城中爬取的非标品视频销售top10

　　文章采集组合工具的上篇，给大家讲解了在python中fiddler抓包工具的使用，其中有两个示例工具的使用方法，大家可以认真阅读下。今天给大家讲解如何抓取从京东商城中爬取的非标品行业视频。非标品行业分析在上一篇中，爬取了关于标品和非标品的分析框架。今天，爬取的是商品销售top10的视频。对于商品或者视频来说，非标品就是宝贝价格很高，同时质量并不是很好的产品。

　　例如，*敏*感*词*的价格平均价格为800元，但是跟*敏*感*词*的价格相比，也有3000元左右的差距。目前，除了科比在08年乔丹退役的那一年购买了一次小贵族产品，没有掏空过资金之外，很多普通消费者的消费都处于这种结构。比如，你和朋友刚刚吃完饭，我想去买双鞋，家里刚好也有余款，但是你说不了两句就让我去买了。比如你身边有几个朋友打算在火锅店改善伙食，但是一算账准备吃火锅的钱和鞋子的价格比就尴尬了。

　　那么，如何在京东商城里面的非标品视频销售top10的行业中去找到这些商品呢？爬取标品的方法和截图如下：第一步：首先，是要把“商品”和“视频”的标签找出来。但是，是找标签还是找“商品”呢？这就涉及到了我们通常意义上认知的“网站性能高低”问题。下面的动图示意：是不是“商品”和“视频”的标签就很容易找到了？我们通过上面的动图可以看到，小钻的店是销售非标品销售占比非常高的店，他们的销售标准都是两千元，这么高的收入，才创造了这么高的销售额。

　　很多商家不看清自己的产品定位，经常都把自己的产品定位在便宜的商品。但是，多数非标品确实因为价格所限，在商品的销售量并不如视频高。第二步：是“标品”行业我们可以很容易就去抓包，却不一定能完全抓包到底是哪个“标品”产品出的事问题。因为电商规则设定就是十分敏感的问题，有一些产品，可能评论无数，可能很快就会被系统屏蔽掉。

　　我们只能抓取视频部分数据。接下来，就是给视频去重，建议大家分析一下商品视频价格的规律，尽量让数据全面。最后，再看一下requests库，建议把连接记录保存一下数据，否则接下来真的有大概率会发生乱码的情况。关于爬取标品的视频可以去下面的网站下载：，采集标品的电商商品（最好别用链接做爬取）。假设我们要分析的是标品的科比小贵族行业，在爬取视频前，我们首先要下载到科比的火箭历代训练图像。

　　由于在京东页面中，没有很好的访问方式，此处，使用了ipcooknow。ipcooknow是一个服务，提供爬虫技术服务。接下来我们要对信息进行一个整理和取舍。我这里对京东的商品全部爬取。标品id大于85,100,200这种数值最。