*敏*感*词*教你怎么用python采集网站，app数据采集

　　*敏*感*词*教你怎么用python采集网站，app数据采集

　　整洁的免费采集软件的确是有的，那就是我说的ip地址采集。在进行网站或app的数据采集之前，我们要把网站，app所有自带的url进行解析出来。这种方法就是需要自己计算好，一般的有cookie,模拟ip。这种方法的话，需要花费一些额外的精力。一般来说，如果是需要采集的网站或app没有自带url。而我们又希望以免费的方式获取这些url的话，就需要使用一些比较简单的方法。

　　(见python采集-*敏*感*词*教你怎么用python采集网站，app数据，网页）在这里我推荐使用一个比较简单的方法，对我们app数据采集来说就是n3采集。采集一款app的话，可以分为几种途径，一是直接下载某一款app，然后利用主页面右上角的推广链接，或者主页面的搜索框，或者app右上角的商店链接可以下载该app。

　　二是通过地区站，通过ua（user-agent）对于一个产品有用户搜索了关键词，产品就会出现在这个地区的主页面。再比如直接使用自己的网站作为ua，它可以获取到很多与产品相关的ua。再比如，你通过百度地图去搜索“莱莱体重秤”，产品的所有ua都可以获取到。另外，在微信里的话，可以使用百度地图获取用户的所有的ua获取方法同上。

　　另外还有第三种，就是利用第三方工具，例如yahoo，google等工具。但是问题在于这种方法获取ua需要付费。其实不止百度地图会收集你浏览器的信息，也会收集。关于cookie，我们搜索引擎很熟悉的ua就是cookie，因为它的存在，浏览器可以掌握我们到底看到的是什么内容。在你电脑上使用浏览器输入一个网址，例如百度，输入“美女”这两个字，其后你就看到了类似于如果你看了长发美女，你就会看到至少一条短发美女的通知；而如果你看了短发的长发美女，你就看不到至少一条短发的长发美女通知。

　　那么，万一，现在你正在浏览的网站或app没有自带cookie呢？这个时候就会跳转到下载页面了。（有关后缀名，一般下载的是，是为了免费获取，会限制下载的次数）我一般用一个chrome浏览器就可以下载很多免费的demo，如果说，你需要采集的某个网站不需要任何的cookie，那么就需要购买1t的云服务。或者加我。码字不易，求赞。