输入关键字 抓取所有网页(输入关键字抓取所有网页，爱采购多网站搜索引擎方法)

　　输入关键字 抓取所有网页(输入关键字抓取所有网页，爱采购多网站搜索引擎方法)

　　输入关键字抓取所有网页，

　　现在的技术是，先抓取整个feed页面，然后变换关键字搜索。做的挺烂的，同样的关键字爬了30个网站，结果几乎全是要么是广告，要么是网站简介。

　　用爬虫爬，然后带关键字去别人网站抓。没任何好办法。

　　找爬虫公司，自己找几个关键字给他们即可，你需要知道这些关键字找了多少网站，比如，“网易的kindle下载”找了196个网站，而如果你找“android手机下载”找了233个网站。所以关键词不是想起来随便起一个。

　　去到美国网站看下，可以提供一个翻译免费服务。

　　通过wireshark漏洞扫描，然后自己写一个爬虫，将请求转发到不同网站，但不需要用爬虫。如果是自己写爬虫（有损收费），可以去做个手机抓包中间件（android没有），或者自己手机伪造wifi接收数据包。

　　我觉得用图片的算法可以用到前端，应该可以，但是重复了也可以人工封杀一些内容，

　　magicavoxel来做这个，直接上传到服务器，

　　寻找这个app或网站官方给的免费接口，手机扫描或者网页地址能爬取哪些网站。另外网站也可以抓，一方面抓转化率高的网站，另一方面抓转化率低的网站。搜索引擎，爱采购多网站搜索引擎抓取方法，