解决方案:什么样的服务器适合自动采集，不反爬！

　　解决方案:什么样的服务器适合自动采集，不反爬！

　　自动采集器怎么用呢？的确我自己也遇到过这个问题，所以来说一下。什么样的服务器适合自动采集，简单来说就是采集效率快，不反爬。目前市面上的自动采集方式一般有三种方式:第一种就是手动编写爬虫，如果需要对网站的结构熟悉，并且有一定的算法基础。第二种就是api，也就是开发自己的api。可以对接百度、谷歌等搜索引擎。

　　最后一种就是大家所知道的云采集，简单说就是采集器软件，通过云端已有的数据接口。可以采集其他网站的数据，甚至于清洗自己网站的数据。利用云采集的服务器免费分享给大家使用。

　　自动采集器不需要编程，但是需要配置和数据转化，所以关键在于采集的手法和自己对数据的处理方式，最关键的是找出数据里面的规律，再将规律用到别的地方去。像现在市面上的云采集器都是对接了百度搜索引擎的数据接口的，所以这些采集器官方服务器都是国内的，这个很好找，只要去搜索就能找到，这里就不推荐了。我个人推荐国外的solr和java的mydebug，这两个都支持web和页面采集，mydebug是mybatis框架的插件，所以可以接入微服务，提高开发效率。

　　目前阿里的文档发布了中文的，solr是iis和oracle的插件，所以需要有mysql的数据库。也可以单独买阿里云的云服务器来配置这两个插件。我们公司用的solr就是，超级好用，而且技术支持很好。虽然我觉得现在市面上的大部分采集器都是免费的，但我觉得我们是有必要买一个正版的，因为平时遇到这样的问题比较多，而且现在这种基于搜索引擎的免费的服务能解决的问题基本都可以用别的方式解决。

　　建议使用正版，关键是软件好使不好使更要看是不是正版，不仅是一个数据库的钱，更重要的是以后一旦丢失数据文档会不会丢失。