采集 工具 我个人推荐lookv，上手简单但是进阶之后功能很强大

　　采集 工具 我个人推荐lookv，上手简单但是进阶之后功能很强大

　　采集工具我个人推荐lookv，上手简单但是进阶之后功能很强大。不过除了工具我也推荐你看下有没有机会可以参与到开发者的团队，否则你专注于下游的代码阅读和编程逻辑的理解会更有用。

　　如果你的数据是经过正规有效的渠道获取的，例如各种站内爬虫工具+各种网站的反爬虫机制，现在数据安全已经很关键，这个网站内泄漏出去，需要收集者付出血本的。如果不是经过正规渠道，你之前也没人教你如何取得数据，建议在新项目时优先保证这一点，这里我推荐redis，只需要定期回收消息即可，前期数据量很小的时候这点用处不大，几十万数据量就足够了。

　　后期上线过程可以考虑用binlog来实现一些数据的有效同步，例如不同服务器采用不同的binlog提交节点。

　　请注意要保证你的系统有私有连接。例如通过同步服务器消息同步每个服务器。一般都是交易api，

　　thinkphp做爬虫应该很容易，如果加上业务知识的话，理解爬虫的流程，要做什么，怎么做，想好以后如何搭建环境和运行环境，如何分析数据，

　　数据问题更多的是离线的数据问题，而这种情况需要爬虫处理一些异步信息，例如：手机号，地址等，所以爬虫功能不是直接把数据传到服务器上，