采集系统和抓包器采集引擎有两种：一种是从节点

　　采集系统和抓包器采集引擎有两种：一种是从节点

　　采集系统和抓包器采集引擎有两种：一种是存储节点，一种是从节点。存储节点存储抓包数据的源头，如图里示，红色部分。从节点负责从节点里取数据，也就是整个网络中每个节点都有抓包输出，这个也是所有抓包过程中的最后一步。采集系统采集方案：采集软件spi（固定ip）采集方案：采集硬件airportextreme集线器采集数据的组织结构：。

　　楼上说的是很正确的，正在搜索相关内容，目前遇到的一些问题一个问题，googlemap开源spynet的所有代码都很长，要二三天，对于我们这种小组的来说，时间太不好，google也不靠谱。但是似乎百度地图的spynet框架是google代码改的，会比google快一些，还是有大神能给一些建议或者解决办法。

　　看了楼上的解决方案，我也来讲讲：spip-map实现起来太复杂，要访问一个ip可能需要翻墙，访问数据基本上也是比较慢的。这个时候，就需要用第三方的，把抓取到的数据封装好，用起来，很方便，能很好的解决多端的抓取，不过api的官方api对于全国各省都开放，对于一些抓取地区，会有限制。关于第三方的抓取，redis也是一个不错的选择，安装也方便，fastdfs或者nginx中规模访问也都比较好。

　　题主你都知道是redis，可以不用刻意去进行请求次数扩展和map翻译，反正http有4次握手了。建议用kafka那种消息队列。你只是要抓包然后做二次分析，spijp和spitfs都可以搞定。kafka的wiki讲得很详细，看了是很舒服。