免费网页采集器killerbuilder输入需要找的网址，换句话说

　　免费网页采集器killerbuilder输入需要找的网址，换句话说

　　免费网页采集器killerbuilder输入需要找的网址，比如''''获取网址的完整url，之后通过postmessage/getmessage,传递请求后的返回值(例如对方服务器的ip地址等)，就可以生成网页采集器或者可以直接用php来代替网页采集器用redis/memcached实现服务器网页抓取也行。

　　可以用第三方的采集器，例如similarweb采集模式还挺灵活的，

　　可以通过let'sencrypt协议post传输数据，也可以用jsonp模式解析数据，php和servlet配合也能轻松采集。但是这些都是基于以太网等高带宽的传输，如果用于本地局域网呢？很多公司不希望内部网络发生变化，换句话说，如果要抓取的内容要走中继的话，会加大运营方的运营成本。比如爬虫要收费，如果采用多个抓取队列，又要经过以太网以及运营方的网络转发，成本会提高很多。

　　最后，我个人觉得，想抓取全部信息不一定有必要采集地址，例如爬虫只抓取天猫或者聚划算，这样并不浪费信息，也能够抓取到信息的大部分。

　　你是不是要抓取什么数据？否则爬虫是没有必要你需要一些筛选，计数，排序这种基础的。我也想知道应该用什么样的采集器。

　　多比抓取，不过不是纯python。可以考虑还有我是做很多短视频大数据的商业公司的。