采集文章系统(nginx_redirect搭建网页的代理，请问要哪些功能呢？？)

　　采集文章系统(nginx_redirect搭建网页的代理，请问要哪些功能呢？？)

　　采集文章系统一般是由服务器来处理的，只有一个服务器是很多人同时在发送大量数据出去，建议采用轮询方式采集，因为浏览器一般不知道每个网页上都发生了什么，如果采用querys优采云采集器，那么可能浏览器不会自动判断，需要手动判断。

　　流量越高并发量越高，

　　是轮询算法.有人查过,不限流量,10万的数据量很常见.具体的搜“自适应抓取服务器”就可以.多服务器可以确保效率.但是定量慢,可以采用轮询抓取,数据量较大,可以扩展到10万.这样可以开10-20万服务器.用于一些网站及是推荐网站.

　　不知道回答有用吗

　　nginx_redirect搭建

　　网页抓取的代理，请问要哪些功能。实际上抓取的过程就是有很多网页在发生变化的时候我们去抓取，

　　请问如何抓取，京东，金融，当当等等网站的商品信息，数据无重复，

　　可以通过代理或者相应采集轮询技术

　　redirect方式，每抓取一次返回1个httpresponse，分页的网站应该比较常见。

　　论文

　　单点一个sever就可以了，

　　我能否理解成二楼说的是伪代理采集方式？如果是的话，实际上你只需要定位哪些页面是已经被爬虫爬过的，然后依照要爬的页面爬一爬即可。