解决方案:网页抓取数据肯定可以在一台电脑上完成吗？

　　解决方案:网页抓取数据肯定可以在一台电脑上完成吗？

　　网页抓取数据肯定可以在一台电脑上完成的，不过考虑到容量大小和速度，肯定不是一台电脑上能完成的，

　　1、云端存储服务，这个有不少专门做这个的，

　　2、专门的网页抓取服务，

　　3、云端爬虫。可能需要一个专门的爬虫服务器，例如webspider。其实只要是抓取，肯定是不需要一台电脑的，单机就可以完成，你甚至可以在现实生活中就可以拿一台电脑就可以解决，只要能收发网络数据包就可以完成。但是这么快速的话，可能需要特别高级的方法，例如设置多线程或者其他的优化或者放到爬虫服务器里面计算还是数据库之类的。

　　一台电脑足够了，先买个win10的网络服务器，一个月6百，主机一万元左右，云服务器两万左右，有条件上aws或阿里云，可以提供各种高质量的网络带宽，配个10m电信即可，节省电费和提高访问效率，如果想跑动相当高的请求速度，可以在外面买个高性能路由器，也就两三千，简单弄个高性能路由器也就两三千，代价不算太高。

　　win10和云服务器都是双系统，还可以分别启动n个虚拟机，而不是一个电脑一个虚拟机。一个3万多电脑的硬件配置。

　　云平台这么高级的东西，小批量批量且高质量的话，建议自己弄个好的物理服务器，1万/月左右吧，可以搭一个办公机也可以单独购买一台云服务器，配置达到5000左右的，当然前提是你有足够的耐心能够维护好。