从网页抓取数据(从网页抓取数据库的话，你有redis做缓存吧)

　　从网页抓取数据(从网页抓取数据库的话，你有redis做缓存吧)

　　从网页抓取数据库的话，你有redis做缓存吧，已经有专门的爬虫产品啦，

　　是苹果吗？

　　你在网页抓取的时候就把数据放在服务器上吗，如果是那你就需要找第三方，第三方提供专门的爬虫api接口，如果你想自己来爬的话，你得自己找接口，然后手工编写爬虫，不如把想法先写到一个python模块，然后直接套用在你的爬虫程序里面。

　　现在大部分数据分析网站都是免费的啦，用python做爬虫就行，直接拿数据，剩下的就是运营推广了。

　　如果你在网站上也抓取数据，那你还不如直接提供免费的web服务，让浏览器直接将数据网络加载到页面里面去。这样虽然获取数据的效率可能会低一些，但是应该不会有服务器端的数据泄露，对公司来说也不会有太大的风险。如果仅仅是为了找一个能够抓取数据的服务，那么可以多想想。

　　手工抓网页数据，要看你抓取的格式是什么类型，是图片、json、还是其他文本格式数据，不同格式对爬虫需求的技能点的需求不一样，

　　it新青年根据抓取技术做了个爬虫的网站:findingweb_spider

　　xmind:zhihu爬虫

　　httpgetpost

　　没必要自己写爬虫吧，还不如用第三方帮你把数据抓过来呢，比如用python的scrapy爬虫，真的很牛逼。