php截取字符串网站内容用phpcurlhttp脚本库php_useragenthttp

　　php截取字符串网站内容用phpcurlhttp脚本库php_useragenthttp

　　php截取字符串网站内容用phpcurl脚本库php_useragent

　　http，php可以，vc，pyserver也可以。

　　先定义爬虫需要抓取什么内容，然后再讨论用什么脚本。很遗憾，scrapy，pyspider等都是基于apache或mysql的。

　　python是基于numpy和pandas的开源爬虫框架。

　　scrapy等

　　是否用到cookie?是否用到ip抓取?是否用到存储?是否用到请求代理?是否用到分布式?是否用到压缩?是否用到其他?...每个网站都不一样

　　爬虫需要客户端。

　　用java或python吧，目前已经有很多库都比较稳定，比如你说的pyspider。

　　其实你该考虑的是如何抓取helloworld。其实java的爬虫比python可靠。

　　python可以，

　　很多语言都可以，

　　tornado只要fb放弃了，

　　你把问题说清楚点，不然我真不知道该怎么答。

　　pythonlib库/scrapy,apache.cookieless

　　用requests库

　　php大神都推荐了，用pyspider，

　　requests(lib.python.requests)+flask+tornado

　　有数据的话有scrapy

　　python，好用。

　　flask,爬图片，速度快，人家也没必要做成restfulapi接口,有个简单模拟登录的python接口服务就行了。