采集网站内容(看你是做爬虫,做数据分析还是做,)

　　采集网站内容(看你是做爬虫,做数据分析还是做,)

　　采集网站内容和获取足够多的数据，这两方面没啥区别吧，你买数据包都是把www和全站地址给你，你会写爬虫的话，

　　做爬虫比较难，主要爬取的数据结构复杂，再加上数据的完整性，

　　采集：只要你提供足够大的url，你的爬虫就是高大上的技术，但一般来说是通过代理池扩展出来，你不懂代理池你爬取的内容不一定是你的爬虫输出；分析：这个主要是对python+urllib+urllib2+requests+正则表达式+文件的要求了，必须和爬虫一起，完全python通用库实现；爬虫难点主要是爬取速度，时效性（采集之后需要给网站多久去更新等等）。这些都是数据量大，海量的话才能做出来的难点。最后一句建议：理论大于实践，要从基础开始，一步一步来。

　　无论爬虫和采集，最终目的都是为了数据可视化。数据可视化是相关领域最为热门的领域之一，有兴趣可以看看《数据可视化》这本书。

　　看你是做数据分析还是做爬虫,做数据分析建议python比较吃香,爬虫需要掌握http协议,mysql,pandas,matplotlib等等都是爬虫需要掌握的,

　　简单来说，没有编程语言是不可以爬虫的，当然如果是把爬虫用于数据分析那另当别论。

　　自己先试试不就知道了，