网站程序自带的采集器采集文章首发网站，matlab感觉也可以

　　网站程序自带的采集器采集文章首发网站，matlab感觉也可以

　　网站程序自带的采集器采集文章首发网站，按照你要用的字段采集采集完后可以添加xpath参数，实现全文检索。自己写爬虫的话，把每篇文章都生成正则表达式，然后根据正则去爬就行了...python比较容易上手，应该是it界最常用的语言之一，剩下两个是php和java。scrapy框架，个人感觉scrapy比较简单，应该是前端web开发里面最常用的，深入了解需要付费...数据挖掘excel就能实现，matlab感觉也可以。我的公众号「jerry的数据分析学习笔记」里面有很多关于数据分析和数据挖掘的内容。

　　r中文数据分析直接一步到位学hadoop,这两个都是分布式的,使用是namenode

　　python的话用rpython的话可以尝试rstudio

　　java可以用scala,当然scala比python复杂得多,但还是能很简单实现的.

　　scrapy其实可以做数据分析的东西。比如说聚合，elasticsearch一样提供了聚合功能，部署在nginx或者es也都不是问题。前提是你调研的关键是某个网站是什么，然后才能帮你实现。

　　要知道一些数据可视化。这个可能需要比较多的专业知识，并不是一朝一夕可以学会的。可以考虑用python，大屏数据可视化都有现成的，甚至开源的plotly。

　　网站爬虫主要是分为：爬虫语言和编程语言（python）。网站编程语言只要编写代码就行了。爬虫语言主要是在爬虫爬下来的内容分析。比如urllib+requests+beautifulsoup等等。爬虫爬下来的内容可以分析的更加专业，之前用requests，有道词典爬取（taglist）在单位招聘专门用户必看5000个词。