文章采集程序(文章采集程序自动爬取微信文章，从中提取关键词和关键信息)

　　文章采集程序(文章采集程序自动爬取微信文章，从中提取关键词和关键信息)

　　文章采集程序自动爬取微信文章，读取文章列表，从中提取关键词和关键信息。

　　1、关键词爬取公众号历史文章，

　　2、内容爬取公众号历史文章，

　　3、关键信息的提取微信公众号的历史文章中有关于背景，标题，

　　4、数据清洗一些细节处理，如标题变换，错别字的处理等。

　　靠多读书

　　多用lxml,爬虫相关的库都可以在里面找到，

　　今年网易，腾讯都开放了爬虫接口。爬一爬，今日头条还有百度云里面都有账号评论内容。

　　“微博导航”，有各种博客，爬虫几乎可以爬全网博客。但是其实爬微博，简书这类账号背后一定有一个第三方服务，比如微博导航，信息汇总，去水印等等，网站本身可能没有特别针对某些人群准备的服务，要看该网站未来对爬虫的支持情况，没办法给你一个具体的参考答案。总之，还是多爬吧，书读少了实践少了。

　　七牛boss直聘网国内七牛云云服务器主力军，集群非常多，速度也不错，

　　所以说万丈高楼平地起，基础才是根本。

　　泻药。没有工作经验，才疏学浅，只能先提一些小建议。首先，需要培养爬虫的一些基本思维。爬虫爬取别人提供的数据，所有数据都是经过处理后所呈现的数据，这一过程必然会涉及到格式转换。我们自己用过的各大的爬虫库都有一些基本的问题，比如crawler的处理时间是按字节计算的。比如百度地图数据提取困难，没有导航线网站提供爬虫。

　　这些都会影响到数据的质量。其次，还需要掌握常用的requests，pyquery，httpserver等框架。有些框架自带的前端数据爬取工具因为转换格式麻烦，爬虫速度慢，所以就只用来做爬取公众号文章。结合上面两点的话，其实一点都不复杂。后端框架本质上就是网页的webform，读写数据都要依靠的webapi。

　　这个时候，基本上各大requests库都可以让你爬，jieba库应该也是用在分词或者聚类什么的比较方便。