通过关键词采集文章采集api，获取一篇文章的内容

　　通过关键词采集文章采集api，获取一篇文章的内容

　　通过关键词采集文章采集api，获取的base64数据可以算是中文的词云。chrome,firefox设置和打开就可以了解清楚。

　　怎么样才能获取一篇文章的内容呢？目前，通过https协议访问，一篇文章不可能有所遗漏。于是，我们还是回顾一下一篇文章从哪里来？直接从google等第三方api获取，文章内容会有所误差。一个不错的方法是通过chrome浏览器的开发者工具，如下图所示，依次点击"获取url"、"获取cookie"、"cookie解析"和"获取浏览器版本"，依次获取搜索结果页面（包括标题、简介和作者）、网站以及其他一些cookie信息。

　　利用网页爬虫，获取数据之后，需要解析数据。在http请求实现过程中，可能会出现诸如cookie值不对，或是headerscookie值被劫持等情况。那么，如何从第三方网站（例如baidu）抓取数据或者通过网页爬虫获取数据呢？scrapy框架是一个非常好用的网页抓取框架，基于cookie机制实现方便，速度更快。

　　如何在浏览器中通过scrapy爬取数据呢？首先需要浏览器自带开发者工具，如下图所示，依次点击"获取页面(scrapycrawler)"、"使用爬虫"、"cookie解析(scrapyheaders)"、"获取headers(scrapyheaders)"，依次获取站点的headers值。接下来，利用scrapy框架，通过selenium模拟点击地址栏进行调用scrapy抓取，获取页面内容。也可以通过其他的方式来实现。