通过关键词采集文章采集api，采集效率不够高

　　通过关键词采集文章采集api，采集效率不够高

　　通过关键词采集文章采集api，采集关键词为“app下载”，每个app有采集限制，一般为新生儿、以及大型影视类app。需要访问网站解析网站进行采集。爬虫采集首先需要明确你需要采集的网站是什么，在官网都有相应的api可以直接使用，小型的企业站是没有抓取模块的，不过也可以用爬虫软件模拟访问抓取。另外，可以通过自己画采集表格，这样简单多了。

　　完成网站的爬取后，需要编写爬虫程序，这部分比较复杂，爬虫的数据需要存储到或，可以访问网站或直接从或抓取，并合理的封装各爬虫部分代码。动态文件采集抓取效率不够高，很有可能采集到的图片大小超出100k以上。可以将图片等静态文件存储到数据库或文件中，如果没有这两种数据库的话，存储在网站、采集站的静态页面中也可以。

　　需要了解数据库或网站页面存储规则，存储在数据库或页面中图片查看更加方便。直接访问网站抓取在抓取api返回结果的接口时，设置，下次爬取时直接通过返回查询参数解析返回结果，效率是很高的。同时，可以带上curl+来增加成功率。对于抓取站的页面，采用+解析规则也是很好的。

　　采集从api接口抓取会很方便，但就抓取结果的分析也同样重要，后期可以再加一个分析工具来分析各个页面的相似性、抓取效率等，利用好爬虫模块的插件功能及爬虫构架、代码提交等。接口返回的json数据采集效率更高，但需要懂点前端代码，否则效率会降低，采集文章也是一样，html中有前端html语言，利用好设置规则。

　　后期更新及其随意。不建议采集到的api文件、服务器ip、前端代码一起放在一个公共项目，可以单独私下查看相关文件并提交。一键抓取服务器ip常规的直接爬取，通过模拟访问或浏览器事件两种方式均可以，如果是基于某网站等非实时性采集，可能直接用一键获取服务器ip有点不太合适，会造成网站处于一种动态登录的状态，而更合适的是提交sql数据库查询获取。

　　实时性的抓取，每一秒抓取内容都有可能在变化，经常调用会给api造成数据过大影响性能及效率。另外也不建议抓取api文件，一方面相对于数据库或，比较大的api文件的版本在采集的时候，造成不小的空间浪费，另一方面可能通过抓取返回字段来查看对应内容，比较容易出错。例如比较大的api文件抓取返回的json文件中包含可能带有密码、帐号等信息。

　　可以根据需要使用定时器并单独抓取静态页面。一般都是采用正则表达式，推荐使用工具或bs4工具。可以采用截取语句，也可。