抓取网页新闻(研究分析其他热门平台数据，看他们和我们以前投资有何异同)

　　抓取网页新闻(研究分析其他热门平台数据，看他们和我们以前投资有何异同)

　　抓取网页新闻，各个公司机构提供最新新闻，我们进行详细分析对比，从而为业内提供舆情数据服务。p2p公司提供全新互联网理财服务，利用先进的大数据技术帮助投资者实*敏*感*词*问题，提供的链接里都在提示交易安全保障方面的注意事项。

　　一、爬虫收集你想要获取到的热门平台

　　1、百度新闻搜索：“@p2p”+平台名称，例如：“p2p网贷大全”，将结果页查看一遍。若有不合理之处，将页面刷新返回；若有明显的数据库不全的情况，

　　2、微信搜索公众号“爬虫”

　　3、百度搜索公众号“爬虫技术”，搜索第一个最为可靠，因为内容最为齐全，不仅有基本的利率、年化收益、透明度等数据，还可以看该公众号前7天，每周3-5篇的文章和推送信息。

　　二、数据存储&转换当平台提供多种主流数据源时，导致各个新闻源提供的数据不一致。

　　首先将新闻中的主要词语进行合并处理，将数据存入excel表，

　　4、处理数据上传到excel，进行数据二次整理、清洗：将有一定记忆性的词语拆分分析数据主键，对每个主要数据源的label进行存储和匹配首先我们将数据同步到mysql数据库中（自动生成记忆性词云），再对该数据库进行日期、记忆性词云等数据维度的数据修改操作，再将导入到后续的数据库中。格式数据根据公司经营范围划分：法人营业执照plcn_no1为数据按投资机构类型分：银行存管2013年12月31日，p2p平台利率普遍在12%以下，正常平台根据不同投资者需求不同时间段会有不同变化。更多数据分析及相关技术问题咨询，可关注我的知乎专栏“第二基因”，谢谢！。