采集内容管理平台——统计源头sdk模式模式

　　采集内容管理平台——统计源头sdk模式模式

　　采集内容管理平台：采集：微博公众号头条网站内容导出：百度微信等形式分类：商品，化妆品，食品，母婴，虚拟，青少年教育，三维建模，视频等统计：各种行业数据，明星，自己公司，媒体，交通，住宿，出行，互联网高科技等出处：友盟技术服务平台，统计源头sdk模式：hooksdk，基于js库开发，跨浏览器webservice接口开发，数据库实时同步至本地数据库，webservice客户端发送请求，计算数据库数据，返回给前端，前端根据计算的数据通过后端模板系统渲染所以大家通过统计分析来实现。

　　开源方案一是统计源，需要大量的开发复杂度，二是接口，主要是接数据库，客户端渲染是hook方式，模拟网络请求来做。初期阶段自己看python3微博爬虫，存进数据库，然后自己整理好数据。基本每隔几天就去看webservice内的数据更新进度。有些分类或者说每个人关注的数据很少。后来使用统计源的时候，很多不统计，业务上有kpi，可以做kpi的点数，目前来看是非常有价值的。

　　哈哈，首先你得找到需求和解决方案，前端爬取是基础，统计分析是保障，我找到一套微博社区管理的web爬虫程序。那里面人工分类爬取的，

　　数据来源很多，如果你有编程基础可以搞爬虫。如果你想找一个你开发的东西，可以考虑接入友盟这样的第三方统计平台，他们可以定制样式和你的api等等，接入这样的平台一般需要api包，一个平台一个api包，把样式包给别人让他们去按你的接口调用就可以了。把数据以统计报表的形式上传到api包，因为统计报表可以实时推送给每个用户，所以一般需要一个本地数据库，你把这个数据库封装成程序要访问的数据库。

　　要是支持格式化接口，那你就拿着你的api去接单里的一个接口或者二个接口，用对应的数据接口调用就可以了。统计报表这些可以用excel实现。以上是比较基础的，其他的数据爬取可以用scrapy来完成。也可以用python爬虫框架写html代码，或者爬行json文件，然后解析，再用requests库爬取。代码在下面这个博客里:scrapy爬虫实现自动爬取话题微博的数据分析。