如何从零开始构建知乎知识图谱，可以看到后面的代码

　　如何从零开始构建知乎知识图谱，可以看到后面的代码

　　关键词采集词频总结词组采集词和句子可以都采集，也可以只采集词组，主要是语料库太少，缺乏对应的数据库语料，采集和总结词组，搜索关键词收集效率也不高。所以我们要采集词组，必须自己去收集相应的语料库，词汇表。比如知乎关键词总结，就是收集知乎关键词的语料库。至于词云产生，那就更容易了，搜索“如何从零开始构建知乎知识图谱”，可以看到后面的代码。

　　这种采集方式不用多说，一些项目可能只采集关键词，不采集句子。说起这个，还得提一提okr，不是okr本身用英文翻译过来，而是它的一套算法：项目管理和wbscroll框架，非常经典，用上这个，你随意采集什么关键词，结果都有趋势，有一个渐变的过程。知乎方面，用了很多样本：知乎日报知乎读书团知乎话题推荐等等等等，要从这么大量的知乎原创用户总结去采集，高并发是个必须的条件。

　　尤其是有些关键词，明明都有知乎官方认证，每个用户只使用他自己的，而且他自己也不认为他自己的使用对于用户是知乎是有价值的，比如刷票骗票，按照一定的门槛区分身份不一样的用户，自己在外面虚假排名，虚假粉丝，刷阅读数，这些都是非常需要解决的问题。

　　爬取知乎网页内容相对简单，涉及到的模块很少，无非几个：信息提取、词频统计、语义匹配、字典解析、关键词抽取。在同一个页面或是不同页面都采集是否合适呢？网页使用浏览器下载速度太慢，浏览器对js代码支持很差，不利于爬取。先爬几页再爬是否合适呢？不能拖时间太长，否则已爬取的网页内容已经丢失。高并发是否必须要满足？是否可以用外部get的方式爬取呢？以上问题以刚刚收集数据完成知乎回答和专栏的爬取为例作一解答。

　　爬取某知乎专栏内容首先需要用googlebrain进行词频分析，最后定位到问题属性，即编号，再看编号是否存在在查询语料库。上面的步骤都是可以实现的，但是对不同的分析方法、不同的问题，得到的结果可能完全不同。然后得到语料库之后就可以基于语料库去进行相应的处理，例如重词聚合、基于字典的关键词抽取。出现重词时就进行重词聚合。

　　出现重词的目的是为了在某种程度上对这个问题进行详细的描述。如果遇到一些单词本身的拼写错误，或是存在误听音节，那在获取这样的情况下重词聚合的后果就是提取出的编号无法有效的对应问题，或者经过多次重测，相邻编号之间的相似性会降低，甚至会被忽略。基于字典的关键词抽取其原理很简单，就是在存在重音的节点上抽取关键词，例如：1、调查所有的同一条件的提问，找出关于调查的最好问题。首先不直接存在重音问题，但是问题数据相。