自动识别采集内容就ok。简单的做法就是ok

　　自动识别采集内容就ok。简单的做法就是ok

　　自动识别采集内容就ok。简单的做法就是通过前端代码做一个dom接口，通过发布规则处理内容就可以了，不需要额外设置url地址。但想更简单粗暴的方法还是通过设置seo去识别内容，这样一方面可以避免采集带来的降权和违规处罚，另一方面也可以节省一些代码成本。当然实现这样的自动识别是有困难的，设置seo的目的是针对有效内容识别，而采集抓取后内容无效或错误就很难去识别，不过如果做的深入一些也是可以通过设置规则来避免这些误区的。

　　github是网站要识别内容，你手动发布的链接，如果你没有banner加载字段，就只能人工去加载。

　　识别内容这是自动化第一步你自己知道它是否在抓取就行，和来源没太大关系，

　　随手写一个，应该很好用。网页抓取_百度百科你可以抓取百度百科的所有内容。

　　别用百度

　　推荐一款爬虫工具：百度快搜-最简单方便的在线搜索引擎百度快搜_百度搜索_百度百科

　　现在直接搜索就好，除非url有特殊规定。知乎之前就强制提示不允许采集，现在才改不过挺好用，抓取也方便，且可以大量抓取，不像国内很多网站抓取每月每个用户限制。

　　spider+datauser-agenteditor

　　网站被抓，搜索引擎自然也会抓。

　　楼上用spider，中文字段都没有。推荐用defaultregressiondirectory，一点都不长，只要记住url就行了！一共16位（如下图），一共五十四位，全局搜索，更优化。