php 网页内容抓取(SEO实测：新站上线，有内容，还是空内容好?)

　　php 网页内容抓取(SEO实测：新站上线，有内容，还是空内容好?)

　　在做SEO的过程中，这段时间220段和116段的百度蜘蛛是否访问过，似乎成为了SEO从业者的热门话题。很多SEO从业者都在绞尽脑汁提高搜索引擎的抓取频率。概率 收录 页面内容。

　　但是有时候我们在运营一个新网站的时候，很多SEO从业者希望每天不断输出文章的内容，并保持较高的每日更新频率，从而提高百度蜘蛛的抓取频率。

　　这个想法不错，但是我们是否有更完美的解决方案，可能还需要进一步分析。

　　那么，实际的SEO测试：新网站上线，有内容，还是空内容？

　　后续SEO诊断经验，蝙蝠侠IT，将详细阐述以下内容：

　　1个频率

　　可持续的内容输出总是会吸引高频抓取。这是毋庸置疑的事情。长期以来，各个搜索引擎优化者都采用这种策略来保持网站的高频率访问，从而提高网站页面的收录率。

　　但是这里面有一个微妙的细节，就是爬取频率的量级：我们认为每一个网站页面爬取都有一个数量级，一个新站点已经有10页和100页了。页面之间，必须有一个初始的爬行量级。

　　此频率通常会影响后续访问的次数。最近我们也做了一些基础测试，发现新站内容丰富的网站或者新网站内容比较空的网站，爬取频率要高很多，如下图所示：

　　这是大约150个网站的初始内容。基本上我们看到搜索引擎给出的抓取频率还是比较高的。

　　2 结构

　　在SEO运营过程中，我们发现网站的结构设计往往也是高频爬取的重要因素。通常我们认为：

　　① 页面随机内容

　　新网站上线了。一般来说，除了链接提交策略之外，我们更希望整个网站页面能够展示更多的整个网站内容。因此，有时，我们可能需要充分利用随机内容来填充大量页面的主要内容，以及相关的侧边栏。

　　一是我们可以不断提高页面呈现的概率。

　　二是我们可以不断地保持页面的变化，从而吸引搜索引擎频繁访问并发现新页面。

　　② 页面目录结构

　　在做SEO的过程中，我们总会听到一些概念，比如：pan-directory，这个词往往和蜘蛛池有关，主要是为了获取大量的搜索引擎蜘蛛，从而增加目标URL地址的爬取概率.

　　这不免让我们思考，为什么某些特定的目录结构会吸引更多的蜘蛛访问。如果我们试图吸引大量的蜘蛛，我们真的需要大量的域名吗？

　　我们一直认为事实并非如此，所以有时间的时候，我们就在思考如何使用单个域名来最大限度地提高抓取频率。我们发现常规 URL 地址通常是最容易抓取的。它包括：页面URL的ID，页面URL的目录。

　　如果你的ID是按逻辑顺序生成的，特别容易吸引搜索引擎按顺序抓取，比如：/a/1.html, /a/2.html, /a/< @k25@ >html，/a/*.html。

　　如果你的目录简洁，比如：/a/1.html、/b/2.html、/c/.3.html，也会吸引对方频繁爬取。

　　因此，良好的目录结构和有效的页面展示策略往往是搜索引擎爬虫偏爱的特性。

　　3个主题

　　我们知道，当搜索引擎第一次遇到一个网站时，他们通常会根据页面的内容来查看一个网站的主题相关性。一般来说，这个判断过程可能是：对所有页面内容进行中文分词之后，对特定的关键词标签分类进行数据分析。如果某个行业的hashtag比例比较高，那么整个网站的属性可能会比较清晰。

　　基于这个因素，我们认为新网站的丰富内容是有利于决定整个网站主题垂直度的重要因素。

　　所以我们建议网站新站，在提交前尽量丰富整个站的内容，可能比较空，然后按照一定的输出频率提交更有效。

　　总结：SEO测度：新站上线，理论上内容丰富的网站可能在初期抓取频次的幅度上更占优势，后期会根据特定的频次输出，搜索引擎也可能收到比较高的关注度。