百度搜索引擎优化原理(UA即user-agent原则及调整方法根据上述网站设置)

　　百度搜索引擎优化原理(UA即user-agent原则及调整方法根据上述网站设置)

　　UA属性：UA，即user-agent，是http协议中的一个属性，代表终端的身份，向服务器展示我在做什么，然后服务器可以根据不同的身份做出不同的反馈结果。

　　Robots协议：robots.txt是搜索引擎访问网站时首先访问的文件。用于确定哪些允许爬取，哪些禁止爬取。robots.txt必须放在网站的根目录下，文件名必须小写。详细的robots.txt写法请参考。百度严格执行机器人协议。此外，它还支持在网页内容中添加名为robots、index、follow、nofollow等指令的meta标签。

　　百度蜘蛛爬网频率原理及调整方法

　　百度蜘蛛根据上面网站设置的协议抓取站点页面，但不可能对所有站点一视同仁。它会综合考虑网站的实际情况，确定一个抓取额度，每天对网站内容进行定量抓取，也就是我们常说的抓取频率。那么百度搜索引擎是用什么指标来判断爬取一个网站的频率的。主要有四个指标：

　　1.网站更新频率：更新来得快，更新来得慢，直接影响百度蜘蛛的访问频率

　　2. 网站 更新质量：更新频率增加，刚刚引起了百度蜘蛛的关注。百度蜘蛛对质量有严格的要求。如果网站每天更新的大量内容被百度蜘蛛判定为低质量页面仍然没有意义。

　　3. 连接性：网站应安全稳定，对百度蜘蛛保持开放。经常养百度蜘蛛可不是什么好事

　　4.站点评价：百度搜索引擎会对每个站点都有一个评价，这个评价会根据站点情况不断变化。是百度搜索引擎对网站的基本评分（不是外界所说的百度权重）。是百度。里面有非常机密的数据。网站评分从不单独使用，会与其他因素和阈值共同影响网站的爬取和排名。

　　爬取频率间接决定了网站可以建多少个页面收录。如果这样一个重要的值不符合站长的期望，如何调整？百度站长平台提供了爬频工具()，并已完成多次升级。除了提供爬行统计外，该工具还提供了“频率调整”功能。站长可根据实际情况要求百度蜘蛛增加或减少对百度站长平台的访问量。该工具将根据网站管理员的意愿和实际情况进行操作。调整。

　　百度蜘蛛抓取异常的原因

　　有些网页内容质量高，用户可以正常访问，而百度蜘蛛却无法正常访问和抓取，导致搜索结果覆盖率不足，对百度搜索引擎和网站来说都是一种损失。百度称这种情况为“抓”取例外。对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站存在用户体验缺陷，降低对网站的评价@网站在爬取、索引、排序方面都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。

　　以下是网站站长抓取异常的一些常见原因：

　　1、服务器连接异常

　　服务器连接异常有两种情况：一种是站点不稳定，百度蜘蛛尝试连接你的网站服务器时暂时无法连接；另一个是百度蜘蛛一直无法连接到你的网站服务器。

　　服务器连接异常的原因通常是你的网站服务器太大，过载。也有可能你的 网站 运行不正常。请检查网站的web服务器（如apache、iis）是否安装运行正常，并使用浏览器查看主页是否可以正常访问。您的网站和主机也可能屏蔽了百度蜘蛛的访问，您需要检查网站和主机的防火墙。

　　2、网络运营商异常：网络运营商有两种：电信和联通。百度蜘蛛无法通过电信或网通访问您的网站。如果出现这种情况，您需要联系网络服务运营商，或者购买双线服务的空间或购买CDN服务。

　　3.DNS异常：当百度蜘蛛无法解析您的网站IP时，会出现DNS异常。可能是你的网站IP地址错误，或者域名服务商屏蔽了百度蜘蛛。请使用 WHOIS 或主机检查您的 网站 IP 地址是否正确且可解析。如果不正确或无法解决，请联系域名注册商更新您的IP地址。

　　4.IP禁令：IP禁令是：限制网络的出口IP地址，禁止该IP段的用户访问内容，这里特指禁止BaiduspiderIP。仅当您的 网站 不希望百度蜘蛛访问时才需要此设置。如果您想让百度蜘蛛访问您的网站，请在相关设置中检查是否错误添加了百度蜘蛛IP。也有可能你网站所在的空间服务商被封禁了百度IP，则需要联系服务商更改设置。

　　5、UA禁止：UA是User-Agent，服务器通过UA识别访问者的身份。当网站返回异常页面（如403、500）或跳转到其他页面）访问指定的UA时，即被UA禁止。当你的网站不想要百度蜘蛛时，只有访问才需要这个设置。如果想让Baiduspider访问你的网站，useragent相关设置中是否有Baiduspider UA，及时修改。

　　6、死链接：页面无效，不能向用户提供任何有价值信息的页面为死链接，包括协议死链接和内容死链接两种形式：

　　协议死链接：页面的TCP协议状态/HTTP协议状态明确指示的死链接，如404、403、503状态。

　　内容死链接：服务器返回状态是正常的，但是内容已经变为不存在、删除或者需要权限信息的页面，与原内容无关。

　　对于死链接，我们建议网站使用协议死链接，通过百度站长平台-死链接工具提交给百度，以便百度更快找到死链接，减少死链接对用户和搜索引擎的负面影响。

　　7.异常跳转：将网络请求重定向到另一个位置是一个跳转。异常跳转是指以下几种情况：

　　1）当前页面无效（内容被删除、死链接等），直接跳转到上一目录或首页。百度建议站长删除无效页面的入口超链接

　　2） 跳转到错误或无效的页面

　　注意：对于长期重定向到其他域名，如网站更改域名，百度建议使用301重定向协议进行设置。

　　8. 其他例外：

　　1）针对百度引用的异常：从百度返回引用的网页行为与正常内容不同。

　　2） 百度UA异常：网页返回百度UA的行为与页面原创内容不同。

　　3）JS跳转异常：网页加载了百度无法识别的JS跳转代码，导致用户通过搜索结果进入页面后跳转。

　　4） 压力过大导致意外封禁：百度会根据网站规模、流量等信息自动设置合理的爬取压力。但是，在异常情况下，例如压力控制异常时，服务器会根据自身负载偶尔被禁止进行保护。在这种情况下，请在返回码中返回503（它的意思是“服务不可用”），这样百度蜘蛛会在一段时间后再次尝试抓取该链接，如果网站空闲，则抓取成功。

　　判断新链接的重要性

　　好了，上面我们讲了影响百度蜘蛛正常爬取的原因，接下来我们讲一下百度蜘蛛的一些判断原则。在建库链接之前，百度蜘蛛会对页面进行初步的内容分析和链接分析，通过内容分析判断该网页是否需要建索引库，通过链接分析找到更多的网页，然后抓取更多的网页-analysis-——是否建库&找新链接流程。理论上，百度蜘蛛会检索新页面上所有“见过”的链接。那么，面对众多的新链接，百度蜘蛛是根据什么判断哪个更重要呢？两个方面：

　　一、对用户的价值：

　　1.独特的内容，百度搜索引擎喜欢独特的内容（即原创内容）

　　2、主体突出，不要出现网页的主要内容不突出，被搜索引擎误判为空的短页而未被抓取

　　3、内容丰富

　　4. 广告适当

　　二、链接的重要性：

　　1.目录级别-浅优先级

　　2.本站链接的流行度

　　百度优先建设重要图书馆的原则

　　百度蜘蛛抓取的页面数量并不是最重要的。重要的是一个索引库建了多少页，也就是我们常说的“建库”。众所周知，搜索引擎的索引库是分层的。优质的网页会被分配到重要的索引库，普通的网页会留在普通的图书馆，更糟糕的网页会被分配到低级别的图书馆作为补充资料。目前60%的检索需求只调用重要的索引库就可以满足，这就解释了为什么有些网站的收录量超高，但流量并不理想。

　　那么，哪些网页可以进入优质索引库呢？其实总的原则是一个：对用户有价值。包括但不仅限于：

　　1、时效性与价值性页面：在这里，时效性与价值性是平行关系，缺一不可。有的网站为了生成时间敏感的内容页面，做了很多采集的工作，结果是一堆毫无价值的页面，百度不想看到。

　　2. 优质内容的专题页：专题页的内容可能不完全原创，也就是可以很好的整合各方内容，或者一些新鲜的内容，比如意见、评论，可以为用户添加更丰富、更全面的内容。

　　3、高价值的原创内容页面：百度将原创定义为文章经过一定的成本和大量的经验形成的。不要再问我们伪原创 是否是原创。

　　4.重要的个人页面：这里只是一个例子。科比已经在新浪微博上开设了账号，需要不经常更新，但对于百度来说，它仍然是一个极其重要的页面。

　　哪些页面不能建入索引库

　　上述优质网页均收录在索引库中。其实网上的大部分网站根本就不是百度的收录。不是百度没找到，而是建库前的筛选链接被过滤掉了。那么一开始过滤掉了什么样的网页：

　　1. 内容重复的网页：网上已有的内容无需百度收录。

　　2. 主要内容短而空的网页

　　1）部分内容使用了百度蜘蛛无法解析的技术，如JS、AJAX等，虽然用户访问时可以看到丰富的内容，但还是会被搜索引擎抛弃

　　2） 加载过慢的网页也可能被视为空的短页面。请注意，广告加载时间收录在网页的整体加载时间中。

　　3）很多主体不突出的网页，即使爬回来，也会在这个链接中被丢弃。

　　3. 一些作弊页面

　　总结

　　注意网站页面的返回码。搜索引擎对不同的返回码有不同的处理方式。如果页面出现问题，一定要及时处理，尤其是在网站迁移做301重定向的情况下。

　　编写好的robots.txt 文件将有助于搜索引擎更好地抓取网站内容。

　　服务器的稳定性和网站访问的速度都会影响百度蜘蛛抓取的成功率。

　　内容原创，主体突出，内容丰富是搜索引擎的最爱，也是最容易被收录存储的。

　　请注意哪些网页不能进入索引库，如果我们的网页不符合规则，请及时更改。

　　进入数据库是第一步。如果第一步都做不到，那么如何提升排名就更无从谈起。