百度网页关键字抓取(百度对网页文字编码的抓取，百度指数的算法揭秘)

　　百度网页关键字抓取(百度对网页文字编码的抓取，百度指数的算法揭秘)

　　百度对网页文本编码的抓取，百度索引的算法，URL标准化问题，被屏蔽的网页是否可以加权，百度如何对待修改后的网站，购买链接被处罚后是否可以恢复等。本期这些问题为广大站长提供了官方的非标准答案，仅供参考。

　　1 请问百度索引算法是否稳定？

　　比如关键词的“百度指数”今天是1000，一年前是1000，那这两天百度对这个词的查询量一定是一样的吗？

　　问题应该是，如果百度索引相同，是否意味着查询量相同？

　　排名是相对数量。因此，即使位置没有变化，绝对数量也可能会发生剧烈变化。算法只能说是比较稳定的，并不是绝对稳定的。

　　算法调整也会影响历史数据。因此，理论上，历史百度指数同样具有意义。但是如果你在网上发现了一些意想不到的东西，你可以指出，我们可以检查。

　　2 网页的文字编码

　　百度是否收录

charset=iso-8859-1 站点？收录

的权重是否与 charset=utf-8 charset=gb2312 相同？

　　百度将收录

使用 iso-8859-1 编码的网页。收录

的权重取决于页面本身。

　　3 百度能正常抓取网页上Unicode编码的文字吗？

　　百度可以正常抓取网页上的Unicode编码文本吗？

　　目前百度仅支持 utf8 对 unicode 编码，后续会逐步增加对其他编码方案的支持（如 utf16））。

　　4 URL 标准化问题

　　看到百度是否支持canonical标签的问题，我也想问一下。

　　事实上，不仅存在首选域的问题。例如，许多网站在两个版本中都收录

***.com 和 ***.com。***.com对***.com做了301很久了，没用。全都包括。

　　目录也是如此。我经常看到收录

这样的 URL ***.com/seo。实际上，该网站显示为***.com/seo/（后面有一个斜线），而***.com/seo 对** *.com/seo/ 进行了301，收录

的URL 仍然是错误的。有的网站包括***.com/seo，有的***.com/seo/，不规范。

　　百度网址的标准化很难处理。用一个版本的网站没用，做301也没用。百度好像随便选一个，没有规律，也没办法改。有什么建议？

　　百度目前不支持规范标签。

　　URL格式的问题反映了我们系统没有及时更新重定向。最近我们正在研究更好的方法来解决这个问题。

　　5 购买链接被处罚能恢复吗？

　　我是一个普通的企业家。我把所有的钱都投入了，卖掉了自己的房子，组成了一个小团队，经营着几个行业网站。经过半年的努力，其中一个主要网站在关键词排名中排名一两页。更好的排名。三月份，我买了几个金链环，就是新闻门户网站上的那种亮链。结果两天后，作为链接关键词的排名就消失了。链接关键词的排名还在，直到现在还没有恢复。应该被百度处罚。我可以立即撤回我购买的所有链接，并可以恢复这些主要的关键词排名吗？如果可能的话需要多长时间？如果我想恢复，我还应该做什么？

　　值得关注的问题。很多个别站长对百度的“网站处理政策”一头雾水。有时，网站管理员不会出于恶意 (SEO) 目的进行操作。结果关键词的排名表现突然异常，但站长也不知从哪些角度思考遇到的问题，也不知如何改进。恢复之前的状态后，没有办法改善；真希望能早日看到百度SEO指南或规范出炉，让站长有证据可循，以免盲目犯多错

　　这些问题回答起来非常麻烦。等待我们的系统完成帮助文档，然后在文档中进行回复。初稿，我觉得可以在五月份发布。

　　不是购买链接的问题，而是选错网站的问题

　　尖锐的问李，CCAV卖链接的网站，你敢下吗？

　　另外，我想恢复。我在类似情况下购买了20个PR4或以上的高百度权重网站，并保持更新，并在1周内回来。

　　6 被机器人拦截的网页如果得到外链会变重吗？

　　网站下有这么一个目录/test

　　/test/1.html目录下有一个页面

　　在robots中禁止spider访问/test目录的权限

　　把/test/1.html页面的超链接放在另一个网站上，它被蜘蛛抓取了

　　这个链接会增加权重，还是将权重传递到网站首页？

　　即使这个网址在别处找到，也不会因为机器人被索引。

　　至于重量的问题，就用最简单的逻辑来判断吧。

　　关于www和没有www的域名营销效果不同的7个问题

　　我观察到大多数网站都有以下两种域名解析和处理方式：

　　1、 直接301不带www或跳转到带www的域名；2、不带www和带www同时解析到同一个服务器文件（首页），实现乱码访问。

　　但在这种情况下，百度收录时，最后更新时间不带www和带www，收录数量与主要关键词排名往往不一致（甚至个别权重可能会相互影响）。

　　这种情况应该如何处理？百度如何判断这种情况？

　　这确实是一个问题，我们也发现这是意料之外的。原因正在调*敏*感*词*理中。感谢您的反馈。

　　8 购买链接会被百度处罚吗

　　对于现在的SEO同学来说，都是疯狂的抢购链接。表现最突出的是各大顺丰网站，都是通过购买大量友情链接来加强J搜索引擎的。（和传世顺丰一样，顶站月链接费至少5万多。）

　　那么，百度以后会不会因为这种明显的为SEO买链接、强行登顶的方式被百度惩罚呢？

　　因为从目前来看，百度并没有因为购买链接受到处罚的迹象。普通的话，网站收录后，只需要更新一点，再买两个月的链接，肯定能进前三。

　　谷歌一直说得很清楚。购买链接以增加PR将受到惩罚。百度在这方面的算法也要更新吗？

　　这种方法奏效了，说明百度在识别和处理超链接作弊方面还存在不少问题。应妥善解决此类问题，净化互联网环境。我们稍后会与相关同事讨论这个问题。

　　9 301 永久重定向通过全部或部分权重

　　正常的301永久重定向，所有在旧网址上积累的投票信息都会转移到新网址上。

　　起源

　　来源：经常出现在网站访问统计中。但是点击后提示“1个参数丢失或非法，访问中止”。这是百度的东西。

　　用户看到你站在快照中

　　关于新站内页的10个问题

　　百度在内部页面方面对新网站的收录是困难的。可以快速收录主页，但不收录内页，快照时间戳始终停留在主页被收录的时间段。网站和链接的更新正在进行中。

　　请问，这是百度对新网站的评估机制，还是程序本身的bug。

　　土匪加入，仍需“投票选名”；对于加入搜索引擎的人来说，他们也需要关注检查期。

　　11 百度如何对待改版的网站？

　　百度将如何对待修改后的网站。例如，如果一个域名作为游戏站使用了2个月，那么它就成为了一个行业网站。百度将如何对待？

　　我们知道这种情况很正常。域名交易、站长变动、公司业务变动都可能导致这种情况的发生。

　　如果内容发生了根本性的变化，理论上会被视为一个全新的网站，旧的超链接将失效。

　　12 一站关键词的搜索结果不同地区不一样？

　　这种情况也偶尔会看到。请问，这种现象会不会随着发展而逐渐显现出来？

　　百度是否会增加本地网站在区域搜索中的权重？（出价有这样的问题，我问的是自然搜索）

　　如果你在中关村搜索“银行”，结果都是中关村周边的银行网点，按距离排序，这听起来是不是很美妙？呵呵。我也希望那一天早点到来。