从网页抓取视频(禁止百度搜索引擎抓取网站并显示网页快照,我该怎么做?)
优采云 发布时间: 2022-02-15 12:09从网页抓取视频(禁止百度搜索引擎抓取网站并显示网页快照,我该怎么做?)
信息
成为会员解锁独家内容
登入
热搜词
在这两者之间,添加禁止搜索引擎抓取 网站 并显示页面快照的代码。
在网站首页代码之间添加,防止百度搜索引擎抓取网站并显示网页截图。
在 网站 主页代码之间,添加它以防止 Google 搜索引擎抓取 网站 并显示网页快照。
另外,当我们的需求很奇怪的时候,比如以下几种情况:
1. 网站我加了robots.txt,还能百度搜吗?
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但是百度搜索引擎数据库中已经建立的网页索引信息可能需要几个月的时间才能被清除。另请检查您的机器人是否配置正确。如果您的拒绝是收录紧急要求的,也可以通过投诉平台反馈请求处理。
2.我想让网站内容被百度收录,但不保存为快照,怎么办?
百度蜘蛛遵守互联网元机器人协议。您可以使用网页元的设置,使百度显示只对网页进行索引,而不在搜索结果中显示网页的快照。和robots的更新一样,因为搜索引擎索引库的更新需要时间,虽然你已经禁止百度通过网页中的meta在搜索结果中显示网页的快照,但如果在百度中已经建立了网页索引搜索引擎数据库信息,可能需要两到四个星期才能在线生效。
3.想被百度索引,但是不保存网站快照,下面代码解决:
4. 如果你想阻止所有搜索引擎保存你网页的快照,那么代码如下:
下面列出了一些常见的代码组合:
总结
以上就是这个文章的全部内容。希望本文的内容对您的学习或工作有一定的参考和学习价值。谢谢您的支持。如果您想了解更多信息,请查看下面的相关链接