搜索指定网站内容(以有针对性的方式可以使用不同的策略来隔离内容推送)

　　搜索指定网站内容(以有针对性的方式可以使用不同的策略来隔离内容推送)

　　与访问者相比，有针对性地在搜索引擎中展示特定内容

　　可以使用不同的策略来隔离内容推送。最基本的方法是使用不可抓取的格式提供搜索引擎看不到的内容（如在图片、flash 文件和插件等中放置文本）。例如，它只能用于提供改进的用户体验）。在这种情况下，您可以以可抓取的格式在搜索引擎中显示相同的内容。如果您想向搜索引擎提供您不希望访问者看到的内容，您可以使用 CSS 样式表。不要使用 display: none 或基于 JavaScript、用户代理、cookie 或会话的推送，或 IP 推送（根据用户的 IP 地址显示内容），因为搜索引擎使用过滤器来专门监控这一点。未使用。

　　使用这些技术时应特别小心。如前所述，搜索引擎在其指南中明确禁止使用欺骗行为，而不是欺骗搜索引擎，例如使用隐藏技术来提高意图和用户体验（例如，使用隐藏技术来提高质量网站的用户经验））但是，搜索引擎仍然非常重视这些技术，这可能会惩罚或禁止某些串通或恶意操纵搜索引擎的网站。另外，如果你有一个好的起点，搜索引擎可能会认为它是恶意的并惩罚你。使用 robots.txt 文件

　　该文件位于您域名的根目录中。它是一个*敏*感*词*工具，允许搜索爬虫确定哪些网站 内容已被访问。您可以使用 robots.txt。

　　防止爬虫访问您的网站 隐私部分。

　　防止搜索引擎访问索引脚本、实用程序或其他类型的代码。

　　避免为 网站 上的重复内容编制索引，例如 HTML 页面的打印版本或产品目录中的多个排序顺序。

　　自动发现：当您告诉搜索引擎漫游器不要访问特定页面时，此文件将阻止爬虫抓取该页面。图6-35直观地展示了搜索引擎何时看到机器人不抓取特定页面的命令。 txt 然后会发生什么。