谷歌抓取网页视频教程( Google网站站长帮助论坛1积极分享您的问题反馈和成功案例 )

　　谷歌抓取网页视频教程(

Google网站站长帮助论坛1积极分享您的问题反馈和成功案例

)

　　Google SEO 入门指南 2018 版 (一）: Google Fetch

　　[]

　　1.前言

　　如果您通过 Google 搜索运营、管理或推广在线内容，或通过在线内容获利，则本指南适用于您。如果你是一个快速成长的企业，一个网站的网站站长，网络代理的SEO专家，或者对搜索机制有浓厚兴趣的DIY SEO专家，这个指南也适用于你。如果您有兴趣根据我们的最佳实践彻底了解 SEO 基础知识，那么本指南也适用于您。本指南不会提供任何提示来自动将您的 网站 在 Google 中排名第一（抱歉！），但如果您遵循下面列出的最佳实践，您将有望让搜索引擎更轻松地获取、理解和索引您的内容。

　　搜索引擎优化 (SEO) 通常是指对 网站 的各个部分进行细微的修改。单独来看，这些修改可能只是渐进式和细微的改进，但是当与其他优化相结合时，它们可能会对您的 网站 用户体验和自然搜索结果中的性能产生重大影响。您可能已经熟悉本指南中的许多主题，因为它们是任何网页的基本元素，但您可能不会充分利用它们。

　　您应该优化网站以满足用户需求。您的一个用户是搜索引擎，它可以帮助其他用户发现您的内容。搜索引擎优化是指帮助搜索引擎理解和呈现内容。你的网站可能比我们的例子网站更简单或更复杂，呈现的内容也可能大不相同，但我们下面讨论的优化主题对于网站@的所有大小和类型都是一样的> 适用。我们希望本指南能为您带来一些关于如何改进 网站 的全新想法，我们也希望您在 Google 网站网站站长帮助论坛 1 中积极分享您的问题、反馈和成功案例。

　　2.相关术语

　　以下简要词汇表收录本指南中使用的重要术语：

　　3. 您的 网站 是否是 Google 搜索引擎 收录？

　　您可以在 Google 搜索引擎中对您的 网站 主页 URL 执行“站点：”搜索。如果你能看到结果，说明你的网站在索引中。如“站点：”。

　　谷歌虽然可以抓取数十亿个网页的内容，但难免会漏掉一些网站。所以如果你的网站不是收录，可能是以下原因造成的：

　　4.如何让我的网站出现在谷歌搜索结果中？

　　将网站收录在Google搜索结果中是完全免费的，而且操作简单，您甚至不需要向Google提交网站。Google 是一个完全自动化的搜索引擎，它使用网络爬虫不断抓取网页，以便找到可以添加到 Google 索引中的 网站。事实上，谷歌搜索结果中显示的大部分网站并不是手动提交纳入索引的，而是谷歌在抓取网页时发现并自动添加的。了解 Google 如何发现、抓取和呈现网页。

　　我们提供了一份网站 站长指南，帮助网站 站长构建网站 便于Google 处理。尽管我们不能保证我们的抓取工具会找到特定的 网站，但遵循这些准则应该会使您的 网站 出现在我们的搜索结果中。

　　Google Search Console 提供了一系列工具来帮助您向 Google 提交内容并监控您的 网站/mobile 应用程序在 Google 搜索结果中的曝光率。如果您愿意，当 Google 在抓取您的过程中发现任何严重问题时，Search Console 甚至可以向您发送提醒网站。注册 Search Console5。

　　首先，你需要问自己以下关于你的网站的基本问题。

　　您可以在以下位置找到其他入门信息

　　5.帮助 Google 发现您的内容

　　要让 网站 出现在 Google 搜索结果中，首先要确保 Google 可以找到它。最好的方法是提交站点地图。站点地图是网站上的一种文件，它可以通知搜索引擎在网站上有新的或更新的网页。详细了解如何构建和提交站点地图。

　　Google 还通过其他网页上的链接查找网页。

　　6.让谷歌知道哪些页面不应该被抓取

　　最佳实践

　　如果是非敏感信息，可以使用robots.txt，防止不必要的爬取

　　“robots.txt”文件将告诉搜索引擎他们是否可以访问您的网站 的每个部分并执行抓取。该文件必须命名为“robots.txt”，并且应位于网站 的根目录中。被robots.txt 屏蔽的网页也可能被抓取，因此您应该使用更安全的方法来保护敏感页面。

　　您可能不希望 网站 的某些页面被抓取，因为这些页面在搜索引擎的搜索结果中显示时可能对用户毫无用处。如果您想阻止搜索引擎抓取您的页面，Google Search Console 可以提供方便的 robots.txt *敏*感*词*来帮助您创建此文件。请注意，如果您的 网站 使用子域，并且您不希望 Google 抓取特定子域上的某些网页，则您必须为该子域创建单独的 robots.txt 文件。

　　避免的做法：

　　如果是敏感信息，请使用更安全的方法

　　为了防止用户访问敏感或机密信息，Robots.txt 不是一种适当或有效的方式。它只是告诉运行良好的爬虫不要爬取相应的页面，但它不会阻止您的服务器将这些页面发送到请求它们的浏览器。原因之一是：如果互联网上某处有这些被禁止的 URL 的链接（例如引用者日志），那么搜索引擎仍然可以引用这些 URL（只显示 URL，但不显示标题或摘要）显示）。此外，不合规的搜索引擎或不同意遵守机器人排除标准的流氓搜索引擎可能会违反您的 robots.txt 文件中的说明。最后，用户可能会查看您的机器人中的目录或子目录。

　　在这些情况下，如果您只是希望网页不显示在 Google 中，您可以使用 noindex 标签，而不必担心任何用户会通过链接访问网页。但是，为了真正安全，您应该使用适当的授权方式（例如，需要用户密码才能访问）或将网页从网站 中彻底删除。