网站内容抓取(SEO优化：查找引擎怎么发现和接收信息，怎么作业)

　　网站内容抓取(SEO优化：查找引擎怎么发现和接收信息，怎么作业)

　　很多人都听说过 SEO 中的“可抓取性”一词。了解抓取工具如何查找和接收信息以帮助改进您的 网站。

　　搜索引擎是如何工作的？

　　搜索引擎大致分为三个部分：抓取、索引和排名。搜索引擎首先使用一种叫做“爬虫”的软件在链接后遍历万亿个网页，同时获取每个网页的信息，并将信息索引到服务器。

　　索引信息由搜索引擎自己的算法进行排名，排名反映在搜索结果中。

　　这次的主题是“可抓取性”，但是提高可抓取性直接关系到搜索引擎是否能够正确找到您需要的内容。不用担心网站会议长达几十页，但规划具有可抓取性的网站对于内容比较大的网站来说是极其重要的。

　　将特定页面作为示例进行比较

　　我们经常听说搜索引擎已经发展到能够从与用户相同的角度对内容进行评级。当然，搜索引擎也做了一些改进，让搜索引擎可以评估人类认为好的东西，但距离现实还有一段距离。

　　那么让我们以文章 的例子来说明我们正在运行的应用程序，并将其与人工检查和搜索引擎检查进行比较。

　　当人类看到它

　　人们看到的时候，我想每个人都有自己的想法，但我认为他们在查看标题和文本内容时会查看新的文章和每月PV排名。

　　当搜索引擎看到它

　　这里以谷歌搜索引擎为例，让我们看看谷歌机器人是如何使用所谓的搜索引擎蜘蛛模拟器来理解网站的。

　　可能难以理解，但请注意搜索引擎只检索页面上的文字信息，如图片。严格来说，获取整个 HTML 并从 HTML 标签中解析读取的文本信息可能更正确。

　　* Google 搜索引擎实际从服务器收到的信息是其他信息，例如状态码和元信息，以及 HTML 文件本身。关于此问题的机制请参考下方文章。

　　此外，搜索引擎除了抓取文本外，还会抓取片段中可能用到的链接、关键词、描述等相关信息，并将信息索引到服务器，如下图所示。你呢？这里找到并获取到的链接网址会被注册到爬虫的巡视列表中，成为要爬取的网址。

　　比如一般收录alt特性，也就是图片的替代文字信息，但是这样，当你把内容当成文字信息时，替代文字作为上下文才有意义。我认为可以包括在内。例如，对于没有意义的图片信息，需要将alt特征描述为alt=""（空=无语义信息）；相反，如果图片具有丰富的语义信息，则需要描述语义信息。如果它没有按原样添加到 alt 功能，则它作为上下文没有任何意义。我认为最好记住这一点，而不仅仅是收录关键字。

　　搜索引擎功能和抓取能力

　　虽然搜索引擎Googlebot已经讨论过如何理解网站，但比谷歌雅虎等搜索引擎要好，比如！虽然有些搜索引擎在特定领域有优势，比如寻找用户体验或专注于寻找词的相关性，但目前谷歌仍然拥有最多的信息，感觉就像给我展示的搜索引擎。

　　当然有各种功能的搜索引擎，更不用说谷歌了，但是任何搜索引擎要想正确理解网站信息，都需要考虑“可抓取性”。

　　换句话说，一个术语描述了爬虫通过网站crawling 的难易程度。爬虫能力强的网站一直对搜索引擎友好，因为他们保留了搜索引擎发现的重要内容。

　　如果发现链接的网址没有在巡查列表中注册，则搜索结果中不会显示该内容，如果爬虫可以读取的文本信息不足或不合适，则正确的内容将不会出现可能会反映在搜索结果中，尤其是在内容很多的网站，或者网站带有动态吐出机制的情况下，如果爬取的东西不是基于可以正确找到信息的假设，并且内容理解，内容可能不会反映在搜索结果中。

　　以后为了让更多人有机会看到内容，不要过分相信搜索引擎的功能是安全的，当然搜索引擎的功能也不会因为它不断被添加。不必要的优化。

　　但是，如果抓取能力较弱，部分搜索引擎将无法正确理解网站上的信息，从而对评价产生不利影响，并可能导致负面结果。比如不能先爬取信息。 , 抓东西功能低。但是基于能理解信息的思维优化后，可以说是可以完成更强的爬虫能力。

　　确保重要内容的可抓取性是搜索引擎优化的基本方法。但是，对此的疏忽很可能会导致某些站点的机械损失很大。我们的政策是建立对用户和搜索引擎都友好的网站。