白话说说SEO好朋友「爬虫」

　　白话说说SEO好朋友「爬虫」

　　<p style="margin-right: 8px;margin-left: 8px;outline: 0px;max-width: 100%;text-align: left;vertical-align: inherit;letter-spacing: 0.544px;text-size-adjust: auto;color: rgb(30, 155, 232);font-size: 14px;line-height: 1.75em;font-family: -apple-system, BlinkMacSystemFont, Arial, sans-serif;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">文章：pmtalk产品经理社区

　　作者：pmtalk签约作者 「白杨SEO优化教程」

　　<br style="outline: 0px;max-width: 100%;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;" /></p>

　　本文大纲：

　　1、爬虫是什么？反爬虫又是什么？

　　2、爬虫有哪些分类？3、爬中流程与搜索引擎工作流程4、http/https协议与状态码5、robots协议

　　爬虫是什么？反爬虫又是什么？

　　这里的爬虫不是我们生活中的爬虫，如蜘蛛。这里的爬虫更多指的是网络爬虫，即我们叫它网页蜘蛛或网络机器人。当然，在SEO里，叫网页蜘蛛更多。

　　网络爬虫，是一种按照一定规则，自动地抓取互联网上的信息的一种程序。他有一个英文名叫spider，比如百度网页蜘蛛就叫baiduspider，那搜狗的就叫Sogou spider。

　　这也是我们SEO人员做网站优化排名会听说的一个词。网站为啥没收录呢？原来蜘蛛没来抓取！如何看这个爬虫蜘蛛朋友来没来呢，让技术把网站日志下载给我们，我们就可以判断了，你说算不算好朋友？

　　百度爬虫是什么？Baiduspider是啥？

　　Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到网站上的网页。百度还有哪些蜘蛛呢？如下图。最多是圈中这个，记得哈~

　　反爬虫是什么？

　　我们以门户网站举例，企业网站也同理哈。门户网站通过相应的策略和技术手段，防止爬虫程序进行网站数据的爬取，这就叫反爬虫。

　　当然，其实还有反反爬虫，即爬虫程序通过相应的策略和技术手段，破解了门户网站的反爬虫手段，从而爬取到相应的数据，这就叫反反爬虫。

　　再白话举例：你要来采集我的内容（爬虫），我不给你采并且我做防采集（反爬虫）。你呢，又搞了更高技术把我防采集攻破了采集（反反爬虫），这样理解了吧？

　　爬虫有哪些分类？

　　爬虫总共就分两类：通用爬虫与聚焦爬虫。

　　通用爬虫：简单说就是尽可能的把网上的所有的网页下载下来，放到服务器里再对这些网页做相关处理，最后给用户搜索用，通常指的搜索引擎爬虫。比如：谷歌爬虫、百度爬虫、搜狗爬虫、360爬虫等。

　　聚焦爬虫：它是根据指定的需求抓取网络上指定网站的数据。比如：获取知乎问答上的某一问题的浏览量和回答人数，而不是获取整个页面中所有数据。它也可以理解叫特定爬虫。

　　上面提到的反爬虫与反反爬虫，基本上都是在反这种聚焦爬虫哈，你也可以理解为爬虫攻防战哈哈哈。

　　爬中流程与搜索引擎工作流程

　　爬虫一般工作流程：确定某个URL——发送请求——响应内容——提取数据——保存数据。

　　搜索引擎蜘蛛工作流程：爬取网页——存储数据——数据预处理——提供用户搜索网页排名。

　　是不是感觉难理解？发送请求是什么，响应内容又是什么？这个往下看HTTP协议与状态看完你就懂了。

　　关于搜索引擎数据预处理在处理什么，怎么理解？看公众号白杨SEO两年前写过这篇《》，看完你就懂了。