什么是搜索引擎蜘蛛？汉译是什么？怎么做？

　　什么是搜索引擎蜘蛛？汉译是什么？怎么做？

　　我们都知道SEO（Search Engine Optimization）转化为搜索引擎优化，利用搜索引擎规则提高网站在相关搜索引擎中的自然排名。目的是为网站提供生态自营销解决方案，使其在行业中占据领先地位，获得品牌收益； 网站optimization 分为站内SEO优化和站外SEO优化两个方面；获得更多的网站免费流量，从网站结构、内容建设方案、用户交互与交流、页面等方面进行合理规划，也将使网站相关信息在搜索引擎中展示的更多对用户有吸引力。

　　那么，搜索引擎的原理是什么？这个一定要知道，因为你不知道搜索引擎的原理，你是做不了SEO优化的。要了解搜索引擎的原理，我们先来了解一下什么是搜索引擎蜘蛛？

　　搜索引擎蜘蛛可以简称为蜘蛛，意思是搜索引擎机器人（robots）。之所以叫蜘蛛，就是把互联网比作蜘蛛网，把机器人比作在互联网上爬行的蜘蛛，也就是搜索引擎自动抓取网页的程序。

　　搜索引擎蜘蛛的作用：这些搜索引擎蜘蛛的爬取会自动将网页添加到搜索引擎的数据库中，搜索引擎蜘蛛会自动判断网页的质量并决定是否根据到既定程序。

　　搜索引擎蜘蛛名称：以下是目前国内比较知名的搜索引擎名称。搜索引擎蜘蛛有很多，但由于知名度不高，就不一一列举了。

　　查看搜索引擎蜘蛛的访问记录，需要查看网站access日志文件。具体获取方式请咨询服务器提供商。

　　如果你想得到搜索引擎蜘蛛的支持，想让它们每天爬爬爬取网页，那么你需要保持原创文章的更新，定期交换友情链接。

　　如果您不希望某个搜索引擎的蜘蛛抓取您的网页，您可以通过设置 robots.txt 禁用抓取。

　　好的！序幕已经拉好，我们需要知道的基本介绍完毕。我们来看看搜索引擎的原理是什么？有兴趣的朋友可以仔细阅读。

　　搜索引擎，需要解决的技术问题一般分为：蜘蛛程序、分类索引、词库、排序算法因素、数据库索引与优化、数据库结构-蜘蛛。

　　目前看来蜘蛛可以用C或PHP实现。百度的爬虫大部分都是用C做的，C还可以支持多个数据库连接接口，C比PHP效率更高，C可以更好的控制底层。

　　虽然C这么好，我还是想用PHP来做。我必须节省更多的时间，我不能再学习 C。如果以后需要高效率，就需要用C，然后用C来做，数据库不变，MYSQL用C连接即可。

　　PHP 有优点也有缺点。作为蜘蛛，问题应该不大。最大的问题是它可能很慢。

　　1、抓取网页

　　在抓取网页时，可能会出现的问题是抓取顺序，抓取不成功或者超时如何记录，下次抓取什么时候更新。搜索引擎的数据库一开始是新的，没有任何网址，需要大量的网址。

　　这里可以使用for循环语句根据英文字母自动循环。当然网站建筑不仅有英文，还有数字，只能手动输入。如果还在循环爬行，估计会漏掉很多。抓到的代码需要分析编码类型是utf-8还是gb2312.。我的搜索引擎只想捕获简体中文。

　　如果爬取超时，会被记录下来，下次大约十天后爬取。如果连续3次超时，就会出库。

　　2、创建索引

　　索引的建立是一个非常困难的问题。百度和谷歌可以使用自己的服务器群来构建分布式服务器。我没有那么多服务器。所以我想改变方法。创建静态页面。之前就知道在百度和谷歌输入一个比较生僻的词需要0.2秒，而一般的常用词只需要0.1秒。而且，第二次重复输入一个单词所需的查询时间要少得多。这主要是指数的影响。

　　如果把索引放在内存中，读取速度会很OK。我只有一台服务器，就算只把5万个常用查询词的索引放进去，估计也有点累了。一个page至少有20K，50000个page就是20K*50=1G。这只是 50,000 字的第一页。如果用户要分页查询，内存肯定不够用。如果只将第一页放入内存中，用户翻页查询，速度是无法解决的。所以我将完全静止。模拟一次50000字的查询，然后生成一个静态页面。所有单词的第一页存储在内存中，随后的页面存储在硬盘中。如果页面可以放入内存，这个问题就解决了。

　　3、词库

　　汉字有几千个，常用汉字至少有3000个。估计有20,000个常用词。如何添加这个词库？使用什么格式存储？ CSV 文件或数据库或文本文件？想着找金山词霸的词库文件直接复制试试。这个方法还没有成功。

　　4、排序算法

　　所有影响排序的算法应该放在一个表中，然后分为固定算法，即网站本身的因素，以及可变算法，即用户输入的词或因素由于不同的时间和季节而变化。 固定算法放在一个表格中，对每个网站计算总分。部分变更算法是之前生成的，一部分是在用户输入之后计算出来的。

　　5、数据库索引

　　目前对于数据库索引没有很好的解决方案。一个表达式索引不能太多，索引太多会影响速度。 六. 数据库的结构。这个非常重要。估计在网站前台接口出来之前，数据库结构一定要敲定。也需要留一个接口供以后升级，比如增加算法因子，或者改变字段以优化查询语句等等。

　　好的，今天就分享到这里，下一篇再解释，值得期待！感兴趣的朋友关注傲游建站移动站()经常更新建站、优化等诸多前沿网络知识。

　　撰写本文的参考：

　　搜索引擎 %E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E

　　网络爬虫%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711?fromtitle=%E6%90%9C%E7%B4%A2%E5%BC %95%E6%93%8E%E8%9C%98%E8%9B%9B&fromid=9781549