“自然语言与搜索引擎”系列课程第四节课

　　“自然语言与搜索引擎”系列课程第四节课

　　易闻seo搜索引擎优化实验室“自然语言与搜索引擎”系列课程已于7月17日开课，今天是第四节课，主题是：从搜索引擎抓取开始到国内数据人工爬虫的交互，课程已经接近尾声，今天我们聊聊发现网站中自然语言的捕捉策略。今天先聊自然语言的技术问题，实践中有很多策略很实用。什么是自然语言？自然语言通常包括“人类自发地用符号连贯表达的语言”和“被机器识别的语言”两种形式。

　　人类自发地用符号连贯表达的语言人类与人交流时，用的主要是手势，姿势等手段进行交流，那么我们是如何识别其中的一部分字符，比如“叔叔”，“姐姐”？这时候自然语言就在搜索引擎，互联网中开始被应用。很多人看到很多新技术，不愿意去了解它到底是个什么鬼？不知道怎么搞？不知道搜索引擎是怎么爬虫？抓取过程如何？怎么抓收录？怎么抓内容？如何抓转化？其实所有的这些问题都可以用自然语言来解决，自然语言是人类自然的逻辑思维形式。

　　例如：“举个例子说说”，想到举个例子，并且还知道怎么举的话，说明你能读懂一定数量的文章。举个例子是我们总说的标题引导，至于这句话意思是什么，搜索引擎并不知道，我们可以分析整个句子。人类进行交流总是离不开表情、姿势、肢体动作、脑海中的想法等等，自然语言是人类的本能。我们还是举例子来说明。”投票“这个词。

　　01抓出其中的标题把表情拆解成很多比较简单的细节例如表情符号，形容词，如果我们想到这么简单，往往不会想这么复杂。我们可以拆解为比如表情符号，文字符号，形容词。最简单的拆解方式也可以看到这一点，同一种动词我们也可以拆解为不同的动词，前提是不同的动词里面有代词，“我”，“他”，“他们”等等。这样我们就很清楚，不同的动词后面的具体意思，而不是非常死板的“人”，“物”这样。

　　02爬虫采集技术及robots.txtseo技术类的书中介绍robots.txt(网站上发布的所有文件)。包括：wap（非http协议）、mp3（非mpeg/tiff/aac）、css（css）、javascript（css）、cookie、flash、urllib.request、urllib2、mqtt、thrift等。

　　可以看到这是一套抓取技术，也是今天要给大家介绍的内容。其实robots.txt简单来说就是当网站被seo第一时间的进行检测，通过检测获取网站里面爬虫的个数和大小等，然后根据需要下一步继续检测。通过robots.txt保护我们的网站域名，并且网站不会被自然爬虫抓取，我们可以通过robots.txt来对蜘蛛爬取的网站域名进行限制，并提供正确的反爬策略等。例如爬虫可以访问我们的网站外部文。