js 爬虫抓取网页数据(提取HTML页面内有用的数据定义匹配规则(图))

　　js 爬虫抓取网页数据(提取HTML页面内有用的数据定义匹配规则(图))

　　在 HTML 页面中提取有用的数据：

　　一种。如果是需要的数据--保存

　　湾。如果还有其他 URL，继续步骤 2

　　4. Python爬虫的优点？

　　

　　5. 学习路线

　　抓取 HTML 页面：

　　HTTP请求的处理：urllib、urllib2、requests

　　处理器的请求可以模拟浏览器发送请求并获取服务器响应的文件

　　解析服务器对应的内容：

　　re, xpath, BeautifulSoup(bs4), jsonpath, pyquery, 等等。

　　使用描述性语言为我们需要提取的数据定义一个匹配规则，匹配到这个规则的数据就会被匹配

　　采集动态HTML，验证码处理

　　Generic Dynamic Pages 采集: Selenium + PhantomJS: 模拟真实浏览器加载JS

　　验证码处理：Tesseract机器学习库、机器图像识别系统

　　Scrapy 框架：

　　高定制、高性能（异步网络框架扭曲）-> 快速数据下载

　　提供数据存储、数据下载、提取规则等组件

　　分布式策略：

　　scrapy redis：在scarpy的基础上增加了一套以redis数据库为中心的组件，主要用于redis中请求指纹去重、请求分配、临时数据存储

　　爬虫、反爬虫、反爬虫之间的斗争：

　　用户代理、代理、验证码、动态数据加载、加密数据

　　6. 爬虫分类

　　6.1 万能爬虫：

　　1.定义：搜索引擎爬虫系统

　　2.目标：爬取互联网上的所有网页，放到本地服务器上形成备份，对这些网页做相关处理（提取关键词，去除广告），最终为用户提供借口拜访

　　

　　3.爬取过程：

　　a) 首先选择一部分已有的URL，将这些URL放入爬取队列

　　b) 从队列中取出URL，然后解析NDS得到主机IP，然后到该IP对应的服务器下载HTML页面，保存到搜索引擎的本地服务器，然后把爬取的抓取队列中的 URL

　　c) 分析网页内容，找出网页中的其他URL连接，继续第二步，直到爬取结束

　　4.搜索引擎如何获得一个新的网站 URL：

　　主动向搜索引擎提交 URL：

　　在其他网站中设置网站的外部链接：其他网站之上的链接

　　搜索引擎将与DNS服务商合作，快速收录new网站

　　5.一般爬虫注意事项

　　万能爬虫不是万物皆可爬，它必须遵守规则：

　　机器人协议：该协议将指定通用爬虫爬取网页的权限

　　我们可以在不同的网页上访问机器人权限

　　

　　

　　6.一般爬虫一般流程：

　　

　　7.通用爬虫的缺点

　　只能提供文本相关的内容（HTML、WORD、PDF）等，但不能提供多媒体文件（msic、图片、视频）等二进制文件

　　提供相同的结果，不能针对不同背景领域的人收听不同的搜索结果

　　不理解人类语义的检索

　　专注于爬行动物的优势

　　DNS域名解析到IP：在命令框中输入ping获取服务器的IP

　　

　　6.2 关注爬虫：

　　爬虫程序员编写的针对某个内容的爬虫 -> 面向主题的爬虫，需要爬虫的爬虫