爬虫抓取网页数据(提取HTML页面内有用的数据定义匹配规则(图))

　　爬虫抓取网页数据(提取HTML页面内有用的数据定义匹配规则(图))

　　从 HTML 页面中提取有用的数据：

　　一个。如果需要数据保存

　　湾 如果还有其他网址，继续第二步

　　4. Python爬虫有什么优势？

　　

　　5. 学习路线

　　抓取 HTML 页面：

　　HTTP 请求处理：urllib、urllib2、requests

　　处理器的请求可以模拟浏览器发送的请求，获取服务器响应的文件

　　解析服务器对应的内容：

　　re, xpath, BeautifulSoup(bs4), jsonpath, pyquery, 等等

　　使用某种描述语言为我们需要提取的数据定义一个匹配规则，满足这个规则的数据就会被匹配

　　采集动态HTML，验证码处理

　　通用动态页面采集：Selenium + PhantomJS：模拟真实浏览器加载JS

　　验证码处理：Tesseract机器学习库、机器图像识别系统

　　Scrapy框架：

　　高定制、高性能（异步网络框架扭曲）->快速数据下载

　　提供数据存储、数据下载、提取规则等组件

　　分布式策略：

　　scrapy redis：在scarpy的基础上，增加了一套以redis数据库为核心的组件，主要在redis中进行请求指纹去重、请求分发、临时数据存储

　　爬虫、反爬虫、反爬虫的斗争：

　　用户代理、代理、验证码、动态数据加载、加密数据

　　6. 爬虫分类

　　6.1 通用爬虫：

　　1. 定义：搜索引擎的爬虫系统

　　2. 目标：爬取所有互联网网页，放到本地服务器形成备份，并对这些网页进行相关处理（提取关键词，去除广告），最终提供用户可以访问的借口

　　

　　3. 获取过程：

　　a) 先选择一部分已有的URL，将这些URL放入爬取队列

　　b) 从队列中获取URL，然后通过NDS解析得到主机IP，然后去这个IP对应的服务器下载HTML页面，保存到搜索引擎的本地服务器，然后把抓取到的进入抓取队列的 URL

　　c) 分析网页内容，找出网页中的其他网址链接，继续执行第二步，直到爬取结束

　　4.搜索引擎如何获取新的网站 URL：

　　主动提交网址给搜索引擎：

　　在其他网站中设置网站的外部链接：上面的其他网站链接

　　搜索引擎会与DNS服务商合作，可以快速收录new网站

　　5.一般爬虫注意事项

　　一般爬虫不是所有的东西都能爬，它必须遵守规则：

　　机器人协议：协议会规定一般爬虫爬取网页的权限

　　我们可以访问不同网页的机器人权限

　　

　　

　　6.通用爬虫一般流程：

　　

　　7. 一般爬虫的缺点

　　仅提供文本相关内容（HTML、WORD、PDF）等，不能提供多媒体文件（msic、图片、视频）等二进制文件

　　提供的结果是一样的，你不能听不同背景的人的不同搜索结果

　　无法理解人类语义的搜索

　　专注爬虫的优势

　　DNS域名解析为IP：在命令框中输入ping获取服务器的IP

　　

　　6.2 关注爬虫：