爬虫抓取网页数据(提取HTML页面内有用的数据定义匹配规则(图))

　　爬虫抓取网页数据(提取HTML页面内有用的数据定义匹配规则(图))

　　从 HTML 页面中提取有用的数据：

　　一种。如果需要数据保存

　　湾 如果还有其他网址，继续第二步

　　4. Python爬虫有什么优势？

　　

　　5. 学习路线

　　抓取 HTML 页面：

　　HTTP 请求处理：?urllib, urlib2, requests

　　处理器的请求可以模拟浏览器发送的请求，获取服务器响应的文件

　　解析服务器对应的内容：

　　re, xpath, BeautifulSoup(bs4), jsonpath, pyquery, 等等

　　使用某种描述语言为我们需要提取的数据定义一个匹配规则，满足这个规则的数据就会被匹配

　　采集动态HTML，验证码处理

　　一般动态页面采集：？Selenium + PhantomJS：模拟真实浏览器加载JS

　　验证码处理：Tesseract机器学习库、机器图像识别系统

　　Scrapy框架：

　　高定制、高性能（异步网络框架扭曲）->快速数据下载

　　提供数据存储、数据下载、提取规则等组件

　　分布式策略：

　　scrapy redis：在scarpy的基础上，增加了一套以redis数据库为核心的组件，主要在redis中进行请求指纹去重、请求分发、临时数据存储

　　爬虫、反爬虫、反爬虫的斗争：

　　用户代理，？代理人，？验证码，？动态数据加载，？加密数据

　　6. 爬虫分类

　　6.1 通用爬虫：

　　1. 定义：？搜索引擎爬虫系统

　　2. 目标：？爬下网上所有的网页，放到本地服务器上形成备份，对这些网页进行相关的处理（提取关键词，去除广告），最后提供一个用户可以访问的借口

　　

　　3. 获取过程：

　　a) 先选择一部分已有的URL，将这些URL放入爬取队列

　　b) 从队列中获取 URL，然后通过 NDS 解析得到主机 IP，然后到这个 IP 对应的服务器下载 HTML 页面，保存到搜索引擎的本地服务器，然后把抓取到的进入抓取队列的 URL

　　c) 分析网页内容，找出网页中的其他网址链接，继续执行第二步，直到爬取结束

　　4.搜索引擎如何获取新的网站 URL：

　　主动提交网址给搜索引擎：？

　　在其他网站中设置网站的外部链接：上面的其他网站链接

　　搜索引擎会与DNS服务商合作，可以快速收录new网站

　　5.一般爬虫注意事项

　　一般爬虫不是所有的东西都能爬，它必须遵守规则：

　　机器人协议：协议会规定一般爬虫爬取网页的权限

　　我们可以访问不同网页的机器人权限

　　

　　

　　6.通用爬虫一般流程：

　　

　　7. 一般爬虫的缺点

　　仅提供文本相关内容（HTML、WORD、PDF）等，不能提供多媒体文件（msic、图片、视频）等二进制文件

　　提供的结果是一样的，你不能听不同背景的人的不同搜索结果

　　无法理解人类语义的搜索

　　专注爬虫的优势

　　域名解析？域名解析为IP：在命令框中输入ping获取服务器的IP

　　

　　6.2 关注爬虫：

　　爬虫程序员针对某个内容编写的爬虫->面向主题的爬虫，以及面向需求的爬虫