网页数据抓取软件(python爬网页数据方便，python爬取数据到底有多方便 )

　　网页数据抓取软件(python爬网页数据方便，python爬取数据到底有多方便

)

　　都说python爬网数据很方便，今天就来试试，python爬数据有多方便

　　简介

　　爬取数据基本上是通过网页的URL获取网页的源代码，根据源代码过滤出需要的信息

　　准备

　　IDE：PyCharm

　　库：请求，lxml

　　注意：

　　请求：获取网页源代码

　　lxml：获取网页源代码中的指定数据

　　建筑环境

　　这里的构建环境不是python的开发环境。这里的构建环境是指我们使用pycharm新建一个python项目，然后进行requests和lxml

　　创建一个新项目：

　　

　　依赖库导入

　　由于我们使用的是pycharm，所以我们导入这两个库会很简单

　　import requests<br />

　　此时requests会报红线。这时候我们把光标对准requests，按下快捷键：alt+回车，pycharm会给出解决方案，这时候选择install package requests，pycharm会自动我们安装好了，我们只需要等待一个安装库的时刻。 lxml的安装方法是一样的。

　　

　　获取网页源代码

　　前面说了，requests可以很方便的让我们拿到网页的源代码

　　网页以我的博客地址为例：

　　获取源代码：

　　# 获取源码<br />html = requests.get("https://coder-lida.github.io/")<br /># 打印源码<br />print html.text<br />

　　代码就是这么简单，这个html.text就是这个URL的源码

　　完整代码：

　　import  requests<br />import lxml<br /><br />html = requests.get("https://coder-lida.github.io/")<br />print (html.text)<br />

　　打印：

　　

　　获取指定数据

　　现在我们有了网页的源代码，我们需要使用lxml来过滤掉我们需要的信息

　　这里以我的博客列表为例，可以找到原网页，通过F12查看XPath，如图

　　

　　通过XPath语法获取网页内容。

　　查看第一个文章标题

　　//*[@id="layout-cart"]/div[1]/a/@title<br />

　　// 定位根节点

　　/向下看下一层

　　提取文本内容：/text()

　　提取属性内容：/@xxxx

　　import  requests<br />from lxml import etree<br /><br />html = requests.get("https://coder-lida.github.io/")<br />#print (html.text)<br />etree_html = etree.HTML(html.text)<br />content = etree_html.xpath(&#39;//*[@id="layout-cart"]/div[1]/a/@title&#39;)<br />print(content)<br />

　　查看所有文章标题

　　//*[@id="layout-cart"]/div/a/@title<br />

　　代码：

　　import  requests<br />from lxml import etree<br /><br />html = requests.get("https://coder-lida.github.io/")<br />#print (html.text)<br />etree_html = etree.HTML(html.text)<br />content = etree_html.xpath(&#39;//*[@id="layout-cart"]/div/a/@title&#39;)<br />print(content)<br />

　　输出：

　　[&#39; springboot逆向工程 &#39;, &#39; 自己实现一个简单版的HashMap &#39;, &#39; 开发中常用的 25 个JavaScript 单行代码 &#39;, &#39; shiro 加密登录 密码加盐处理 &#39;, &#39; Spring Boot构建RESTful API与单元测试  &#39;, &#39; 记一次jsoup的使用 &#39;]<br />