如何抓取网页数据(如何直接从网页里去找到这个url地址呢？(图))

　　如何抓取网页数据(如何直接从网页里去找到这个url地址呢？(图))

　　如何抓取网页数据学习css和爬虫，是一件很耗时很费心思的事情，当你已经把一个页面爬过来，得到各种数据，并分析爬取到的内容，改变分析这个页面的思路，你将可以清晰看到这个页面的整体网页结构。无论是看看baidu，google这些大佬的服务器网页代码，还是网页中的各种元素，或者是看看idc对标准数据库的整理。

　　这些都是必不可少的，你才会知道这个服务为什么有这么大量的资源投入。比如我今天，想要抓取下面这个页面，但是它是css和html混合的。为了搞清楚这个结构是怎么回事，这是最基础的，才开始抓取这个页面。因为我只抓取标题和倒数第三行的百度广告字样，至于它里面的其他东西，比如数据结构怎么写、怎么布局、前端过滤的方法这些知识和过程，我已经完全不懂了。

　　所以这个事情也只能通过直觉，去判断这些元素：后面会慢慢讲到，让我们一起抓取这个页面吧。上述的代码，大部分内容都在下面的文件。这个页面看似很复杂，很多地方不得不重复写，比如，在img标签里可以添加data-content属性，来绑定容器里面的图片内容。但是，当你通过上面所有的方法，把整个页面抓下来，你会发现，这些img标签里面的数据，并不是很难理解。

　　因为你对整个页面进行分析，可以发现这些img的data-content属性，最终都会转换成url来显示。其实就是把元素名字拼起来，形成一个链接地址，然后到浏览器输入搜索。那如何直接从网页里去找到这个url地址呢？在爬虫小白课堂第一课里，我们的课程老师讲解了「urlconnection」函数，该函数会返回request对象，从而可以从这个对象里，获取到整个链接地址的网页内容。

　　（也就是javascript里那个callback函数）我们就以这个小程序为例，来看看怎么从小程序抓取a页面内容。image/png0.导入库在实际爬虫里，有一个connection函数，要在浏览器调用，另外一个函数，是找这个链接地址到小程序的函数。第一个函数用来定义urlconnection对象。每次调用的时候，向浏览器发送网络请求，从而在浏览器中把小程序发给服务器。

　　这个函数的大部分功能，在小程序文档里都有，这里只简单说下。varconnection=request.urlconnection;urlconnection有很多参数，基本都是request的三个参数（scheme,connection,schemecode）这里简单讲下schemecode。schemecode是一串固定的不会变的字符串，即scheme标识。

　　在我们定义小程序请求对象的时候，需要将schemecode放在connection的attribute里。baidu页面的urlconnection函数定义了整个页面的schemecode。urlconnection实际上是一个非常轻量级的函数，reques。