c 抓取网页数据(一个典型的新闻网页包括几个不同区域：如何写爬虫)

　　c 抓取网页数据(一个典型的新闻网页包括几个不同区域：如何写爬虫)

　　我们之前实现的新闻爬虫，运行后可以快速爬取大量新闻网页。网页的所有html代码都存储在数据库中，这不是我们想要的最终结果。最终结果应该是结构化数据，至少包括url、title、发布时间、body内容、来源网站等。

　　

　　所以爬虫不仅要做好下载的工作，还要做好数据的清洗和提取工作。所以，写爬虫是综合能力的体现。

　　一个典型的新闻页面由几个不同的区域组成：

　　

　　新闻页面区

　　我们要提取的新闻元素收录在：

　　导航栏区域和相关链接区域的文字不属于新闻元素。

　　新闻的标题、发布时间、正文内容一般都是从我们爬取的html中提取出来的。如果只是网站的新闻页面，提取这三个内容非常简单，写三个正则表达式就可以完美提取。但是，我们的爬虫会爬取数百个 网站 页面。为这么多不同格式的网页写正则表达式会很累，一旦网页稍作修改，表达式可能会失效，维护这些表达式也会很累。

　　当然，累死人的做法是想不通的，我们要探索一个好的算法来实现。

　　1. 标题提取

　　标题基本出现在html标签中，只是附加了频道名称、网站名称等信息；

　　标题也出现在网页的“标题区域”中。

　　那么在这两个地方，哪里更容易提取title呢？

　　网页的“header area”没有明确标识，不同网站的“header area”的html代码部分差异很大。所以这个区域不容易提取。

　　然后就只剩下标签了。这个标签很容易提取，不管是正则表达式还是lxml解析。不容易的是如何去除频道名称、网站名称等信息。

　　我们先来看看，标签中的附加信息是长什么样子的：

　　观察这些标题不难发现，新闻标题与频道名称和网站名称之间存在一些联系符号。然后我可以通过这些连接器拆分标题，发现最长的部分是新闻标题。

　　这个想法也很容易实现，所以这里就不写代码了，留给小猿作为思考练习自己实现吧。

　　2. 发布时间提取

　　发布时间是指页面在网站上启动的时间。一般会出现在文本标题下方——元数据区。从html代码来看，这个区域并没有什么特别的特征可供我们定位，尤其是面对大量的网站布局，几乎不可能定位到这个区域。这需要我们采取不同的方法。

　　和标题一样，我们来看看一些网站的发布时间是怎么写的：

　　这些写在网页上的发布时间有一个共同的特点，就是一个字符串代表时间，年、月、日、时、分、秒，无非就是这些元素。通过正则表达式，我们列出了一些具有不同时间表达式的正则表达式（只是几个），然后我们可以通过匹配从网页文本中提取发布时间。

　　这也是一个容易实现的想法，但是细节很多，表达方式要尽可能多的涵盖。编写这样一个函数来提取发布时间并不是那么容易。小猿们充分发挥动手能力，看看能写出什么样的函数实现。这也是对小猿猴的一种锻炼。

　　3. 提取文本

　　文字（包括新闻图片）是新闻网页的主要部分。它在视觉上占据中间位置，是新闻内容的主要文本区域。提取文本的方法很多，实现复杂简单。本文介绍的方法是根据老猿猴多年的实践经验和思考的一种简单快速的方法，称为“节点文本密度法”。

　　我们知道，网页的HTML代码是由不同的标签（tags）组成的，形成一棵树状的结构树，每个标签都是树的一个节点。通过遍历这个树形结构的每个节点，找到文本最多的节点，也就是文本所在的节点。按照这个思路，我们来实现代码。

　　3.1 实现源码

　　#!/usr/bin/env python3

#File: maincontent.py

#Author: veelion

import re

import time

import traceback

import cchardet

import lxml

import lxml.html

from lxml.html import HtmlComment

REGEXES = {

    'okMaybeItsACandidateRe': re.compile(

        'and|article|artical|body|column|main|shadow', re.I),

    'positiveRe': re.compile(

        ('article|arti|body|content|entry|hentry|main|page|'

         'artical|zoom|arti|context|message|editor|'

         'pagination|post|txt|text|blog|story'), re.I),

    'negativeRe': re.compile(

        ('copyright|combx|comment||contact|foot|footer|footnote|decl|copy|'

         'notice|'

         'masthead|media|meta|outbrain|promo|related|scroll|link|pagebottom|bottom|'

         'other|shoutbox|sidebar|sponsor|shopping|tags|tool|widget'), re.I),

}

class MainContent:

    def __init__(self,):

        self.non_content_tag = set([

            'head',

            'meta',

            'script',

            'style',

            'object', 'embed',

            'iframe',

            'marquee',

            'select',

        ])

        self.title = ''

        self.p_space = re.compile(r'\s')

        self.p_html = re.compile(r' len(title) or len(ti) > 7:

                    title = ti

        return title

    def shorten_title(self, title):

        spliters = [' - ', '–', '—', '-', '|', '::']

        for s in spliters:

            if s not in title:

                continue

            tts = title.split(s)

            if len(tts)  text_node * 0.4:

                    to_drop.append(node)

        for node in to_drop:

            try:

                node.drop_tree()

            except:

                pass

        return tree

    def get_text(self, doc):

        lxml.etree.strip_elements(doc, 'script')

        lxml.etree.strip_elements(doc, 'style')

        for ch in doc.iterdescendants():

            if not isinstance(ch.tag, str):

                continue

            if ch.tag in ['div', 'h1', 'h2', 'h3', 'p', 'br', 'table', 'tr', 'dl']:

                if not ch.tail:

                    ch.tail = '\n'

                else:

                    ch.tail = '\n' + ch.tail.strip() + '\n'

            if ch.tag in ['th', 'td']:

                if not ch.text:

                    ch.text = '  '

                else:

                    ch.text += '  '

            # if ch.tail:

            #     ch.tail = ch.tail.strip()

        lines = doc.text_content().split('\n')

        content = []

        for l in lines:

            l = l.strip()

            if not l:

                continue

            content.append(l)

        return '\n'.join(content)

    def extract(self, url, html):

        '''return (title, content)

        '''

        title, node = self.get_main_block(url, html)

        if node is None:

            print('\tno main block got !!!!!', url)

            return title, '', ''

        content = self.get_text(node)

        return title, content

　　3.2 代码分析

　　和新闻爬虫一样，我们将整个算法实现为一个类：MainContent。

　　首先，定义一个全局变量：REGEXES。它采集了一些经常出现在某个标签的class和id中的关键词，这些词表示该标签可能是也可能不是正文。我们使用这些词来计算标签节点的权重，这就是方法 calc_node_weight() 所做的。

　　MainContent 类的初始化首先定义了一些不收录文本的标签 self.non_content_tag。当遇到这些标签节点时，可以直接忽略。

　　提取标题的算法在函数 get_title() 中实现。首先，它首先获取标签的内容，然后尝试从中找到标题，然后尝试找到 id 和 class 收录标题的节点，最后比较从不同地方获得的可能是标题的文本，并最终获得称号。比较的原则是：

　　从标签中获取标题，需要解决标题清洗的问题。这里实现了一个简单的方法：clean_title()。

　　在这个实现中，我们使用lxml.html将网页的html转换成一棵树，从body节点开始遍历每个节点，查看它直接收录的文本长度（不包括子节点），找出收录最长文本节点的文本的长度。这个过程在方法中实现：get_main_block()。一些细节可以让小猿们体验到。

　　其中一个细节是 clean_node() 函数。通过 get_main_block() 获得的节点可能收录相关新闻的链接。这些链接收录大量新闻标题。如果不去掉，会给新闻内容（相关新闻的标题、概述等）带来杂质。

　　还有一个细节，get_text() 函数。我们从主块中提取文本内容，而不是直接使用 text_content() ，而是进行一些格式化处理，例如在某些标签后添加换行符以匹配 \n，以及在表格单元格之间添加空格。这样处理后，得到的文本格式更符合原网页的效果。

　　爬虫知识点

　　1. cchardet 模块

　　一个快速判断文本编码的模块

　　2. lxml.html 模块

　　一个结构化html代码的模块，一个通过xpath解析网页的工具，高效易用，在家写爬虫必备模块。

　　3. 内容提取的复杂性

　　我们这里实现的文本提取算法基本可以正确处理90%以上的新闻网页。

　　但是，没有一种万能的网页，也没有万能的提取算法。在*敏*感*词*使用本文算法的过程中，会遇到奇怪的网页。这时候就需要针对这些网页改进这个算法类。

　　来自“ITPUB博客”，链接：如需转载，请注明出处，否则追究法律责任。