php用正则表达抓取网页中文章(web.py用什么方法可以抓取文章的正文【python】 )

　　php用正则表达抓取网页中文章(web.py用什么方法可以抓取文章的正文【python】

)

　　python可以用什么方法抓取文章的body部分是我最近在思考的一个问题。我想知道如何通过xpath准确抓取文章正文。它类似于 parselets，但会更简单。

　　在python代码的设计中，使用正则表达式匹配URL，然后选择回调处理程序。主要参考web.py的分发器。有朋友觉得这个方法不高尚，因为都是python函数形式的回调，没有用到python类。有需要的朋友可以参考web.py进行适当修改后再使用。

　　Python 通过正则表达式选择并抓取文章正文：

#!/bin/env python

import re, sys

# Define parser first.

def baidu(username):

# Business logic

return "Using parser Baidu. and the user's name is: %s." % username

def qzone(uin):

# Business logic

return "Using parser Qzone, and the user's QQ is: %s." % uin

# From web.py

def group(seq, size):#{{{

"""

Returns an iterator over a series of lists of length size from iterable.

>>> list(group([1,2,3,4], 2))

[[1, 2], [3, 4]]

>>> list(group([1,2,3,4,5], 2))

[[1, 2], [3, 4], [5]]

"""

def take(seq, n):

for i in xrange(n):

yield seq.next()

if not hasattr(seq, 'next'):

seq = iter(seq)

while True:

x = list(take(seq, size))

if x:

yield x

else:

break

#}}}

#www.iplaypy.com

def parser_init(url,mapping):

for pat, what in group(mapping,2):

result = re.compile('^' + pat + '$').match(url)

if result:

return what, [x for x in result.groups()]

return None, None

if __name__ == '__main__':

mapping = (

'http://(?:hi|space).baidu.com/([^/]+)(?:/.*)?','baidu',

'http://(\d+).qzone.qq.com(?:/.*)?','qzone',

)

(func, args) = parser_init(sys.argv[1],mapping)

if func:

callback = func

if func in globals():

callback = globals()[func]

if callable(callback):

print callback(*args)

else:

print 'No parser found.';