网页抓取qq(()修改原文本身的代码：修改后 )

　　网页抓取qq(()修改原文本身的代码：修改后

)

　　这篇文章的链接：

　　以下是我在原参考基础上的修改

　　原文代码运行时间长可能会报错，无法获取最终的url地址。使用try和except可以在一定程度上解决这个问题。以下是 Spider() 的修改代码。：

　　class Spider():

def __init__(self, url):

self.linkQuence = linkQuence() # 将队列引入本类

self.linkQuence.addunvisitedurl(url) # 传入待爬取的url,即爬虫入口

def crawler(self,urlcount):

# 子页面过多,为测试方便加入循环控制子页面数量

x = 1

while x 1:

print("第",x-1,"个url,开始爬")

try:

visitedurl = self.linkQuence.unvisitedurldequence() # 从未访问列表中pop出一个url

if visitedurl is None or visitedurl == '':

continue

initial_links = spiderpage(visitedurl) # 爬出该url页面中所有的链接

#right_links = url_filtrate(initial_links) # 筛选出合格的链接

self.linkQuence.addvisitedurl(visitedurl) # 将该url放到访问过的url队列中

for link in initial_links: # 将筛选出的链接放到未访问队列中

# link = urllib.parse.urljoin("http:", link)

self.linkQuence.addunvisitedurl(link)

x += 1

except:

pass

print("终于爬完了,一共是",x-2,"个url")

return self.linkQuence.visited