抓取网页新闻(3dd's一条一下效果图效果图 )

　　抓取网页新闻(3dd's一条一下效果图效果图

)

　　第一次写的小爬虫，python确实很强大，大概二十行代码抓取内容存成txt文本html

　　直接上代码python

　　#coding = 'utf-8'

import requests

from bs4 import BeautifulSoup

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

#抓取web页面

url = "http://news.sina.com.cn/china/"

res = requests.get(url)

res.encoding = 'utf-8'

#放进soup里面进行网页内容剖析

soup = BeautifulSoup(res.text, "html.parser")

elements = soup.select('.news-item')

#抓取须要的内容而且放入文件中

#抓取的内容有时间，内容文本，以及内容的连接

fname = "F:/asdf666.txt"

try:

f = open(fname, 'w')

for element in elements:

if len(element.select('h2')) > 0:

f.write(element.select('.time')[0].text)

f.write(element.select('h2')[0].text)

f.write(element.select('a')[0]['href'])

f.write('\n\n')

f.close()

except Exception, e:

print e

else:

pass

finally:

pass

　　因为这是第一个小爬虫，功能很简单也很单一，就是直接抓取新闻页面的部分新闻网页。

　　然后抓取新闻时间和超链接网址

　　然后按照新闻的顺序进行整合，放入一个文本文件存放在spa中

　　截图效果图，效果很简单，一一记录，时间，新闻内容，新闻链接（因为是今天写的，所以是今天的新闻）3d