抓取网页新闻(抓取网页新闻时碰到主流浏览器不支持formmethod控件和爬虫代码不匹配)

　　抓取网页新闻(抓取网页新闻时碰到主流浏览器不支持formmethod控件和爬虫代码不匹配)

　　抓取网页新闻时碰到主流浏览器不支持formmethod控件和爬虫代码不匹配时，需要将新闻编码转换为unicode或gb2312编码，然后全网页爬取下来保存。下面说一下怎么实现：第一步，首先安装flashtools并安装相应的插件，具体如下（需要配置）：安装插件之后，在python中打开xx-ui.py文件，这个时候你需要在爬虫中输入如下两行代码：fetch_content(self.data).log();或者在主页面加入一个代码：fetch_timeout(。

　　1).log()接下来是一些基本的模块的配置，与前面的略有不同，此处不赘述：importrequests,urllib,unicode,formmatch1.打开flashtools中的urllib.request.urlopen()对网页的解析，然后保存。网页中有没有有效代码就下载，有就解析，不能解析就保存原始网页。

　　2.然后利用formmatch()和get()方法，将unicode编码的url、文本转化为gb2312编码，并保存。详情请参考小白入门爬虫教程1_静月螺旋_新浪博客3.最后对各地新闻做编码转换工作。完成，可以打包爬取网站中的新闻并提供下载。

　　1、首先安装flashtools（官网flashtoolsisanextensibleurlsuggestionapicomponentforadvancedspiderwebpagecontentminimizerandimagecompression）。在python内的console编辑器中安装完成后，运行flashtools.py会有提示让你选择contentsecure还是urlsecurity。使用这个api存储图片，图片会由gif变成png。

　　2、在爬取新闻网页时需要注意的一点是，必须保存post请求的对象才能被formmap加载。所以这个api可以成为一个开放的api。网上有很多开源的spider应用，推荐使用。

　　3、displaygazifier实现。

　　4、jsonapi和xmlapi其实在爬虫底层多多少少会有些兼容性问题，要具体分析。这方面的相关实现可以参考json和xml的异同。我目前还没有完全了解。