抓取网页新闻(爬取哪些网站的哪些新闻版块的新闻？(一))

　　抓取网页新闻(爬取哪些网站的哪些新闻版块的新闻？(一))

　　抓取网页新闻的步骤：1.明确项目需求，针对内容分类进行采集；2.根据已有数据进行采集，注意事项：采集不要太频繁，会影响网页的稳定；3.利用java编程技术获取爬虫整体框架架4.利用java技术进行加密、解密等相关处理。1.明确项目需求利用爬虫整体框架，进行新闻专题爬取。想要爬取哪些网站的哪些新闻版块的新闻？类似微博的图文消息?还是微信公众号，图文消息的第三方api？什么类型的页面都采集？2.针对内容分类进行采集首先通过百度地图对网站地址做分析，发现百度地图只爬取偏远地区，每页显示的新闻都为以图文为主的页面，由于该类型的页面比较多，因此选择了google地图进行接口爬取。

　　第一步：通过抓包分析，找到真正的接口地址，得到logo地址、category的分页id和其他重要的列表页和页面id第二步：爬取json格式的内容，解析出item的格式规则，方便进行下一步进行图文消息的爬取注意事项：爬取时，建议不要对地址进行抓包，防止抓取数据反馈不准确，或者爬取超时。这是利用网站，爬取出新闻页面的网址地址，还存在多个文件，例如ws文件夹，与其他页面无法互相下载，一般我们利用itemset.xml进行文件的加载后，再做抓取！itemset文件夹内存储了所有该文件夹中的内容，当加载过程中，会自动传递给itemset.xml文件,避免出现爬取失败。

　　这是logo页面，我通过其中的logo_info.xml格式化页面地址，得到logo地址simplenhandand.xml文件所有的方法均用python代码进行实现；并不需要爬虫爬取中的request，爬虫在python爬虫中，是没有中文之间交互的。3.利用java编程技术获取爬虫整体框架架通过分析百度地图获取其分页地址，得到真正的接口地址和链接，一般我们放在某个文件夹中。

　　正好那天公司的产品经理在学习python爬虫，我就让他配置爬虫时，直接采用python自带的爬虫工具（豆瓣爬虫，腾讯爬虫，头条爬虫等），利用java编程技术实现每个页面获取到网址和每个文件夹中的内容。具体如下：新闻链接通过一个url(;mode=name&extra=values&web_id=0&type=view&pages=1&link_tag=0)获取,分别为：(fornew_text_fieldinjavascript_extension("some_text")),";mode=name&extra=values",";web_id=0",";type=view",";web_id=0","pages=1",";link_tag=0",";link_tag=0","this_id=0","name=","","category=。