总结:自动采集编写器看看代码吧能实现什么效果？

　　总结:自动采集编写器看看代码吧能实现什么效果？

　　自动采集编写器看看代码吧。能实现什么效果？？采集主流的网址，如天气信息，招聘信息，图片，文章等，

　　urllib中提供了一些统计函数：request请求获取网络请求urllxml库封装xpath提取网页内容fs.load提取网页内容fs.path.exists判断是否存在路径

　　爬虫用工具类不要用框架了，除非你有对应的工具让你用。比如你直接用queryselector和queryselectorall，看test_request->urlopen()有什么区别。不过用框架是好事，大部分框架都提供了非常便捷的东西，开发就像是python的一部分，修修补补，那么框架肯定也是少不了的，毕竟是python，但是既然你做爬虫都不需要框架，不需要python的东西，不需要基本语法，现在有这么多的自动化测试框架，有那么多的开源轮子，干嘛自己重新开发呢？。

　　现在市面上的工具比较全的应该是xlrd/xmlrpc之类的，不过看自己的需求，一方面看xpath是否熟悉，还有可以看下form2模块，requests模块和pymysql（pymysql或者其他的），xlrd实现来来去去也就那几个函数，现在的一些工具类的比如xlrd/xmlrpc，xlrd+form2、xpath等等xlrd这几个要熟悉也要用schema比较熟悉，会xpath基本上都是一个pythonweb开发的业余爱好者的水平了。