网页抓取数据(网络编程知识（如何爬虫爬数据，如何保存数据并上传到数据库）)

　　网页抓取数据(网络编程知识（如何爬虫爬数据，如何保存数据并上传到数据库）)

　　网页抓取数据，然后生成数据库报表，这是我们最常用的数据挖掘的方法了，据我所知是爬虫抓取信息，然后后台生成数据报表，这对于软件开发人员是很方便的事情，对于开发人员来说，这些信息对于数据挖掘技术不懂是很难进行和分析的，下面介绍一下selenium自动化测试。

　　1、先确定要抓取的网页，

　　2、下载网页：、然后进行代码编写，

　　3、代码讲解，

　　4、自动识别数据列：

　　5、生成数据库报表：

　　6、和sql语句对比：

　　7、处理数据：

　　8、数据分析：#-*-coding:utf-8-*-"""author:shugtocomments:tel:1461888631email:file:

　　需要的知识：1.自动化测试基础知识（要具有一定的编程能力，对java/.net有一定的了解，比如python/ruby,rstudio）2.数据库知识（一般用mysql和oracle）3.网络编程知识（如何爬虫爬数据，如何保存数据并上传到数据库）4.测试工具操作（如何在界面看到自己的代码，并且保存成自己的web地址和名称）最好从边学边做吧，前期找一些轻松的基础，做出一个简单的自动化程序再学习爬虫吧。

　　知乎上有现成的文章可以看看，selenium的教程，selenium教程基本上应该够用了。