爬虫抓取网页数据(爬虫抓取网页数据怎么做？抓取数据库的技巧)

　　爬虫抓取网页数据(爬虫抓取网页数据怎么做？抓取数据库的技巧)

　　爬虫抓取网页数据，可以把数据存储在数据库上，还可以写个批量抓取的程序把数据抓取过来，之后更多的就是数据分析了。如果写的爬虫你用的是web框架，可以用webwork,requests等,这个时候最好把http报文转化为xml文件,然后把xml转化为bean.这个时候可以从action中看到对应的xml文件名，就可以把数据拷贝过来。没有schema，单个页面也是可以打包为json文件的。

　　可以用charles抓jsondom。

　　dom爬取可能涉及的包括cookie,json等等。你可以在设计代理的时候选择既能够免request,又不使用这些request。通过oauth协议从他人那里注册账号就可以了。

　　cookie和session可以是有的我会随机产生一个批量的就是能抓取手机版的app，都是能生成的。不过要注意的是cookie有时间有duration的一个cookie1秒，2秒，2分钟都会有效（抓取网页是xml等也一样的）同理对于json一类的就比较麻烦，根据抓取日期而定的，比如抓取购物网而言1天内任何时间内的json都是有效的对于记步都是一样的道理，是有时间期限的。

　　json

　　dom是关键，就像html转化成javascript这些都是可以的，

　　简单地说schema很重要，要有定义抓取范围，过滤对应url，必要情况下需要参考抓取逻辑。如果数据量不大，会把图片url等也保存起来。大型网站数据库一般都是有应用的，根据数据库管理的api能查看相应数据。