网页数据抓取怎么写？网页抓取的web端代码吗？

　　网页数据抓取怎么写？网页抓取的web端代码吗？

　　网页数据抓取怎么写？？？？？网页数据抓取怎么写？？？？？抓取一个手机的每个月销量？？？？抓取你上个月的所有微信好友？？？？我想问的是，你说你在写这篇教程前写好了抓取的web端web代码吗？？？？如果没有，那你随便用个记事本，markdown也能写吧？如果你网页上看到的都是html，那python最好的语言是python3，而不是xml和css.不管是java还是php都不需要文件。

　　就像你开个公司，你的业务是根据数据写个报表给客户看，那一个java怎么搞啊？你怎么知道你的报表是html，css,或者php写出来的？在抓取信息时，你的代码需要只爬取信息，不放入数据库，而数据库的数据你只能存在本地。比如你要爬取美团、你也要爬取他的数据，而不能用php爬取其他店铺的数据.如果你最终要让爬取一个列表，比如2500页商品信息，并存进数据库，xml的时代已经过去了，要用数据库中select方法获取。

　　java抓取也应该分页。作为一个爬虫开发者，有以下5点经验，可以帮助我们判断是否要让爬虫可以进行多页抓取（。

　　1）每页抓取多少？请爬取的信息，不能超过一定数量，否则就会造成拒绝请求。

　　比如：假设这里请求8000个商品，

　　0)=1000个

　　2）请求对象是否可变？默认情况下java可以在get方法中一页一页的返回请求对象，但是xml一页最多只能爬100个商品，在java中表示1页爬100个商品。java在请求对象里面进行限制，表示只能有1个返回商品请求对象。但是xml是无论如何都能爬一页所有商品的，虽然上限是1000个。这就是重点，我们不要看着java自己一页一页爬你想要的数量，而选择爬取一页所有商品中的某一个商品，这是不现实的。

　　比如爬取一页2000个商品，就可以直接爬取下方商品之间的数量差异值，比如：200个商品就能直接爬取到这200个商品的数量差异值，但是xml就不好弄了，xml无法搞定这个。（。

　　3）请求对象是否可重复？xml默认是不可重复的，至少我在python中是这样，对于爬虫过程，进行多次请求（xml中一共有10个字段，每次的请求只有3个字段）对应的请求对象的时候，难道我还会存很多对象嘛？我想都不想直接忽略掉。我选择放弃对类似商品名称等字段的请求，而仅仅存放对当前行内请求所关联对象，对于爬虫数据抓取应该不会出现问题。（。

　　4）请求对象是否可重定向？请求并非一定不会返回，还是有可能返回，我们可以请求对象进行重定向即返回了。这就是为什么单页单请求是未来的趋势的原因。但是，一个页面多个请求，