浏览器抓取网页(浏览器抓取网页的逻辑处理是否清晰？(图))

　　浏览器抓取网页(浏览器抓取网页的逻辑处理是否清晰？(图))

　　浏览器抓取网页，一方面是要考虑对于各种各样的页面名称是否敏感，另一方面是对于他的逻辑处理是否清晰。例如一个包含页码的页面，是否用普通方式拦截？某段文字的前景色改变时，是否及时请求返回值？position:absolute;是否请求，

　　知乎问题页一直是强制ajax加载的，无法进行设置我设置过但是没有用，

　　爬虫最早做的页面莫过于我博客。

　　我觉得还是有很多学问的，首先是拦截，要能拦截大部分页面拦截，还有页码的正则和文本的正则匹配，同样采用post类型的的传送表单参数还要考虑相应的返回的值，还有页面切换的时候的显示内容，等等。仅仅针对你说的抓取网页，是可以进行设置的，仅供参考。

　　现在小网站很少用ajax了。大多数都是完全设置，这样响应的和其他类型一样，我觉得完全是多余的，其实现在采用ajax更多的是分库分表，一个信息分两份，甚至3份。然后用setrequest()从不同服务器抓取数据。多余的那个非必要，

　　如果抓图，那么就有小网站的规律了。如果抓别的，那就更复杂，并且可能抓本地，也可能抓接受域。而且，你问的是页面那么最起码要有js的相关特征值,传入才有数据抓取。

　　根据页面要求设置还是完全正常的所以其实关键看需求与技术最后我觉得还是要强调"自己的产品是什么"比如做餐饮，那么页面分类有些用分类表示，比如服务员必须佩戴的口罩和垃圾桶，有些才可以添加厨师，