php多线程抓取多个网页(建设网站地图网站时有很多设置是不利于蜘蛛抓取的)

　　php多线程抓取多个网页(建设网站地图网站时有很多设置是不利于蜘蛛抓取的)

　　我们在优化网站的时候，有很多不利于爬虫的设置。具体有哪些？

　　建设网站地图

　　网站地图就像一个指针。只有清晰明确的指针才能引导蜘蛛的路线。如果 网站 地图清晰，蜘蛛很乐意在 网站 上爬行。但是如果网站的内部链接乱了，蜘蛛进来后经常会迷路，那么下次蜘蛛很少来，对网站的爬取非常不利。

　　登录设置

　　有的网站会设置注册账号的服务，登录后可以看到网站的内容。这个设置对蜘蛛不友好，蜘蛛不会注册登录，所以他们将无法爬行。.

　　动态网址

　　所谓动态URL就是链接中以aspx、asp、jsp、perl、php、cgi为后缀的URL，也就是动态URL。动态 URL 比较多变，不如静态 URL 稳定。动态 URL 不够可信，所以很多动态 URL 的页面不能是 收录。

　　网站 的结构

　　一个网站的结构不仅影响用户体验，对整个网站的优化也起到至关重要的作用，而符合百度蜘蛛爬取的网站首先要简单明了。层次结构清晰，将大大提高网站对蜘蛛的可读性。

　　网站 的外部链接

　　要被蜘蛛爬取，必须有一个传入链接才能进入该页面，否则蜘蛛根本没有机会知道该页面的存在。外链的添加一定要谨慎，外链的数量不能忽视质量。不好的外链也会影响到自己的网站的爬取，所以网站在制作外链的时候一定要定期检查和更新外链。

　　网站跳跃

　　有的网站打开后会自动跳转到其他页面，跳转会增加网站的加载时间。不建议每个人都这样做。只做301跳，301跳可以集中负重，其他类型的调整不推荐。