抓取网页flash(谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))
优采云 发布时间: 2022-01-20 12:07抓取网页flash(谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))
近日,Google Blackboard 发布了一篇题为“GET、POST 和安全获取更多网络信息”的博文。文章详细说明 Google 最近对抓取网页内容的方式所做的改进。在文章中提到,未来谷歌在读取网页内容时不仅会使用GET抓取,还会根据情况在抓取网页内容时增加POST请求方式,从而进一步提高谷歌搜索的准确率引擎。网页内容的判断。
随着互联网的飞速发展,JavaScript 和 AJAX 越来越流行,越来越多的网页需要 POST 请求——因为页面的全部内容或者因为缺少某些页面信息和/或POST 无法返回资源。但是,谷歌认为,单纯使用 GET 来抓取网页所需的资源,并不能呈现出最全面、最准确的结果。
因此,Google 改进了 flash 索引,在 GET 爬取中引入了 POST 请求,从而对网页内容进行更完整、更准确的爬取和索引。
谷歌抓取网页内容的步骤如下:
1. 通过 GET 抓取网页内容。
2.索引网页内容并尝试呈现页面。
3.在渲染过程中使用POST请求读取页面内容,生成新的POST内容页面。
4.将来自 POST 请求的内容页面和其他数据负载添加到 Googlebot 的抓取队列。
5.Googlebot 执行 POST 请求以抓取页面。
6.Google 会渲染最终的 POST 结果,也可以合并 GET 和 POST 请求结果。
7.完成索引。
搜索引擎新闻内容来源于网络,作者整理排版。不完全代表本博客的实际观点,仅供读者参考和交流。
如有涉及作者著作权的问题,请及时联系作者进行更正、删除或按规定处理。
这篇文章的链接: