抓取网页flash(谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))

优采云 发布时间: 2022-01-20 12:07

  抓取网页flash(谷歌黑板报《GET,POST以及安全获取更多网络信息》(组图))

  近日,Google Blackboard 发布了一篇题为“GET、POST 和安全获取更多网络信息”的博文。文章详细说明 Google 最近对抓取网页内容的方式所做的改进。在文章中提到,未来谷歌在读取网页内容时不仅会使用GET抓取,还会根据情况在抓取网页内容时增加POST请求方式,从而进一步提高谷歌搜索的准确率引擎。网页内容的判断。

  随着互联网的飞速发展,JavaScript 和 AJAX 越来越流行,越来越多的网页需要 POST 请求——因为页面的全部内容或者因为缺少某些页面信息和/或POST 无法返回资源。但是,谷歌认为,单纯使用 GET 来抓取网页所需的资源,并不能呈现出最全面、最准确的结果。

  因此,Google 改进了 flash 索引,在 GET 爬取中引入了 POST 请求,从而对网页内容进行更完整、更准确的爬取和索引。

  谷歌抓取网页内容的步骤如下:

  1. 通过 GET 抓取网页内容。

  2.索引网页内容并尝试呈现页面。

  3.在渲染过程中使用POST请求读取页面内容,生成新的POST内容页面。

  4.将来自 POST 请求的内容页面和其他数据负载添加到 Googlebot 的抓取队列。

  5.Googlebot 执行 POST 请求以抓取页面。

  6.Google 会渲染最终的 POST 结果,也可以合并 GET 和 POST 请求结果。

  7.完成索引。

  搜索引擎新闻内容来源于网络,作者整理排版。不完全代表本博客的实际观点,仅供读者参考和交流。

  如有涉及作者著作权的问题,请及时联系作者进行更正、删除或按规定处理。

  这篇文章的链接:

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线