谷歌抓取网页视频教程(谷歌在网页蜘蛛中实施新技术让蜘蛛自动填写表格)

优采云 发布时间: 2021-12-19 15:19

  谷歌抓取网页视频教程(谷歌在网页蜘蛛中实施新技术让蜘蛛自动填写表格)

  【搜狐IT新闻】4月12日消息,据外媒报道:美国搜索巨头谷歌最近开始在网络爬虫方面实施一项新技术:它们可以让蜘蛛在某些网页中自动填写表格,并自动提交给服务器并抓取反馈页面以获取有关此网站的更多详细信息。

  媒体分析认为,这将对网站的信息安全构成威胁。

  一般来说,表单是一种以网站形式采集用户信息的方式。例如,用户申请成为注册会员时,需要提交相关的身份信息。表单会将这些数据提交给服务器,服务器上的网页会给出下一步的提示。

  过去,谷歌的蜘蛛机器人不会填写表格,因为他们无法知道下一个提示页面的内容。

  近日,谷歌对其抓取系统进行了升级。机器人会根据表格中每个项目的名称自动填写数据并提交给服务器。这样,服务器的反馈页面也会被机器人抓取,谷歌会得到更多关于这个网站的信息。

  谷歌在一篇博客中表示,他们将对该功能采取谨慎的态度。比如一开始,一些非常有用的网站会使用自动填表。另外,网站管理员可以在robots.txt文件中指定是否允许谷歌提交表单,谷歌不会违背网站管理员的意愿。

  有搜索行业专家表示,谷歌的这一特性将对企业的信息安全构成威胁网站。(菱湖大)

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线