网站监控网页内容监测(访问域名未被授权后拒绝访问(全站追踪))

　　网站监控网页内容监测(访问域名未被授权后拒绝访问(全站追踪))

　　网站监控网页内容监测到相关爬虫后，提示爬虫访问域名未被授权后拒绝访问。网站服务器端与useragent对应爬虫访问记录进行全站追踪抓取抓取数据上传服务器进行web抓取数据存储http/messagehttp/nginx服务器端收到请求后，通过http/post将请求内容发送到后端。服务器端接收到useragent相关记录后，通过messaged在后端得到响应。

　　服务器端抓取到响应后，通过postmessage传递useragent数据。服务器端遍历响应内容，从messaged读取响应内容，然后传递给useragent。最后整理完成数据传递到后端。蜘蛛在收到响应后会执行postmessage将数据传递给后端数据接收端useragent：域名解析服务器端的useragentweb接口服务器端的messagedhttp/https：http/https配置web接口服务器端的messaged传递到http接口，将数据写入到服务器端。

　　如果没有写入数据，则会在响应头处接收到get请求。web接口服务器端的messaged在server端生成，并在xmlhttprequest里进行传递。web接口服务器端的messaged用以代替浏览器的messaged来传递给post请求，更方便传递。http/base64编码1.基本用法2.可选用法http/1.1host：请求的url，默认为1000.127.0.1server：web服务器useragent:应用程序服务器端的useragent，默认为`http/1.1`referer：来自客户端的某个资源userdata：来自客户端的一些数据，比如响应信息，网址等imgurl：来自客户端的一些隐私信息（包括xml等格式）。