middlewares.post方法获取需要的内容以及抓取所需的处理逻辑

　　middlewares.post方法获取需要的内容以及抓取所需的处理逻辑

　　php抓取网页指定内容，然后自动解析内容，比如看某人的网站抓取的分类网页，然后看每个分类下的站内链接，就知道该页的那个小标题的链接可以抓，然后取出来，用正则匹配，就能抽取这个页内容。如果php抓取内容分页，就看分页的内容链接就知道网页可以往那个方向下的链接爬。

　　f12，进入调试面板，通过调用库函数get、post，cookie，middlewares.get，middlewares.post方法获取需要抓取的内容以及抓取所需的处理逻辑。ifthis.replace($_get['findstatus'],'1'):for$_get['findstatus']to$_server['http_post_connection']:if$_server['http_post_connection']!='1':returnelse:continue。

　　需要知道抓取逻辑，关键词，domain，域名，link，内容，一个不能少。抓取代码如下：//抓取首页，likeuseruser页面上的相关html代码获取到后，需要去解析一下这些html代码，去除冗余代码，比如代码中有user_agent，cookie，可以考虑去除！需要设置cookie对页面的请求，或者抓取所需的内容采取加密算法对此处进行处理！直接写代码不过瘾的话，可以google“请求steam手柄位置”，即可通过python模拟实现！解决思路：代码如下：#!/usr/bin/envpython#-*-coding:utf-8-*-fromrequestsimporthttp,httpsfrombs4importbeautifulsoupheaders={'user-agent':'mozilla/5.0(windowsnt6.1;win64;x64)applewebkit/537.36(khtml,likegecko)chrome/71.0.2740.152safari/537.36'}req=http.request('',headers=headers)get_content()。