浏览器抓取网页(我试图通过代码来获取一个网页的HTML版本:)
优采云 发布时间: 2021-09-18 05:00浏览器抓取网页(我试图通过代码来获取一个网页的HTML版本:)
我试图通过代码获取网页的HTML版本:GET403异常抓取网页编程,即使网页是通过浏览器
WebRequest r = WebRequest.Create(szPageURL);
WebClient client = new WebClient();
try
{
WebResponse resp = r.GetResponse();
StreamReader sr = new StreamReader(resp.GetResponseStream());
szHTML = sr.ReadToEnd();
}
当我使用像URL这样的东西时,这段代码是有效的。Com,或。但是,当我输入(在URL参数中使用“HTTP”或“HTTPS”)时,在执行R.getresponse()时会出现403异常。但是我可以很容易地在浏览器中手动获取页面。我得到的异常是403(禁止),异常状态成员说“protocolerror”。你这是什么意思?为什么我要在实际可用的页面上获取这些信息?有人有主意吗?多谢各位
顺便说一下,我也试过:
string downloadString = client.DownloadString(szPageURL);
得到完全相同的异常
来源
2017-02-08lerxst3