网站内容抓取(访问的URL地址是什么即requesturl；Data)

　　网站内容抓取(访问的URL地址是什么即requesturl；Data)

　　知道你要访问的URL地址是request url；

　　其中，这里的url地址是指完整地址：基本url+查询字符串

　　此查询字符串参数：

　　其中，查询字符串经常缺席。

　　例如：

　　完整网址 =

　　==

　　基本 url + 查询字符串

　　=+ s=crifan 并提交=搜索

　　GET 或 POST 的必需或可选：标题

　　即请求头

　　Headers，收录很多Headers

　　有些是必须的，有些是可选的（根据不同情况，可以忽略）

　　有时，甚至不可能设置任何标题。

　　[可选]发布数据

　　如果是POST方式，还需要填写相应的数据：

　　这个数据：

　　换句话说：

　　如果是GET，则没有POST数据。

　　提示：所以，在你在IE9中F12抓取的内容中，你会看到对于所有的GET请求，对应的“请求体”都是空的。

　　必需或可选：cookie

　　在很多情况下，您需要提供相应的 cookie 才能访问相应的 URL。

　　一般来说，cookies经常会涉及到模拟登录等情况。

　　其他一些可能需要准备的东西

　　(1）代理代理

　　(2）设置最大超时时间

　　提交HttpRequest得到这个http请求的响应（访问URL后要做的工作）

　　1.获取对应的response response

　　2. 从响应中获取对应的网页源码等信息

　　（1）获取返回网页的HTML源代码（或json等）

　　(2）[可选] 如有需要，获取对应的cookie

　　(3）[可选] 判断返回的其他一些相关信息，如响应码等。

　　【网络爬虫注意事项】

　　1.重定向

　　(1） 直接跳转

　　(2） 间接跳转

　　A、javascript脚本中有相应代码实现网页跳转

　　B.自身返回的HTML源代码收录刷新动作，实现网页跳转

　　抓取网页后，如何分析获取需要的内容

　　一般来说，访问一个URL地址，返回的内容大部分是网页的HTML源代码，但也有一些其他形式的内容，比如json。

　　我们想要的是从返回的内容中提取出我们需要的具体信息（HTML或者json等），也就是对其进行一定的处理，得到需要的信息。

　　就我所遇到的，提取所需信息的方法有以下几种：

　　1. 对于 HTML 源代码：

　　(1）如果是Python的话，可以调用第三方的Beautifulsoup库

　　然后调用find等函数来提取相应的信息。

　　这部分内容比较复杂。如果需要详细了解，可以参考：

　　BlogsToWordPress v3.0 – 将百度空间、网易163等博客移至WordPress

　　源代码在。

　　(2）直接用正则表达式自己提取相关内容

　　对于内容的分析和提取，很多时候是通过正则表达式来实现的。

　　正则表达式的相关知识和总结，请看这里：

　　[总结] 关于正则表达式 v2012-02-20

　　正则表达式是一种规范/规则，实现哪种语言取决于你。

　　我遇到了两种语言：Python 和 C#：

　　A. Python：使用 re 模块。常用的函数有find、findall、search等。

　　B：C#：使用Regex类来匹配对应的模式和匹配函数。

　　有关 C# 中的 Regex 的更多信息，请参阅：

　　【总结】C#中的Regex经验及注意事项

　　2.对于Json

　　你可以先去看看关于JSON的特别介绍：

　　【整理】什么是JSON+以及如何处理JSON字符串

　　然后看看下面如何处理Json。

　　(1）使用库(函数)来处理

　　A. 蟒蛇

　　在 Python 中，有一个对应的 json 库。常用的一个是json.load，可以将json格式的字符串转换成对应的字典类型变量，非常好用。

　　(2） 或者使用正则表达式处理

　　A. 蟒蛇

　　Python 中的 re 模块与上面相同。

　　B.C#

　　貌似C#没有自己的json库，但是第三方json库有很多，但是遇到解析json字符串的时候，感觉这些库用起来还是很麻烦，所以还是直接用了regex类来处理它。.

　　模拟登录的一般逻辑和流程网站

　　有关使用 C# 捕获网页内容和模拟登陆网页的一些提示和注意事项，请访问此处：