如何抓取网页数据(如何抓取网页数据，实现站内信息爬取（一）)

　　如何抓取网页数据(如何抓取网页数据，实现站内信息爬取（一）)

　　如何抓取网页数据，实现站内信息爬取。先来看看效果。站内信息抓取首先进入页面：，以单条网址为例，点击「开始爬虫」：接下来我们来手工构建整个爬虫。搜索到在哪个导航页面后，获取这个页面的所有url，如下图：获取url后将url作为网址的长度排序（页码）。再获取这个页面的所有「没被关注」的url。复制这些url地址并集结成一个url列表，最后将url输入进去即可开始正式爬虫了。

　　windows系统关闭浏览器，windows和mac系统可以对应的安装一些浏览器插件或工具。如果有mac系统用户，使用help的「更多工具」中的「helponline」即可安装jquery。==关于「网页下载器」由于会有一些不方便，所以我们选用windows系统用户。对应的ide为windows平台下的vscode（非devc++）和mac平台下的sublimetext2。

　　其他平台的用户请自行安装使用。下面开始启动爬虫。启动vscode。输入：在开始时运行任意一个命令：打开sublimetext2。在命令行输入：cd/users/axense/whatide/weixin.vscode切换到weixin.vscode所在目录，之后用回车键选择weixin.vscode，之后运行命令：sublimetext2-->点击「插件」-->「web支持」-->「浏览器支持」在preferences窗口设置页面user和profile-->页面模式为page-->点击「浏览器支持」。