抓取网页音频(和wget下载安装1、Ubuntu平台wget命令安装：百度首页为例)

　　抓取网页音频(和wget下载安装1、Ubuntu平台wget命令安装：百度首页为例)

　　curl 和 wget 下载安装

　　1、Ubuntu 平台

　　wget命令安装：sudo apt-get install wget（普通用户登录，需要输入密码；root账户登录，不需要输入密码）

　　安装 curl 命令：sudo apt-get install curl（与 wget 相同）

　　2、Windows 平台

　　wget 下载链接：wget for Windows

　　curl下载链接：curl下载

　　wget和curl包下载地址：Windows平台下wget和curl工具包

　　Windows平台下，curl下载解压后，直接以curl.exe格式复制到系统命令目录下的C:\Windows\System32。

　　Windows平台下，wget下载解压后格式为wget-1.11.4-1-setup.exe，需要安装；安装后，在Environment Variables-System Variables-Path目录下添加它的安装

　　curl 和 wget 抓取示例

　　抓取网页主要有两种方式：url和代理。下面是一个爬取“百度”首页的例子。

　　1、 url 网址抓取

　　(1）curl下载百度首页内容，保存在baidu_html文件中

　　curl -o baidu_html

　　（2）wget 下载百度首页的内容保存在baidu_html文件中

　　wget -O baidu_html2

　　有时，由于网速/数据丢失/服务器停机/等原因，网页暂时无法下载成功

　　这时候，你可能需要尝试多次发送连接，请求服务器响应；如果多次都没有反应，可以确认服务器有问题

　　（1）curl 尝试多次连接

　　curl --retry 10 --retry-delay 60 --retry-max-time 60 -o baidu_html

　　注意：--retry 表示重试次数；--retry-delay 表示两次重试之间的时间间隔（以秒为单位）；--retry-max-time 表示在最长时间内只允许重试一次（一般与--retry-delay相同）

　　（2）wget 多次尝试连接

　　wget -t 10 -w 60 -T 30 -O baidu_html2

　　注：-t(--tries)表示重试次数；-w 表示两次重试之间的时间间隔（以秒为单位）；-T 表示连接超时时间。如果超过超时，则连接不成功，下次继续尝试连接

　　附：curl 判断服务器是否响应。也可以通过一段时间内下载的字节数来间接判断。命令格式如下：

　　curl -y 60 -Y 1 -m 60 -o baidu_html

　　注意：-y 代表测试网速的时间；-Y 表示 -y 期间下载的字节数（以字节为单位）；-m 表示允许请求连接的最长时间，超过则自动断开连接并放弃连接

　　2、代理爬取

　　代理下载是通过连接中间服务器间接下载url网页的过程，而不是url直接连接网站服务器下载

　　两位著名的自由球员网站：

　　（全球数十个国家的自由代理，每日更新）

　　（通过设置端口类型、代理类型、国家名称过滤）

　　在网站中选择国内免费代理服务器为例介绍代理代理爬取网页：

　　218.107.21.252:8080（ip为218.107.21.252；端口为8080，有分隔由冒号“:”组成一个套接字）

　　（1）curl 通过代理爬取百度首页

　　curl -x 218.107.21.252:8080-o aaaaa（端口通常为80、8080、8086、8888、3128等，默认为80）

　　注：-x表示代理服务器（ip:port），即curl先连接代理服务器218.107.21.252:8080，然后通过218.107.21.252:8080下载百度主页，最后218.107.21.252:8080 发送下载的百度首页到curl到本地（curl不是直接连接百度服务器下载首页，而是通过中介代理）

　　（2）wget 通过代理爬取百度首页

　　wget通过代理下载，和curl不一样。需要先设置代理服务器的http_proxy=ip:port

　　以ubuntu为例，在当前用户目录（cd~）下创建wget配置文件（.wgetrc），进入代理配置：