网站内容复制(举头问天发表于2013-7-119:46能保持网站结构么?)

　　网站内容复制(举头问天发表于2013-7-119:46能保持网站结构么?)

　　发表于 2013-7-1 19:46

　　能保持网站的结构吗？它可以抓取 网站 的所有链接吗？能否爬取网站

　　的所有页面

　　wget可以递归下载整个站点，并且可以将下载页面中的链接转换为本地链接。

　　添加参数后wget可以成为一个非常强大的下载工具。

　　wget -r -p -np -k

　　-r, --recursive 指定递归下载。

　　-k, --convert-links（转换链接）使下载的 HTML 中的链接指向本地文件。 （将下载的HTML页面中的链接转换为相对链接或本地链接）

　　-p, --page-requisites（页面必需元素）获取显示 HTML 页面所需的所有图像等。 （下载所有图片等页面显示所需内容）

　　-np, --no-parent 不升到父目录。

　　另外断点恢复用-nc参数，日志用-o参数

　　更具体的细节，请参考其手册页