Wget 下载常用参数

六 3rd, 2011

wget是一个命令行工具——是历史上最快的单线程传输工具,用于下载网站/批量文件,支持HTTP和FTP。

Windows 版下载地址

http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe

linux 版下载地址

http://ftp.gnu.org/gnu/wget/

下面是几个常用示例

wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" http://rubyer.me/

对rubyer.me做镜像。

-e robots=off�0�2 让wget耍流氓无视robots.txt协议

-U “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6″�0�2 伪造agent信息

-m 对网站做镜像

wget -r --tries=10 http://rubyer.me/ -o wget.log�0�2 

递归下载rubyer.me,默认递归尝试为5层,下载页面失败时最多尝试10次,并把log记录到wget.log中

-o 保存日志为wget.log

–tries 失败尝试10次

�0�2wget -b http://rubyer.me/file.zip�0�2 

启动后后台运行,如果没有指定-o, 默认log为wget-log

�0�2wget -i file�0�2 

此命令常用于批量下载的情形,把所有需要下载文件的地址放到 filename.txt 中<,然后 wget 就会自动为你下载所有文件了。

wget --convert-links -r -l2 http://rubyer.me/ 

递归两层下载,并转换页面链接为本地

–convert-links 转换链接地址为本地,便于离线浏览

-l 指定递归层数,对-r起作用

wget -p --convert-links http://rubyer.me/dir/page.html 

-p 会下载所有网页需要的css,js和其它文件。便于离线浏览

wget -nc -r http://www.rubyer.me �0�2

-nc wget正在下载时被打断,不想覆盖以前的下载,就用这个参数

wget -c http://rubyer.me/file.zip�0�2�0�2�0�2 

断点续传,如果已经存在ls-LR.Z,Wget就会假定已经下载一部分,并会跳过文件大小后继续下载

wget -A gif,jpg http://rubyer.me�0�2

只会下载以gif和jpg结尾的网址

wget -R mpg,mpeg,au* http://rubyer.me 

与-A相反

au*使用了能配符,表示任意长度的任意字符。

wget -I�0�2/article,/catelog�0�2�0�2http://rubyer.me/�0�2 

只下载网站/article, /catelog目录下的内容,忽略其它目录

-I 后参数为允许下载的地址列表,多个地址用逗号隔开,地址中可以有通配符,注意地址要省去http:**.**.**/

 wget -X addr_list 

与-I相反,不允许下载的地址列表

wget -np 

不递归下载父目录的内容,这很有用

标签:
>>原创文章,欢迎转载。转载请注明:转载自Ruby迷,谢谢!
>>原文链接地址:Wget 下载常用参数
  1. ruby1998
    三 15th, 201215:15

    wget 是一个命令行的下载文件工具,跟windows中在IE下载类似,支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。
    我们在转移网站,下载软件,测试速度等,经常会使用这个命令

    下面我为大家来介绍几条wget的使用技巧!
    实例1:
    1
    wget http://www.zhujima.com/1.zip
    解释:下载zzwsem目录下1.zip文件

    实例2:
    1
    wget -r -np -nd http://www.zhujima.com/go/

    解释:下载zzwsem.net网站上 go 目录中的所有文件
    -np 的作用是不遍历父目录
    -nd 表示不在本机重新创建目录结构。

    实例3:
    1
    wget -r -x http://www.zhujima.com

    解释:这条命令就是扒站,递归下载此服务器上所有目录和文件,所有地址都会保存,如果目标站引用了其他网页,也会被保存
    -x 的作用强制建立服务器上一模一样的目录
    注意: 可以用-l number参数来指定下载的层次。例如只下载两层,那么使用-l 2。
    如:
    1
    wget http://www.uriminzokkiri.org/php_tmp/download.php
    实例4:
    1
    wget -r -np -nd –accept=zip http://www.zhujima.com/go/
    解释:wget选择性的只下载某类文件
    –accept=zip 选项,这指示wget仅下载 go 目录中所有扩展名为 zip 的文件。你也可以指定多个扩展名,只需用逗号分隔即可。

    实例5:
    1
    wget -i xiazai.txt
    解释:此条命令是批量下载,创建一个txt目录,写入url 一行一个,然后wget就会为您下载了!

    实例6:
    1
    wget -c -t 100 -T 120 http://www.zhujima.com/1.zip
    解释:本条命令是断点续传
    -c 选项的作用为断点续传。
    -t 参数表示重试次数(例如需要重试100次,那么就写-t 100,如果设成-t 0,那么表示无穷次重试,直到连接成功。)
    -T 参数表示超时等待时间,例如-T 120,表示等待120秒连接不上就算超时。

    强烈建议把本文加入书签,以防备用!

  2. ruby1998
    三 15th, 201214:51

    post-data
    wget –post-data=”ptype=movie2&no=877″ http://www.uriminzokkiri.org/php_tmp/download.php