乐于分享
好东西不私藏

wget实用技巧:不止是下载,这些隐藏功能太强了!

wget实用技巧:不止是下载,这些隐藏功能太强了!
wget在很多人眼里就是个简单的下载工具,输入wget链接就完事了。但其实它藏着很多能让你效率翻倍的“骚操作”。今天分享几个实战中高频使用的硬核技巧,帮你把wget用到极致。
wget工具安装(大部分默认已安装)
 yum -y install wget

1.断点续传(-c)

这是wget最核心的功能。下载大文件时网络中断,不用从头再来,加个-c参数就能从断掉的地方接着下。

wget -c http://speedtest.tele2.net/100MB.zip  #https网站涉及证书问题,不好找 

2. 后台下载(-b)

下载大文件时,不想让终端一直卡在那里?用-b让它去后台默默干活,进度会写在wget-log文件里。

扔到后台,解放终端
 wget -b --no-check-certificate  https://speed.hetzner.de/100MB.bin #为跳过ssl证书验证
想看进度?随时看日志
tail -f wget-log

后台下载进程跑在后台,终端可复用,适合手动下载大文件和静默下载有区别,静默下载是不输出任何东西。

3. 限速下载(--limit-rate)

在服务器上下载,或者不想影响别人上网时,用--limit-rate给下载速度“踩刹车”。单位是k(KB/s)或m(MB/s)。

限制在500KB/s,做个有素质的下载者
wget --limit-rate=500k http://speedtest.tele2.net/10MB.zip

4. 伪装成浏览器(--user-agent)

有些网站会屏蔽wget这种访问。这时候用--user-agent参数,把自己伪装成Chrome浏览器,轻松骗过检测。

假装我是Chrome
wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" https://www.gnu.org/software/wget/manual/wget.html

5. 整站镜像(-m -k -p)

想离线看某个网站?或者备份自己的博客?-m(镜像)参数是神器。它会递归下载,并保持目录结构。

把网站完整克隆到本地
wget -m -k -p https://docs.python.org/3/tutorial/  #参数说明:# -m:镜像模式(包含 -r -N -l inf)# -k:把链接转成适合本地浏览的格式# -p:下载所有显示页面所需的资源(图片、CSS)

6. 批量下载(-i)

有一堆文件要下?别一个个敲命令。把链接全写进一个urls.txt文件里,用-i参数一键搞定。

urls.txt 内容示例:
http://speed.hetzner.de/1MB.binhttp://speed.hetzner.de/5MB.binhttp://speed.hetzner.de/10MB.bin
执行批量下载
wget -i urls.txt

7. 重试与超时(-T -t)

在烂网络环境下,设置重试次数(-t)和超时时间(-T),避免wget卡死。

# 超时20秒,重试5次(0表示无限重试,慎用!)
wget -T 20 -t 5 https://httpbin.org/delay/5 

8. 下载ftp目录(需认证)

下载ftp服务器上的整个文件夹,特别是需要密码的时候。

# 下载ftp目录(实际环境把username和password换成你的)
# 测试带账号密码的FTP下载(账号:demo,密码:password)测试验证wget --ftp-user=demo --ftp-password=password -r ftp://test.rebex.net/

9. 静默下载(-q)

在脚本里用wget时,不想看满屏的进度条和日志?用-q(quiet)模式,世界瞬间清净。

安静地下载,只做不说

wget -q  --no-check-certificate https://speed.hetzner.de/1KB.bin #--no-check-certificate跳过证书验证 
备注:这个其实有个bug,就算错误也不会提示。

10. 下载并重命名(-O)

下载文件时直接改个顺手的名字,省得下完再mv

下载下来就叫 my-backup.tar.gz
wget -O my-test-file.bin https://speed.hetzner.de/10MB.bin

避坑指南

  • 递归下载要小心-r参数配合不当可能会把流量撑爆,务必用-l(小写L)限制深度,比如-l 2只下两层。

  • 别乱镜像公网:对别人的网站做整站镜像前,请先看robots.txt,尊重对方的服务器压力。

一张表看懂核心参数

参数
全称
作用
常用场景
-c--continue
断点续传
下载大文件、网络不稳
-b--background
后台下载
不阻塞终端操作
-O--output-document
指定输出名
重命名文件
-i--input-file
批量下载
下载列表文件
-m--mirror
镜像网站
离线备份、整站抓取
-q--quiet
静默模式
脚本自动化

你有哪些wget使用技巧,欢迎评论区交流分享。

备注:所有演示地址均来自公开、稳定的测试资源站,不得用作其他非法目的;

#运维  #linux #wget #断点续传