2018-11-07

Linux 命令---下载相关

最后更新： 2018-11-12

阅读次数：次

curl

curl 是一个用于收发网络数据包的命令行工具。

基本语法

# 语法：curl [option] [url]

# 基本用法
$ curl http://blog.percymong.com
$ curl http://baidu.com http://google.com

如果在一条命令中访问多个文件，crul 会尝试在多个传输会话间重用一个连接，以此减少建立不必要的连接或握手，从而访问速度。但是多个相互独立的 curl 命令调用之间是不支持连接重用的。

URL 匹配技巧

# 字符串匹配
$ curl -O http://site.com/{one,two,three}.html    # 3 种 URL

# 字符匹配
$ curl -O http://site.com/file-[a-e].html         # 5 种 URL

# 数字匹配（）
$ curl -O http://site.com/file-[88-99].html       # 12 种 URL

# 字符数字混合匹配
$ curl -O http://site.com/file-[1-3]-[a-c].html   # 9 种 URL

# 步进匹配（下面的匹配： 1，11，21，31，41，51，61，71，81，91）
$ curl -O http://site.com/file-[1-100:10].html    # 10 种 URL

常用参数

# -o 保存资源到指定文件（下载）
$ curl -o ppp.dmg http://download.ppduck.com/PPDuck.dmg

# -O 保存资源到本地
$ curl -O http://download.ppduck.com/PPDuck.dmg

# curl 默认启用传输进度条用于显示总传输数据大小、传输速度、预计剩余传输时间等
# -# 使用 `#` 字符串来模拟进度条，从而替换默认的进度条
$ curl -# -O http://download.ppduck.com/PPDuck.dmg

# -d 发送 form-encoded 数据 (POST 请求： application/x-www-form-urlencoded)
$ curl -d 'name=percy' http://localhost:8888/test.php

# -X 自定义请求方法（GET、POST、PUT、DELETE、OPTIONS 等）
$ curl -X 'OPTIONS' http://blog.percymong.com

wget

GNU Wget 是一个命令行的下载工具，支持HTTP、HTTPS、FTP协议，支持断点续传。在宽带状态不佳的情况下，Wget能表现出很强的稳定性。

# 使用 wget 从网上下载软件、音乐、视频（文件默认保存在当前工作目录下）
$ wget http://download.ppduck.com/PPDuck.dmg

# -i 下载在文件中出现的一个或多个链接
$ echo 'http://download.ppduck.com/PPDuck.dmg\nhttp://blog.percymong.com' > links.txt
$ wget -i links.txt

# 下载文件并以指定的路径和指定的文件名保存文件
$ wget -O ~/Downloads/pp鸭.zip http://download.ppduck.com/PPDuck.dmg

# -o 将下载记录保存到指定文件
$ wget -o wget-download.log http://download.ppduck.com/PPDuck.dmg

# -a 将下载记录追加到指定文件尾部
$ wget -a wget-download.log http://ppduck.com

# 限速下载，限速 200k
$ wget --limit-rate=200k http://download.ppduck.com/PPDuck.dmg

# -c 续传之前未完成的下载
$ wget -c http://download.ppduck.com/PPDuck.dmg

# -t 设定最大尝试链接次数（0 表示无限制）
$ wget -t 5 http://google.com.hk

# -T 设定响应超时的秒数
$ wget -T 2 http://google.com.hk

# -w 设定两次尝试的时间间隔的秒数
$ wget -w 3 http://google.com.hk

# -S 打印服务器的响应
$ wget -S http://download.ppduck.com/PPDuck.dmg

# -b 开启后台下载模式 ( 使用 `watch -n 0.5 tail 'wget-log'` 可查看当前下载的动态进度 )
$ wget -b http://download.ppduck.com/PPDuck.dmg && watch -n 0.5 tail 'wget-log'

# --user-agent="" 模拟浏览器进行下载
$ wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" http://google.com


# -v 将下载记录直接展示在终端上（默认模式）

# 递归下载整个网站到本地
# -r --recursive 递归下载
# -p --page-requisites 下载所有页面显示所需的内容（图片、样式等）
# -np --no-parent 不搜索上层目录
# -k --convert-links 转换链接，将下载的HTML页面中的链接转换为相对链接即本地链接
$ wget -r -p -np -k http://blog.percymong.com

aria2

aria2 是一个命令行下的下载工具。它支持的协议有 HTTP/HTTPS、FTP、BitTorrent、Metalink。aria2 可以从多个不同的下载源或多个不同的协议下下载一个文件，从而达到网络带宽的最优利用（多线程）。

# Mac 下安装
$ brew install aria2

命令行基本语法

# 下载一个资源
$ aria2c http://baidu.com

# -d，--dir=<DIR> 指定文件下载后保存的路径
$ aria2c -d

# -i，--input-file=<FILE> 下载指定文件中列出的资源
$ echo 'http://baidu.com\nhttp://apple.com' > list.txt
$ aria2c -i ./list.txt

# --conf-path=<PATH> 指定配置文件
$ aria2c --conf-path="${HOME}/MySpace/mamp/Lab/linux/aria2c.conf" http://download.ppduck.com/PPDuck.dmg
# -Z 下载多个资源
$ aria2c -Z http://baidu.com/1.html http://baidu.com/2.html

配置文件详情

## 被注释的选项填写的是默认值, 建议在需要修改时再取消注释  ##

###########################################################
# 文件保存相关
###########################################################

# 文件的保存路径(可使用绝对路径或相对路径), 默认: 当前启动位置
dir=~/Downloads

# 启用磁盘缓存, 0为禁用缓存, 需1.16以上版本, 默认:16M
# disk-cache=32M

# 文件预分配方式, 能有效降低磁盘碎片, 默认:prealloc
# 预分配所需时间: none < falloc ? trunc < prealloc
# falloc和trunc则需要文件系统和内核支持
# NTFS建议使用falloc, EXT3/4建议trunc, MAC 下需要注释此项
# file-allocation=none

# 断点续传
continue=true

###########################################################
# 下载连接相关
###########################################################

# 最大同时下载任务数, 运行时可修改, 默认:5
# max-concurrent-downloads=5

# 同一服务器连接数, 添加时可指定, 默认:1
max-connection-per-server=5

# 最小文件分片大小, 添加时可指定, 取值范围1M -1024M, 默认:20M
# 假定size=10M, 文件为20MiB 则使用两个来源下载; 文件为15MiB 则使用一个来源下载
min-split-size=10M

# 单个任务最大线程数, 添加时可指定, 默认:5
# split=5

# 整体下载速度限制, 运行时可修改, 默认:0
# max-overall-download-limit=0

# 单个任务下载速度限制, 默认:0，可分配单位 K 或 M
max-download-limit=100K

# 整体上传速度限制, 运行时可修改, 默认:0
# max-overall-upload-limit=0

# 单个任务上传速度限制, 默认:0
# max-upload-limit=0

# 禁用IPv6, 默认:false
# disable-ipv6=true

# 连接超时时间, 默认:60
# timeout=60

# 最大重试次数, 设置为0表示不限制重试次数, 默认:5
# max-tries=5

# 设置重试等待的秒数, 默认:0
# retry-wait=0

###########################################################
# 进度保存相关
###########################################################

# 从会话文件中读取下载任务
# input-file=/etc/aria2/aria2.session

# 在Aria2退出时保存`错误/未完成`的下载任务到会话文件
# save-session=/etc/aria2/aria2.session

# 定时保存会话, 0为退出时才保存, 需1.16.1以上版本, 默认:0
# save-session-interval=60

###########################################################
# RPC相关设置
###########################################################

# 启用RPC, 默认:false
# enable-rpc=true

# 允许所有来源, 默认:false
# rpc-allow-origin-all=true

# 允许非外部访问, 默认:false
# rpc-listen-all=true

# 事件轮询方式, 取值:[epoll, kqueue, port, poll, select], 不同系统默认值不同
# event-poll=select

# RPC监听端口, 端口被占用时可以修改, 默认:6800
# rpc-listen-port=6800

# 设置的RPC授权令牌, v1.18.4新增功能, 取代 --rpc-user 和 --rpc-passwd 选项
# rpc-secret=<TOKEN>

# 设置的RPC访问用户名, 此选项新版已废弃, 建议改用 --rpc-secret 选项
# rpc-user=<USER>

# 设置的RPC访问密码, 此选项新版已废弃, 建议改用 --rpc-secret 选项
# rpc-passwd=<PASSWD>

# 是否启用 RPC 服务的 SSL/TLS 加密,
# 启用加密后 RPC 服务需要使用 https 或者 wss 协议连接
# rpc-secure=true

# 在 RPC 服务中启用 SSL/TLS 加密时的证书文件,
# 使用 PEM 格式时，您必须通过 --rpc-private-key 指定私钥
# rpc-certificate=/path/to/certificate.pem

# 在 RPC 服务中启用 SSL/TLS 加密时的私钥文件
# rpc-private-key=/path/to/certificate.key

###########################################################
# BT/PT下载相关
###########################################################

# 当下载的是一个种子(以.torrent结尾)时, 自动开始BT任务, 默认:true
# follow-torrent=true

# BT监听端口, 当端口被屏蔽时使用, 默认:6881-6999
listen-port=51413

# 单个种子最大连接数, 默认:55
# bt-max-peers=55

# 打开DHT功能, PT需要禁用, 默认:true
enable-dht=false

# 打开IPv6 DHT功能, PT需要禁用
# enable-dht6=false

# DHT网络监听端口, 默认:6881-6999
# dht-listen-port=6881-6999

# 本地节点查找, PT需要禁用, 默认:false
# bt-enable-lpd=false

# 种子交换, PT需要禁用, 默认:true
enable-peer-exchange=false

# 每个种子限速, 对少种的PT很有用, 默认:50K
# bt-request-peer-speed-limit=50K

# 客户端伪装, PT需要
peer-id-prefix=-TR2770-
user-agent=Transmission/2.77

# 当种子的分享率达到这个数时, 自动停止做种, 0为一直做种, 默认:1.0
seed-ratio=0

# 强制保存会话, 即使任务已经完成, 默认:false
# 较新的版本开启后会在任务完成后依然保留.aria2文件
# force-save=false

# BT校验相关, 默认:true
# bt-hash-check-seed=true

# 继续之前的BT任务时, 无需再次校验, 默认:false
bt-seed-unverified=true

# 保存磁力链接元数据为种子文件(.torrent文件), 默认:false
bt-save-metadata=true

知秋

Linux 命令---下载相关

curl

wget

aria2

参考资料