本文共 15860 字,大约阅读时间需要 52 分钟。
熟练使用命令行是一种常常被忽视,或被认为难以掌握的技能,但实际上,它会提高你作为工程师的灵活性以及生产力。本文是一份我在 Linux 上工作时,发现的一些命令行使用技巧的摘要。有些技巧非常基础,而另一些则相当复杂,甚至晦涩难懂。这篇文章并不长,但当你能够熟练掌握这里列出的所有技巧时,你就学会了很多关于命令行的东西了。
这篇文章是 许多作者和译者 共同的成果。 这里的部分内容 首次 出现 于 Quora , 但已经迁移到了 Github,并由众多高手做出了许多改进。 如果你在本文中发现了错误或者存在可以改善的地方,请 贡献你的一份力量 。
前言
涵盖范围:
这篇文章不仅能帮助刚接触命令行的新手,而且对具有经验的人也大有裨益。本文致力于做到 覆盖面广 (涉及所有重要的内容), 具体 (给出具体的最常用的例子),以及 简洁 (避免冗余的内容,或是可以在其他地方轻松查到的细枝末节)。在特定应用场景下,本文的内容属于基本功或者能帮助您节约大量的时间。
本文主要为 Linux 所写,但在 仅限 OS X 系统 章节和 仅限 Windows 系统 章节中也包含有对应操作系统的内容。除去这两个章节外,其它的内容大部分均可在其他类 Unix 系统或 OS X,甚至 Cygwin 中得到应用。
本文主要关注于交互式 Bash,但也有很多技巧可以应用于其他 shell 和 Bash 脚本当中。
除去“标准的”Unix 命令,本文还包括了一些依赖于特定软件包的命令(前提是它们具有足够的价值)。
注意事项:
为了能在一页内展示尽量多的东西,一些具体的信息可以在引用的页面中找到。我们相信机智的你知道如何使用 Google 或者其他搜索引擎来查阅到更多的详细信息。文中部分命令需要您使用 apt-get , yum , dnf , pacman , pip 或 brew (以及其它合适的包管理器)来安装依赖的程序。
遇到问题的话,请尝试使用 Explainshell 去获取相关命令、参数、管道等内容的解释。
基础
学习 Bash 的基础知识。具体地,在命令行中输入 man bash 并至少全文浏览一遍; 它理解起来很简单并且不冗长。其他的 shell 可能很好用,但 Bash 的功能已经足够强大并且到几乎总是可用的( 如果你 只 学习 zsh,fish 或其他的 shell 的话,在你自己的设备上会显得很方便,但过度依赖这些功能会给您带来不便,例如当你需要在服务器上工作时)。
熟悉至少一个基于文本的编辑器。通常而言 Vim ( vi ) 会是你最好的选择,毕竟在终端中编辑文本时 Vim 是最好用的工具(甚至大部分情况下 Vim 要比 Emacs、大型 IDE 或是炫酷的编辑器更好用)。
学会如何使用 man 命令去阅读文档。学会使用 apropos 去查找文档。知道有些命令并不对应可执行文件,而是在 Bash 内置好的,此时可以使用 help 和 help -d 命令获取帮助信息。你可以用 type 命令 来判断这个命令到底是可执行文件、shell 内置命令还是别名。
学会使用 > 和 < 来重定向输出和输入,学会使用 | 来重定向管道。明白 > 会覆盖了输出文件而 >> 是在文件末添加。了解标准输出 stdout 和标准错误 stderr。
学会使用通配符 * (或许再算上 ? 和 [ ... ] ) 和引用以及引用中 ' 和 " 的区别(后文中有一些具体的例子)。
熟悉 Bash 中的任务管理工具: & ,ctrl-z,ctrl-c, jobs , fg , bg , kill 等。
学会使用 ssh 进行远程命令行登录,最好知道如何使用 ssh-agent , ssh-add 等命令来实现基础的无密码认证登录。
学会基本的文件管理工具: ls 和 ls -l (了解 ls -l 中每一列代表的意义), less , head , tail 和 tail -f (甚至 less +F ), ln 和 ln -s (了解硬链接与软链接的区别), chown , chmod , du (硬盘使用情况概述: du -hs * )。 关于文件系统的管理,学习 df , mount , fdisk , mkfs , lsblk 。知道 inode 是什么(与 ls -i 和 df -i 等命令相关)。
学习基本的网络管理工具: ip 或 ifconfig , dig 。
学习并使用一种版本控制管理系统,例如 git 。
熟悉正则表达式,学会使用 grep / egrep ,它们的参数中 -i , -o , -v , -A , -B 和 -C 这些是很常用并值得认真学习的。
学会使用 apt-get , yum , dnf 或 pacman (具体使用哪个取决于你使用的 Linux 发行版)来查找和安装软件包。并确保你的环境中有 pip 来安装基于 Python 的命令行工具 (接下来提到的部分程序使用 pip 来安装会很方便)。
日常使用
在 Bash 中,可以通过按 Tab 键实现自动补全参数,使用 ctrl-r 搜索命令行历史记录(按下按键之后,输入关键字便可以搜索,重复按下 ctrl-r 会向后查找匹配项,按下 Enter 键会执行当前匹配的命令,而按下右方向键会将匹配项放入当前行中,不会直接执行,以便做出修改)。
在 Bash 中,可以按下 ctrl-w 删除你键入的最后一个单词,ctrl-u 可以删除行内光标所在位置之前的内容,alt-b 和 alt-f 可以以单词为单位移动光标,ctrl-a 可以将光标移至行首,ctrl-e 可以将光标移至行尾,ctrl-k 可以删除光标至行尾的所有内容,ctrl-l 可以清屏。键入 man readline 可以查看 Bash 中的默认快捷键。内容有很多,例如 alt-. 循环地移向前一个参数,而 alt-* 可以展开通配符。
你喜欢的话,可以执行 set -o vi 来使用 vi 风格的快捷键,而执行 set -o emacs 可以把它改回来。
为了便于编辑长命令,在设置你的默认编辑器后(例如 export EDITOR=vim ),ctrl-x ctrl-e 会打开一个编辑器来编辑当前输入的命令。在 vi 风格下快捷键则是 escape-v。
键入 history 查看命令行历史记录,再用 !n ( n 是命令编号)就可以再次执行。其中有许多缩写,最有用的大概就是 !$ , 它用于指代上次键入的参数,而 !! 可以指代上次键入的命令了(参考 man 页面中的“HISTORY EXPANSION”)。不过这些功能,你也可以通过快捷键 ctrl-r 和 alt-. 来实现。
cd 命令可以切换工作路径,输入 cd ~ 可以进入 home 目录。要访问你的 home 目录中的文件,可以使用前缀 ~ (例如 ~/.bashrc )。在 sh 脚本里则用环境变量 $HOME 指代 home 目录的路径。
回到前一个工作路径: cd - 。
如果你输入命令的时候中途改了主意,按下 alt-# 在行首添加 # 把它当做注释再按下回车执行(或者依次按下 ctrl-a, #, enter)。这样做的话,之后借助命令行历史记录,你可以很方便恢复你刚才输入到一半的命令。
使用 xargs ( 或 parallel )。他们非常给力。注意到你可以控制每行参数个数( -L )和最大并行数( -P )。如果你不确定它们是否会按你想的那样工作,先使用 xargs echo 查看一下。此外,使用 -I{} 会很方便。例如:
pstree -p 以一种优雅的方式展示进程树。
使用 pgrep 和 pkill 根据名字查找进程或发送信号( -f 参数通常有用)。
了解你可以发往进程的信号的种类。比如,使用 kill -STOP [pid] 停止一个进程。使用 man 7 signal 查看详细列表。
使用 nohup 或 disown 使一个后台进程持续运行。
使用 netstat -lntp 或 ss -plat 检查哪些进程在监听端口(默认是检查 TCP 端口; 添加参数 -u 则检查 UDP 端口)。
lsof 来查看开启的套接字和文件。
使用 uptime 或 w 来查看系统已经运行多长时间。
使用 alias 来创建常用命令的快捷形式。例如: alias ll='ls -latr' 创建了一个新的命令别名 ll 。
可以把别名、shell 选项和常用函数保存在 ~/.bashrc ,具体看下这篇 文章 。这样做的话你就可以在所有 shell 会话中使用你的设定。
把环境变量的设定以及登陆时要执行的命令保存在 ~/.bash_profile 。而对于从图形界面启动的 shell 和 cron 启动的 shell,则需要单独配置文件。
要想在几台电脑中同步你的配置文件(例如 .bashrc 和 .bash_profile ),可以借助 Git。
当变量和文件名中包含空格的时候要格外小心。Bash 变量要用引号括起来,比如 "$FOO" 。尽量使用 -0 或 -print0 选项以便用 NULL 来分隔文件名,例如 locate -0 pattern | xargs -0 ls -al 或 find / -print0 -type d | xargs -0 ls -al 。如果 for 循环中循环访问的文件名含有空字符(空格、tab 等字符),只需用 IFS=$'\n' 把内部字段分隔符设为换行符。
在 Bash 脚本中,使用 set -x 去调试输出(或者使用它的变体 set -v ,它会记录原始输入,包括多余的参数和注释)。尽可能地使用严格模式:使用 set -e 令脚本在发生错误时退出而不是继续运行;使用 set -u 来检查是否使用了未赋值的变量;试试 set -o pipefail ,它可以监测管道中的错误。当牵扯到很多脚本时,使用 trap 来检测 ERR 和 EXIT。一个好的习惯是在脚本文件开头这样写,这会使它能够检测一些错误,并在错误发生时中断程序并输出信息:
在 Bash 脚本中,子 shell(使用括号 (...) )是一种组织参数的便捷方式。一个常见的例子是临时地移动工作路径,代码如下:
在 Bash 中,变量有许多的扩展方式。 ${name:?error message} 用于检查变量是否存在。此外,当 Bash 脚本只需要一个参数时,可以使用这样的代码 input_file=${1:?usage: $0 input_file} 。在变量为空时使用默认值: ${name:-default} 。如果你要在之前的例子中再加一个(可选的)参数,可以使用类似这样的代码 output_file=${2:-logfile} ,如果省略了 $2,它的值就为空,于是 output_file 就会被设为 logfile 。数学表达式: i=$(( (i + 1) % 5 )) 。序列: {1..10} 。截断字符串: ${var%suffix} 和 ${var#prefix} 。例如,假设 var=foo.pdf ,那么 echo ${var%.pdf}.txt 将输出 foo.txt 。
使用括号扩展( { ... } )来减少输入相似文本,并自动化文本组合。这在某些情况下会很有用,例如 mv foo.{txt,pdf} some-dir (同时移动两个文件), cp somefile{,.bak} (会被扩展成 cp somefile somefile.bak )或者 mkdir -p test-{a,b,c}/subtest-{1,2,3} (会被扩展成所有可能的组合,并创建一个目录树)。
通过使用 <(some command) 可以将输出视为文件。例如,对比本地文件 /etc/hosts 和一个远程文件:
编写脚本时,你可能会想要把代码都放在大括号里。缺少右括号的话,代码就会因为语法错误而无法执行。如果你的脚本是要放在网上分享供他人使用的,这样的写法就体现出它的好处了,因为这样可以防止下载不完全代码被执行。
了解 Bash 中的“here documents”,例如 cat <
在 Bash 中,同时重定向标准输出和标准错误: some-command >logfile 2>&1 或者 some-command &>logfile 。通常,为了保证命令不会在标准输入里残留一个未关闭的文件句柄捆绑在你当前所在的终端上,在命令后添加
使用 man ascii 查看具有十六进制和十进制值的ASCII表。 man unicode , man utf-8 ,以及 man latin1 有助于你去了解通用的编码信息。
使用 screen 或 tmux 来使用多份屏幕,当你在使用 ssh 时(保存 session 信息)将尤为有用。而 byobu 可以为它们提供更多的信息和易用的管理工具。另一个轻量级的 session 持久化解决方案是 dtach 。
ssh 中,了解如何使用 -L 或 -D (偶尔需要用 -R )开启隧道是非常有用的,比如当你需要从一台远程服务器上访问 web 页面。
对 ssh 设置做一些小优化可能是很有用的,例如这个 ~/.ssh/config 文件包含了防止特定网络环境下连接断开、压缩数据、多通道等选项:
一些其他的关于 ssh 的选项是与安全相关的,应当小心翼翼的使用。例如你应当只能在可信任的网络中启用 StrictHostKeyChecking=no , ForwardAgent=yes 。
考虑使用 mosh 作为 ssh 的替代品,它使用 UDP 协议。它可以避免连接被中断并且对带宽需求更小,但它需要在服务端做相应的配置。
获取八进制形式的文件访问权限(修改系统设置时通常需要,但 ls 的功能不那么好用并且通常会搞砸),可以使用类似如下的代码:
使用 percol 或者 fzf 可以交互式地从另一个命令输出中选取值。
使用 fpp ( PathPicker )可以与基于另一个命令(例如 git )输出的文件交互。
将 web 服务器上当前目录下所有的文件(以及子目录)暴露给你所处网络的所有用户,使用: python -m SimpleHTTPServer 7777 (使用端口 7777 和 Python 2)或 python -m http.server 7777 (使用端口 7777 和 Python 3)。
以其他用户的身份执行命令,使用 sudo 。默认以 root 用户的身份执行;使用 -u 来指定其他用户。使用 -i 来以该用户登录(需要输入_你自己的_密码)。
将 shell 切换为其他用户,使用 su username 或者 sudo - username 。加入 - 会使得切换后的环境与使用该用户登录后的环境相同。省略用户名则默认为 root。切换到哪个用户,就需要输入_哪个用户的_密码。
了解命令行的 128K 限制 。使用通配符匹配大量文件名时,常会遇到“Argument list too long”的错误信息。(这种情况下换用 find 或 xargs 通常可以解决。)
当你需要一个基本的计算器时,可以使用 python 解释器(当然你要用 python 的时候也是这样)。例如:
文件及数据处理
在当前目录下通过文件名查找一个文件,使用类似于这样的命令: find . -iname '*something*' 。在所有路径下通过文件名查找文件,使用 locate something (但注意到 updatedb 可能没有对最近新建的文件建立索引,所以你可能无法定位到这些未被索引的文件)。
使用 ag 在源代码或数据文件里检索( grep -r 同样可以做到,但相比之下 ag 更加先进)。
将 HTML 转为文本: lynx -dump -stdin 。
Markdown,HTML,以及所有文档格式之间的转换,试试 pandoc 。
当你要处理棘手的 XML 时候, xmlstarlet 算是上古时代流传下来的神器。
使用 jq 处理 JSON。
使用 shyaml 处理 YAML。
要处理 Excel 或 CSV 文件的话, csvkit 提供了 in2csv , csvcut , csvjoin , csvgrep 等方便易用的工具。
当你要处理 Amazon S3 相关的工作的时候, s3cmd 是一个很方便的工具而 s4cmd 的效率更高。Amazon 官方提供的 aws 以及 saws 是其他 AWS 相关工作的基础,值得学习。
了解如何使用 sort 和 uniq ,包括 uniq 的 -u 参数和 -d 参数,具体内容在后文单行脚本节中。另外可以了解一下 comm 。
了解如何使用 cut , paste 和 join 来更改文件。很多人都会使用 cut ,但遗忘了 join 。
了解如何运用 wc 去计算新行数( -l ),字符数( -m ),单词数( -w )以及字节数( -c )。
了解如何使用 tee 将标准输入复制到文件甚至标准输出,例如 ls -al | tee file.txt 。
要进行一些复杂的计算,比如分组、逆序和一些其他的统计分析,可以考虑使用 datamash 。
注意到语言设置(中文或英文等)对许多命令行工具有一些微妙的影响,比如排序的顺序和性能。大多数 Linux 的安装过程会将 LANG 或其他有关的变量设置为符合本地的设置。要意识到当你改变语言设置时,排序的结果可能会改变。明白国际化可能会使 sort 或其他命令运行效率下降 许多倍 。某些情况下(例如集合运算)你可以放心的使用 export LC_ALL=C 来忽略掉国际化并按照字节来判断顺序。
你可以单独指定某一条命令的环境,只需在调用时把环境变量设定放在命令的前面,例如 TZ=Pacific/Fiji date 可以获取斐济的时间。
了解如何使用 awk 和 sed 来进行简单的数据处理。例如,将文本文件中第三列的所有数字求和: awk '{ x += $3 } END { print x }' 。这可能比同等功能的 Python 代码快三倍且代码量少三倍。
替换一个或多个文件中出现的字符串:
根据 man 页面的描述, rsync 是一个快速且非常灵活的文件复制工具。它闻名于设备之间的文件同步,但其实它在本地情况下也同样有用。在安全设置允许下,用 rsync 代替 scp 可以实现文件续传,而不用重新从头开始。它同时也是删除大量文件的 最快方法 之一:
使用 shuf 可以以行为单位来打乱文件的内容或从一个文件中随机选取多行。
了解 sort 的参数。显示数字时,使用 -n 或者 -h 来显示更易读的数(例如 du -h 的输出)。明白排序时关键字的工作原理( -t 和 -k )。例如,注意到你需要 -k1,1 来仅按第一个域来排序,而 -k1 意味着按整行排序。稳定排序( sort -s )在某些情况下很有用。例如,以第二个域为主关键字,第一个域为次关键字进行排序,你可以使用 sort -k1,1 | sort -s -k2,2 。
如果你想在 Bash 命令行中写 tab 制表符,按下 ctrl-v [Tab] 或键入 $'\t' (后者可能更好,因为你可以复制粘贴它)。
标准的源代码对比及合并工具是 diff 和 patch 。使用 diffstat 查看变更总览数据。注意到 diff -r 对整个文件夹有效。使用 diff -r tree1 tree2 | diffstat 查看变更的统计数据。 vimdiff 用于比对并编辑文件。
对于二进制文件,使用 hd , hexdump 或者 xxd 使其以十六进制显示,使用 bvi , hexedit 或者 biew 来进行二进制编辑。
同样对于二进制文件, strings (包括 grep 等工具)可以帮助在二进制文件中查找特定比特。
制作二进制差分文件(Delta 压缩),使用 xdelta3 。
使用 iconv 更改文本编码。需要更高级的功能,可以使用 uconv ,它支持一些高级的 Unicode 功能。例如,这条命令移除了所有重音符号:
系统调试
单行脚本
一些命令组合的例子:
当你需要对文本文件做集合交、并、差运算时, sort 和 uniq 会是你的好帮手。具体例子请参照代码后面的,此处假设 a 与 b 是两内容不同的文件。这种方式效率很高,并且在小文件和上 G 的文件上都能运用(注意尽管在 /tmp 在一个小的根分区上时你可能需要 -T 参数,但是实际上 sort 并不被内存大小约束),参阅前文中关于 LC_ALL 和 sort 的 -u 参数的部分。
使用 grep . * (每行都会附上文件名)或者 head -100 * (每个文件有一个标题)来阅读检查目录下所有文件的内容。这在检查一个充满配置文件的目录(如 /sys 、 /proc 、 /etc )时特别好用。
计算文本文件第三列中所有数的和(可能比同等作用的 Python 代码快三倍且代码量少三倍):
如果你想在文件树上查看大小/日期,这可能看起来像递归版的 ls -l 但比 ls -lR 更易于理解:
假设你有一个类似于 web 服务器日志文件的文本文件,并且一个确定的值只会出现在某些行上,假设一个 acct_id 参数在 URI 中。如果你想计算出每个 acct_id 值有多少次请求,使用如下代码:
冷门但有用
仅限 OS X 系统
以下是 仅限于 OS X 系统的技巧。
仅限 Windows 系统
以下是 仅限于 Windows 系统的技巧。
转载地址:http://ardgo.baihongyu.com/