它是什么?
GNU Parallel是一个shell工具,为了在一台或多台计算机上并行的执行计算任务,一个计算任务可以是一条shell命令或者一个以每一行做为输入的脚本程序。通常的输入是文件列表、主机列表、用户列表、URL列表或者表格列表;一个计算任务也可以是一个从管道读取的一条命令。GNU Parallel会把输入分块,然后通过管道并行的执行。
如果你会使用xargs和tee命令,你会发现GNU Parallel非常易于使用,因为GNU Parallel具有与xargs一样的选项。GNU Parallel可以替代大部分的shell循环,并且用并行的方式更快的完成计算任务。
GNU Parallel保证它的输出与顺序执行计算任务时是一样的,这样就可以方便的把GNU Parallel的输出做为其它程序的输入。
对于每一行输入,GNU Parallel会把这一行做为参数来运行指定的命令。如果没有给出命令,那么这一行会被当做命令执行。多行输入会并行的运行。GNU Parallel经常被用于替代xargs或者cat | bash。
指南
本教程展示了绝大多数GNU Parallel的功能。旨在介绍GNU Parallel中的一个选项,而非讲解真实世界中使用的例子。花一个小时的时间学习本教程,你会由此爱上上命令行。
预备
为了执行本教程中的示例,你首先需要做如下准备:
parallel >= version 20130814
安装最新版:
(wget -O - pi.dk/3 || curl pi.dk/3/) | bash
这条命令同时也会安装最新版的指南
man parallel_tutorial
本教程的大部分内容同时也兼容旧版本。
abc-file
生成文件:
parallel -k echo ::: A B C > abc-file
def-file
生成文件:
parallel -k echo ::: D E F > def-file
abc0-file
生成文件:
perl -e 'printf "A B C "' > abc0-file
abc_-file
生成文件:
perl -e 'printf "A_B_C_"' > abc_-file
tsv_file.tsv
生成文件:
perl -e 'printf "f1tf2nAtBnCtDn"' > tsv-file.tsv
num30000
生成文件:
perl -e 'for(1..30000){print "$_n"}' > num30000
num1000000
生成文件:
perl -e 'for(1..1000000){print "$_n"}' > num1000000
num_%header
生成文件:
(echo %head1; echo %head2; perl -e 'for(1..10){print "$_n"}') > num_%header
远程执行:ssh免密码登录$SERVER1和$SERVER2
生成文件:
SERVER1=server.example.com SERVER2=server2.example.net
最后应该成功运行如下命令:








