GNU Parallel的具体使用

2019-10-09 10:37:17丽君

它是什么?

GNU Parallel是一个shell工具,为了在一台或多台计算机上并行的执行计算任务,一个计算任务可以是一条shell命令或者一个以每一行做为输入的脚本程序。通常的输入是文件列表、主机列表、用户列表、URL列表或者表格列表;一个计算任务也可以是一个从管道读取的一条命令。GNU Parallel会把输入分块,然后通过管道并行的执行。

如果你会使用xargs和tee命令,你会发现GNU Parallel非常易于使用,因为GNU Parallel具有与xargs一样的选项。GNU Parallel可以替代大部分的shell循环,并且用并行的方式更快的完成计算任务。

GNU Parallel保证它的输出与顺序执行计算任务时是一样的,这样就可以方便的把GNU Parallel的输出做为其它程序的输入。

对于每一行输入,GNU Parallel会把这一行做为参数来运行指定的命令。如果没有给出命令,那么这一行会被当做命令执行。多行输入会并行的运行。GNU Parallel经常被用于替代xargs或者cat | bash。

指南

本教程展示了绝大多数GNU Parallel的功能。旨在介绍GNU Parallel中的一个选项,而非讲解真实世界中使用的例子。花一个小时的时间学习本教程,你会由此爱上上命令行。

预备

为了执行本教程中的示例,你首先需要做如下准备:

parallel >= version 20130814

安装最新版:

(wget -O - pi.dk/3 || curl pi.dk/3/) | bash

这条命令同时也会安装最新版的指南

man parallel_tutorial

本教程的大部分内容同时也兼容旧版本。

abc-file

生成文件:

parallel -k echo ::: A B C > abc-file

def-file

生成文件:

parallel -k echo ::: D E F > def-file

abc0-file

生成文件:

perl -e 'printf "ABC"' > abc0-file

abc_-file

生成文件:

perl -e 'printf "A_B_C_"' > abc_-file

tsv_file.tsv

生成文件:

perl -e 'printf "f1tf2nAtBnCtDn"' > tsv-file.tsv

num30000

生成文件:

perl -e 'for(1..30000){print "$_n"}' > num30000

num1000000

生成文件:

perl -e 'for(1..1000000){print "$_n"}' > num1000000

num_%header

生成文件:

(echo %head1; echo %head2; perl -e 'for(1..10){print "$_n"}') > num_%header

远程执行:ssh免密码登录$SERVER1和$SERVER2

生成文件:

SERVER1=server.example.com
SERVER2=server2.example.net

最后应该成功运行如下命令: