生成文件：

parallel -k echo ::: D E F > def-file

abc0-file

生成文件：

perl -e 'printf "A\0B\0C\0"' > abc0-file

abc_-file

生成文件：

perl -e 'printf "A_B_C_"' > abc_-file

tsv_file.tsv

生成文件：

perl -e 'printf "f1\tf2\nA\tB\nC\tD\n"' > tsv-file.tsv

num30000

生成文件：

perl -e 'for(1..30000){print "$_\n"}' > num30000

num1000000

生成文件：

perl -e 'for(1..1000000){print "$_\n"}' > num1000000

num_%header

生成文件：

(echo %head1; echo %head2; perl -e 'for(1..10){print "$_\n"}') > num_%header

遠(yuǎn)程執(zhí)行：ssh免密碼登錄$SERVER1和$SERVER2

生成文件：

SERVER1=server.example.com
SERVER2=server2.example.net

最后應(yīng)該成功運(yùn)行如下命令：

ssh $SERVER1 echo works
ssh $SERVER2 echo works

使用 ssh-keygen -t dsa; ssh-copy-id $SERVER1 建立環(huán)境（使用empty pass phrase）

輸入源

GNU Parallel的輸入源支持文件、命令行和標(biāo)準(zhǔn)輸入（stdin或pipe）

單個(gè)輸入源

從命令行讀取輸入：

parallel echo ::: A B C

輸出（由于任務(wù)以并行的方式執(zhí)行，順序可能會(huì)有所不同）：

A
B
C

文件做為輸入源：

parallel -a abc-file echo

輸出同上。

STDIN（標(biāo)準(zhǔn)輸入）做為輸入源：

cat abc-file | parallel echo

輸出同上。

多輸入源

GNU Parallel支持通過(guò)命令行指定多個(gè)輸入源，它會(huì)生成所有的組合：

parallel echo ::: A B C ::: D E F

輸出：

A D
A E
A F
B D
B E
B F
C D
C E
C F

多個(gè)文件做為輸入源：

parallel -a abc-file -a def-file echo

輸出同上。

STDIN（標(biāo)準(zhǔn)輸入）可以做為輸入源中的一個(gè)，使用“-”：

cat abc-file | parallel -a - -a def-file echo

輸出同上。

可以使用“::::”替代 -a：

cat abc-file | parallel echo :::: - def-file

輸出同上。

::: 和 :::: 可以混合使用：

parallel echo ::: A B C :::: def-file

輸出同上。

適配參數(shù)

–xapply 從每一個(gè)輸入源取一個(gè)參數(shù)：

parallel --xapply echo ::: A B C ::: D E F

輸出：

A D
B E
C F

如果其中一個(gè)輸入源的長(zhǎng)度比較短，它的值會(huì)被重復(fù)：

parallel --xapply echo ::: A B C D E ::: F G

輸出：

A F
B G
C F
D G
E F

改變參數(shù)分隔符

GNU Parallel可以指定分隔符替代 ::: 或 ::::，當(dāng)這兩個(gè)符號(hào)被其它命令占用的時(shí)候會(huì)特別有用：

parallel --arg-sep ,, echo ,, A B C :::: def-file

輸出：

A D
A E
A F
B D
B E
B F
C D
C E
C F

改變參數(shù)分隔符：

parallel --arg-file-sep // echo ::: A B C // def-file

輸出同上。

改變參數(shù)定界符

GNU Parallel默認(rèn)把一行做為一個(gè)參數(shù)：使用 \n 做為參數(shù)定界符?？梢允褂?-d 改變：

parallel -d _ echo :::: abc_-file

輸出：

A
B
C

\0 代表NULL：

parallel -d '\0' echo :::: abc0-file

輸出同上。

-0 是 -d ‘\0’ 的簡(jiǎn)寫（通常用于從 find … -print0讀取輸入）：

parallel -0 echo :::: abc0-file

輸出同上。

輸入源中的結(jié)束值

GNU Parallel支持指定一個(gè)值做為結(jié)束標(biāo)志：

parallel -E stop echo ::: A B stop C D

輸出：

A
B

跳過(guò)空行

使用 –no-run-if-empty 來(lái)跳過(guò)空行：

(echo 1; echo; echo 2) | parallel --no-run-if-empty echo

輸出：

1
2

構(gòu)建命令行

沒有指定命令意味著參數(shù)就是命令

如果parallel之后沒有給定命令，那么這些參數(shù)會(huì)被當(dāng)做命令：

parallel ::: ls 'echo foo' pwd

輸出：

[當(dāng)前文件列表]
foo
[當(dāng)前工作目錄的路徑]

命令可以是一個(gè)腳本文件，一個(gè)二進(jìn)制可執(zhí)行文件或一個(gè)bash的函數(shù)（須用 export -f 導(dǎo)出函數(shù)）：

# Only works in Bash and only if $SHELL=.../bash
my_func() {
 echo in my_func $1
}
export -f my_func
parallel my_func ::: 1 2 3

輸出：

in my_func 1
in my_func 2
in my_func 3

替換字符串

5種替換字符串

GNU Parallel支持多種替換字符串。默認(rèn)使用 {}：

parallel echo ::: A/B.C

輸出：

A/B.C

指定 {} ：

parallel echo {} ::: A/B.C

輸出同上

去掉擴(kuò)展名 {.}：

parallel echo {.} ::: A/B.C

輸出

A/B

去掉路徑 {/}：

parallel echo {/} ::: A/B.C

輸出：

B.C

只保留路徑 {//}：

parallel echo {//} ::: A/B.C

輸出：

A

去掉路徑和擴(kuò)展名 {/.}：

parallel echo {/.} ::: A/B.C

輸出：

B

輸出任務(wù)編號(hào)：

parallel echo {#} ::: A/B.C

輸出：

1
2
3

改變替換字符串

使用 -I 改變替換字符串符號(hào) {}：

parallel -I ,, echo ,, ::: A/B.C

輸出：

A/B.C

–extensionreplace替換 {.}：

parallel --extensionreplace ,, echo ,, ::: A/B.C

輸出：

A/B

–basenamereplace替換 {/}：

parallel --basenamereplace ,, echo ,, ::: A/B.C

輸出：

B.C

–dirnamereplace替換 {//}：

parallel --dirnamereplace ,, echo ,, ::: A/B.C

輸出：

A

–basenameextensionreplace替換 {/.}：

parallel --basenameextensionreplace ,, echo ,, ::: A/B.C

輸出：

B

–seqreplace替換 {#}：

parallel --seqreplace ,, echo ,, ::: A B C

輸出：

1
2
3

指定位置替換字符串

如果有多個(gè)輸入源時(shí)，可以通過(guò) {編號(hào)} 指定某一個(gè)輸入源的參數(shù)：

parallel echo {1} and {2} ::: A B ::: C D

輸出：

A and C
A and D
B and C
B and D

可以使用 / // /. 和 .: 改變指定替換字符串：

parallel echo /={1/} //={1//} /.={1/.} .={1.} ::: A/B.C D/E.F

輸出：

/=B.C //=A /.=B .=A/B
/=E.F //=D /.=E .=D/E

位置可以是負(fù)數(shù)，表示倒著數(shù)：

parallel echo 1={1} 2={2} 3={3} -1={-1} -2={-2} -3={-3} ::: A B ::: C D ::: E F

輸出：

1=A 2=C 3=E -1=E -2=C -3=A
1=A 2=C 3=F -1=F -2=C -3=A
1=A 2=D 3=E -1=E -2=D -3=A
1=A 2=D 3=F -1=F -2=D -3=A
1=B 2=C 3=E -1=E -2=C -3=B
1=B 2=C 3=F -1=F -2=C -3=B
1=B 2=D 3=E -1=E -2=D -3=B
1=B 2=D 3=F -1=F -2=D -3=B

按列輸入

使用 –colsep 把文件中的行切分為列，做為輸入?yún)?shù)。下面使用TAB（\t）：

1=f1 2=f2
1=A 2=B
1=C 2=D

指定參數(shù)名

使用 –header 把每一行輸入中的第一個(gè)值做為參數(shù)名：

parallel --header : echo f1={f1} f2={f2} ::: f1 A B ::: f2 C D

輸出：

f1=A f2=C
f1=A f2=D
f1=B f2=C
f1=B f2=D

使用 –colsep 處理使用TAB做為分隔符的文件：

parallel --header : --colsep '\t' echo f1={f1} f2={f2} :::: tsv-file.tsv

輸出：

f1=A f2=B
f1=C f2=D

多參數(shù)

–xargs 讓GNU Parallel支持一行多個(gè)參數(shù)（可以指定上限）：

cat num30000 | parallel --xargs echo | wc -l

輸出：

2

30000個(gè)參數(shù)被分為兩行。

一行中的參數(shù)個(gè)數(shù)的上限通過(guò) -s 指定。下面指定最大長(zhǎng)度是10000，會(huì)被分為17行：

cat num30000 | parallel --xargs -s 10000 echo | wc -l

為了獲得更好的并發(fā)性，GNU Parallel會(huì)在文件讀取結(jié)束后再分發(fā)參數(shù)。

GNU Parallel 在讀取完最后一個(gè)參數(shù)之后，才開始第二個(gè)任務(wù)，此時(shí)會(huì)把所有的參數(shù)平均分配到4個(gè)任務(wù)（如果指定了4個(gè)任務(wù)）。

第一個(gè)任務(wù)與上面使用 –xargs 的例子一樣，但是第二個(gè)任務(wù)會(huì)被平均的分成4個(gè)任務(wù)，最終一共5個(gè)任務(wù)。

cat num30000 | parallel --jobs 4 -m echo | wc -l

輸出：

5

10分參數(shù)分配到4個(gè)任務(wù)可以看得更清晰：

parallel --jobs 4 -m echo ::: {1..10}

輸出：

1 2 3
4 5 6
7 8 9
10

替換字符串可以是單詞的一部分。通過(guò)下面兩個(gè)命令體會(huì) -m 和 -X 的區(qū)別：

parallel --jobs 4 -m echo pre-{}-post ::: A B C D E F G

輸出：

pre-A B-post
pre-C D-post
pre-E F-post
pre-G-post

-X與 -m 相反：

parallel --jobs 4 -X echo pre-{}-post ::: A B C D E F G

輸出：

pre-A-post pre-B-post
pre-C-post pre-D-post
pre-E-post pre-F-post
pre-G-post

使用 -N 限制每行參數(shù)的個(gè)數(shù)：

parallel -N3 echo ::: A B C D E F G H

輸出：

A B C
D E F
G H

-N也可以用于指定位置替換字符串：

parallel -N3 echo 1={1} 2={2} 3={3} ::: A B C D E F G H

輸出：

1=A 2=B 3=C
1=D 2=E 3=F
1=G 2=H 3=

-N0 只讀取一個(gè)參數(shù)，但不附加：

parallel -N0 echo foo ::: 1 2 3

輸出：

foo
foo
foo

引用

如果命令行中包含特殊字符，就需要使用引號(hào)保護(hù)起來(lái)。

perl腳本 ‘print “@ARGV\n”’ 與linux的 echo 的功能一樣。

perl -e 'print "@ARGV\n"' A

輸出：

A

使用GNU Parallel運(yùn)行這條命令的時(shí)候，perl命令需要用引號(hào)包起來(lái)：

parallel perl -e 'print "@ARGV\n"' ::: This wont work

輸出：

[Nothing]

使用 -q 保護(hù)perl命令：

parallel -q perl -e 'print "@ARGV\n"' ::: This works

輸出：

This
works

也可以使用 ‘ ：

parallel perl -e \''print "@ARGV\n"'\' ::: This works, too

輸出：

This
works,
too

使用 -quote：

parallel --shellquote
parallel: Warning: Input is read from the terminal. Only experts do this on purpose. Press CTRL-D to exit.
perl -e 'print "@ARGV\n"'
[CTRL-D]

輸出：

perl\ -e\ \’print\ \”@ARGV\\n\”\’

也可以使用命令：

parallel perl\ -e\ \'print\ \"@ARGV\\n\"\' ::: This also works

輸出：

This
also
works

去除空格

使用 –trim 去除參數(shù)兩頭的空格：

parallel --trim r echo pre-{}-post ::: ' A '

輸出：

pre- A-post

刪除左邊的空格：

parallel --trim l echo pre-{}-post ::: ' A '

輸出：

pre-A -post

刪除兩邊的空格：

parallel --trim lr echo pre-{}-post ::: ' A '

輸出：

pre-A-post

控制輸出

以參數(shù)做為輸出前綴：

parallel --tag echo foo-{} ::: A B C

輸出：

A?????? foo-A
B?????? foo-B
C?????? foo-C

修改輸出前綴 –tagstring：

parallel --tagstring {}-bar echo foo-{} ::: A B C

輸出：

?A-bar?????? foo-A





猜你還會(huì)喜歡下面的內(nèi)容

• 必須要寫江蘇手機(jī)號(hào)碼嗎-備案平臺(tái)
• 根據(jù)您的回答我看了一下還是現(xiàn)在訪問(wèn)事無(wú)法訪問(wèn)
• 請(qǐng)看下客戶上傳的電子材料是否合格
• 負(fù)責(zé)人這邊已經(jīng)收到短信并且核驗(yàn)了
• 這個(gè)網(wǎng)站后臺(tái)生成靜態(tài)網(wǎng)頁(yè)的時(shí)候
• 域名有關(guān)侵權(quán)部分已刪除-域名及賬戶問(wèn)題
• 請(qǐng)問(wèn)我們業(yè)務(wù)備案碼是多少
• 在郵箱主頁(yè)面看到說(shuō)有封攔截郵件
• 云南建設(shè)工程云南建設(shè)工程域名注銷
• 狀態(tài)正在連接錯(cuò)誤無(wú)法連接到錯(cuò)誤連接失敗狀態(tài)正在等待重試還將重
• 打不開網(wǎng)站輸入無(wú)法訪問(wèn)也無(wú)法訪問(wèn)
• 備案成功了綁定域名和解析成功了
• 請(qǐng)問(wèn)不同的主體網(wǎng)站負(fù)責(zé)人可以是同一個(gè)人嗎
• 小程序收到訂單后有沒有辦法設(shè)置提醒
• 對(duì)方郵箱對(duì)方郵箱發(fā)過(guò)來(lái)-企業(yè)郵局
• 已經(jīng)接入麻煩看看提示這個(gè)怎么解決

熱門標(biāo)簽

其他問(wèn)題云服務(wù)器問(wèn)題域名及賬戶問(wèn)題企業(yè)郵局市場(chǎng)咨詢云服務(wù)器云建站/云站群/小程序虛擬主機(jī)網(wǎng)絡(luò)知識(shí)企業(yè)郵箱域名注冊(cè)域名備案域名商標(biāo)注冊(cè)云主機(jī)更多標(biāo)簽...

大家感興趣的內(nèi)容