GNU Parallel の実行 (2015)

rsync   --
プロトコル 30[rand(62)]  
   --rsync

CD . /$WORKDIR;rsync -rlDzR -essh $SSHLOGIN:./

–rsync-direction=cd …

は の弱いバージョンの寓話に必要ですrsync stop が強化されなくなりました –no-implied-dirs.

)$_EXIT_status トリックは、終了値を延期することです。 これにより、*csh

との互換性がなくなり、いずれ修正される可能性があります。 ‘sh -c’ のラッピングでよろしいでしょうか?

$? ; $RETURN; ssh $SSHLOGIN

(
rm 
  - 
 f
 . 
/$WORKDIR/{} ; rmdir
  . /$WORKDIR  >&/dev
/ヌル 
; ); 出口  $_EXIT_status
;   
 
$_EXIT_status: 意識してください –return 上記.
 
 
 – パイプ
  
perl  –e ‘if(sysread(STDIN, $buf, 1)) {  open($fh, “|-“, “@ARGV”) ||  die;  syswrite($fh, $buf);
 # 128k ブロックまで整列
  if($be teacher=sysread(STDIN, $buf, 131071)) {  sysw 儀式($fh, $buf);
 }
 while($be teacher=sysread(STDIN, $buf, 131072)) {
 syswrite($fh, $buf);
  }
 end $fh;  exit ($?&127 ? 128+($? &127) : 1+$?>>8) 
 }'  $シェル
  -c
 $COMMAND   
 
このラント ラッパーは、$COMMAND
 がなんの情報も無ければ大げさな仕掛けはありません
   --tmux
 
 <3){ print $ARGV[0],"\n" }' $?h/$status ><> mkfifo /tmp/tmx3cMEV && 
sh -c 'tmux -S /tmp/tmsaKpv1 新しいセッション -s p334310 -d "スリープ .2">/dev/null 2>&1';  tmux -S /tmp/tmsaKpv1 new-window -t p334310 -n wc 10 (wc 10); perl -e 'while($t++<3){ print  $ARGV ,"\n" }' $?h/$status >> /tmp/tmx3cMEV&echo wc\ 10; echo Job 完了 at: `date`;sleep 10;  exec perl -e '$/="/";$_=<>;$c=<>;$ARGV のリンクを解除します。  /(d+)h/ and exit($1);exit$c' /tmp/tmx3cMEV
  mkfifo  tmpfile.tmx ;  tmux -S
 新しいセッション -sp
PID -d 'sleep .2'>&/dev/null;  tmux -S
 new-window -tp PID -n <>(<
>); perl -e 'while($t++<3){ print $ARGV ,"\n" }' $?h/$status >> tmpfile.tmx
&エコー <<2037 and print ' |  parallel --colsep 't' --tagstring '{1}t{2}t{3}' tmux -S /tmp/p{%}-'{=3 $_="O"x$_=}'     new-session -d -n '{=1 $_="O"x$_=}' true' {=2 $_="O"x$_=};echo $?;rm -f /tmp/p{%}-O*'perl -e 'sub r { int(rand(shift)).($_[0] && "t".r(@_)) } print map { r(@ARGV)."n" } 1..10000' 17000 17000 90 |  parallel --colsep 't' --tagstring '{1}t{2}t{3}' tmux -S /tmp/p{%}-'{=3 $_="O"x$_=}' new-session -d -n '{=1 $_="O"x$_=}' true' {=2 $_="O"x$_=};echo $?;rm /tmp/p{%}-O*'>>;echo Job finished at: `date `;スリープ 10;  exec perl -e '$/="/";$_=<>;$c=<>;$ARGV のリンクを解除します。  /(d+)h/ and exit($1);exit$c' tmpfile.tmx 
 最初に FIFO が作成されます (.tmx)。 出口価値を語るには成熟している。 次に、新しい tmux セッションが作成されます。 すでにセッションがある場合、これはおそらくさらに失敗する可能性があるため、出力は省略されます。 すべてのジョブ スロットが同時に実行されると、tmux
 によってセッションが終了します。 tmux
 でのハイテール状況を回避するために、非永続的なソケット (.tms) が作成されます。 .  GNU parallel
 が終了するとクリーンアップされます   tmux[
rand(62)] の住居の窓のタイトルなので、入力は成熟しています。 。 ジョブの内部 tmux
 が終了すると、終了値が FIFO (.tmx) に出力されます。 この FIFO は perl
 外部  によって開かれます。 tmux、および perl は、 FIFO を取り除きます。 Perl は必要な値が FIFO から教えられるまでブロックし、この値は終了値として成熟します。 .
   にうまく適合するように維持するにはcsh および bash 終了値$?h/$role として出力され、ここでは perl
. によって解析されます。 終了値を 3 回出力したくなるバグがあります。 tmux
 のもう 1 つのバグ) tmux のタイトルとリカウントの長さが明確な制限を保持しないようにする必要があります。 これらの制限内にある場合、タイトルに 75 '' が追加され、タイトルが強制的に境界外になります
 さらに、次の使用率の下位制限を計画することもできます:
perl -e ‘sub r { int(rand(shift)).($_ [0] && “t”.r(@_)) } 印刷計画 { r(@ARGV).”n” } 1..10000’ 1600 1500 90 |  perl -ane ‘$F[0]+$F[1]+$F[2] <2037 and print ‘ | 並列 –colsep ‘t’ –tagstring ‘{1}t{2}t{3}’ tmux -S /tmp/p{%}-‘{=3 $_=”O”x$_=}’  new-session -d -n ‘{=1 $_=”O”x$_=}’ true’ {=2 $_=”O”x$_=};echo $?;rm -f /tmp/p{%}-O*’ perl -e ‘sub r { int(rand(shift)).($_[0] && “t”.r(@_)) } 出力マップ{ r(@ARGV).”n” } 1..10000’ 17000 17000 90 |  parallel –colsep ‘t’ –tagstring ‘{1}t{2}t{3}’  tmux -S /tmp/p{%}-‘{=3 $_=”O”x$ _=}’ new-session -d -n ‘{=1 $_=”O”x$_=}’ true’ {=2 $_=”O”x$_=};echo $?;rm /tmp/p{%}-O*’> value.csv 2>/dev/null R -e ‘a<-read.table(“value.csv”);X11();plot(a[1] ,a[rand(62)],col=a[rand(62)]+5,cex=0.1);Sys.sleep(1000)’ [rand(62)]
ために  tmux 1.8 17000を2100に下げることができます.
 興味深い領域は、996..1127 および 9331..9636 のタイトル 0..1000 (タイトル + コマンド全体) です。
 ラッピングの順番が重要です:
  $PARALLEL_EN コマンドにはエクスポートされた変数または関数が含まれている可能性があるため、 env_parallel. に設定されている V を最初にコマンドの先頭に追加する必要があります。
 – 良い/ – 猫/–fifo はリモート マシン
 で実行する必要があります。
 –pipepart
/–pipe –tmux
[
rand(62)] 内のローカル マシンで実行する必要があります。
 
  便利なオプション –nice –basefile –transfer –return –cleanup –tmux –group –compress –cat –fifo –workdir –tag –tagstring
 これらはすべて、簡単に実行できる便利なオプションです。仕事。 しかし、もっと重要なことは、コーナー ケースでも動作するようにテストされていることです。 –nice
 を例にとります:
良い  平行  指図
…
  は問題なく動作します。 ただし、リモートで実行する場合は、nice コマンドをサーバー上で実行するように移動する必要があります:
 平行  –S  サーバ
  良い 指図 ...
 
 
 そして、単一のコマンドを実行している限り、これも問題なく動作します。 構成されたコマンドを実行している場合、コマンド全体に適用するには nice が必要であり、さらに難しくなります: 
平行
  -S  サーバ  -
q 素敵です bash –
 c  )’コマンド1 …;  cmd2 |  cmd3′
 不可能ではありませんが、–いいね GNU  )parallel はあなたのために正しいことをします。 ファイルを転送する場合も同様です。ファイル名にスペース、:、`、*、またはその他の特殊文字が含まれていると、転送が難しくなります。 [,1] tmux セッションでコマンドを実行するには、基本的に引用するだけですコマンド。 簡単なコマンドの場合は簡単ですが、コマンドに特殊文字が含まれていると、正しく理解するのが難しくなります.
 –compress
 は、標準出力 (stdout) だけでなく、標準エラー (stderr) も圧縮します。 そして、開いているが削除されているファイルにそうするので、クラッシュがこれらのファイルを残すことはありません.
 –猫と– -fifo は、tmpfile をクリーンアップしてコマンドの終了コードを保持するまで、手動で簡単に実行できます。 本当のキラーは、これらのいくつかを組み合わせようとするときです: すべてのコーナーケースで正しく行うことは、手作業ではほとんど不可能です. 
–シャード[,1]  シャーディングを実装する簡単な方法は次のとおりです:
  1 
  start n仕事、
 2
 各行を列に分割します
 3
  
 該当する列からデータを選択します  
4
 データからハッシュ値を計算する
 )
 
 5
  のモジュロnを取るハッシュ値
 6
 全行をジョブスロットに渡す計算値  残念ながら、Perl はハッシュ値の計算がかなり遅い (そして、列に分割するのもやや遅い)
 One解決策は、分割とハッシュにコンパイル済み言語を使用することですが、それは not d の設計基準に反します。  幸いなことに、これらのタスクは並列化できます。 したがって、GNU parallel
 は、ステップ 2 ～ 6 を実行する n 個のシャーダーを開始し、それぞれに 100k のブロックを渡します。ラウンドロビン方式のもの。 これらのシャーダーが同じ方法でハッシュを計算することを確認するために、$PERL_HASH_SEED はすべてのシャーダーに対して同じ値に設定されます
 n 個のシャーダーを実行すると、新しい問題が発生します。n 個の出力 (計算された値ごとに 1 つ) ではなく、n 個の値ごとに n 個の出力があるため、合計で n*n 個の出力になります。 これらの n*n 個の出力を n 個の出力にマージする必要があります。 「parallel -j0 –lb cat ::: outputs_for_one_value」を実行していますが、ファイルごとにプロセスが生成されるため、かなり非効率的です。 代わりに、「parcat」のコア コードが実行されます。これも少し高速です。
 すべてのシャーダーそして、parcat は、開くとすぐにリンクが解除される名前付きパイプを介して通信します
  砲弾ショック
bash のシェルショックバグは GNU には影響しませんでした 並列ですが、解決策はそうでした。 bash は、最初に次の名前の変数に関数を導入しました:
BASH_FUNC_myfunc() 以降は
 に変更BASH_FUNC_myfunc%% 。 関数を転送するとき、GNU parallel
 は関数を読み取り、それを関数定義に変更します。実際のコマンドが実行される前に実行されます。 したがって、GNU parallel
 は関数の読み方を知る必要があります。 バージョン 20150122 以降 GNU parallel () バージョンと %% バージョンの両方を試し、関数定義は bash. 
リモート システム ラッパー 
リモート システム ラッパーは、リモート システムでコマンドを開始する前に、いくつかの初期化を行います。
 [,1]
 すべてを16進数でエンコードすることで引用符を不要にする  実行すると ssh server foo の場合、foo
 は 1 回引用する必要があります。
ssh )
サーバー[,1]
 “echo foo; エコーバー” 実行すると ssh server1 ssh server2 foo 次に foo[rand(62)]  は 2 回引用する必要があります:
  
ssh server1 ssh server2 ‘”echo foo; エコーバー”‘   GNU parallel は、すべてを 16 進値にパックし、引用符を必要としないコマンドを実行することでこれを回避します: 
  perl –バツ  -へ
 GNU_Parallel_wor カー
,
 eval
 +パック+q/H10000000/ ,加入 +q//,@ARGV
   このコマンドは、コマンド ラインから 16 進数を読み取り、それをバイトに変換し、Perl 式として評価します。[,1] 文字列 GNU_Parallel_worker[0]  は必要ありません。 これは単に、このプロセスが GNU parallel
 で動作していることをユーザーに知らせるためのものです。
 Ctrl-C と標準エラー (stderr)   ユーザーが Ctrl-C を押すと、ユーザーはジョブが停止することを期待しています。 ジョブがローカルで実行されている場合、これはそのまま使用できます。 残念ながら、ジョブがリモートで実行される場合は、それほど単純ではありません。 リモート ジョブが tty で実行される場合ssh -tt
 を使用すると、Ctrl-C は機能しますが、標準エラー (stderr) へのすべての出力は標準出力 (stdout) に送信されます。 これはユーザーが期待するものではありません。
 リモート ジョブが  を使用して tty なしで実行される場合ssh
 (-tt[,1]なし) )、標準エラー (stderr) への出力は stderr に保持されますが、Ctrl-C はリモート ジョブを強制終了しません。 これはユーザーが期待するものではありません。 したがって、必要なのは両方を持つ方法です。  Ctrl-C がリモート ジョブを強制終了しない理由は、シェルが sshd[rand(62)] からのハングアップ シグナルを伝達しないためと思われます。 。 しかし、sshd
 が死ぬと、ログインシェルの親は init (プロセス ID 1)。 したがって、Perl wra を実行することによって  pper で親 pid を監視し、親 pid が 1 になると子を kill し、Ctrl-C が機能して stderr が stderr に保持されます
 ただし、Ctrl-C は ssh 接続を強制終了するため、リモートの死にかけているプロセスからの出力はすべて失われます.
すべての (グランド)子プロセスを強制終了できるようにするために、新しいプロセス グループが開始されます。
–良い

良いリモート処理は setpriority(0,0,$nice) によって行われます。 いくつかの古いシステムはこれを実装しておらず、-nice
 はそれらのシステムではサポートされていません。
$PARALLEL_TMPの設定
 $PARALLEL_TMP
 は –fifo[,1] によって使用されます および –cat
 であり、存在しないファイルを指している必要があります$TMPDIR
 内。 このファイル名は、リモート システムで計算されます
 
ラッパー
 
ラッパーは次のようになります:
$シェル =
$PARALLEL_SHELL
 ||  $SHELL;
 $tmpdir =
 $TMPDIR  ||
  $PARALLEL_REMOTE_TMPDIR ; 
$ナイス
=
 $
opt:: 良い; $termseq
 =
 $ opt::
termseq ;
 # $tmpdir を確認してください書き込み可能です -
ｗ $tmpdir ||
 死ぬ
(“$tmpdir は書き込み可能ではありません。” .
  ” PARALLEL_REMOTE_TMPDIR を設定”); # $PARALLEL_TMP を存在しないファイル名に設定します$TMPDIR する 
 { $ENV{PARALLEL_TMP}
=
 $tmpdir
. “/パー”.
  加入
“” ,
map  {
  (0 ..
  9 
,”あ”
..
“z”
,「あ」
  ..
“Z”)[rand(62)]  }  (1.. 5 );
} 
 その間 (-へ  $ENV
{