Conversation

Notices

admin太郎 (admin@eyes4you.org)'s status on Sunday, 09-Feb-2025 20:50:04 JST admin太郎

xargsでお手軽並列処理 - https://soulminingrig.com/posts/easy-parallel-processing-with-xargs/
In conversation about a month ago from eyes4you.org permalink
Attachments
1. Untitled attachment
- いいがう (froggie3@akkoma.yokkin.com)'s status on Sunday, 09-Feb-2025 21:47:44 JST いいがう
  in reply to
  
  @admin Use caseのやつ、確かに2プロセスずつの実行にはなってると思うけど、xargsがハンドルするコマンドが可変長引数に対応してるなら、別解があるよ
  POSIXで標準化されてる-Lオプションというのがあるんだけど、一度に渡したい引数の数を指定できるのでこれを使ってもいいと思う（デフォルトでは1つだけ）
  ~ $ seq 3 | xargs -I@ -P2 echo yt-dlp
  yt-dlp 1
  yt-dlp 2
  yt-dlp 3
  ~ $ seq 3 | xargs -L2 -P2 echo yt-dlp
  yt-dlp 1 2
  yt-dlp 3
  
  あとUse case 2の例だけど、大抵の場合grepへ一気に渡しちゃったほうがパフォーマンスが出るよ
  引数が大量になっても限界を超えないように内部的に分けて実行してくれるらしい
  だから
  find . -name "testfile" | xargs -I {} grep "return 0" {}
  も
  find . -name "testfile" | xargs grep "return 0"
  の方が早いと思う
  
  In conversation about a month ago permalink
- admin太郎 (admin@eyes4you.org)'s status on Sunday, 09-Feb-2025 21:47:44 JST admin太郎
  in reply to
  - いいがう
  @froggie3 なんと！というかLオプションそういう意味だったのか
  可変引数可能なのは割とコマンドによって変化するからここも適宜なところやな
  Thanks☆
  
  In conversation about a month ago permalink
- いいがう (froggie3@akkoma.yokkin.com)'s status on Sunday, 09-Feb-2025 22:42:17 JST いいがう
  in reply to
  
  @admin
  あと蛇足かもしれんけど、-Lオプションと似てる-n オプションっていうのもあって、こっちは引数の組を渡すときとかに便利やで
  ~ $ seq 27 | xargs -L3 | xargs -L3 echo yt-dlp
  yt-dlp 1 2 3 4 5 6 7 8 9
  yt-dlp 10 11 12 13 14 15 16 17 18
  yt-dlp 19 20 21 22 23 24 25 26 27
  ~ $ seq 27 | xargs -L3 | xargs -n3 echo yt-dlp
  yt-dlp 1 2 3
  yt-dlp 4 5 6
  yt-dlp 7 8 9
  yt-dlp 10 11 12
  yt-dlp 13 14 15
  ...
  
  In conversation about a month ago permalink
- admin太郎 (admin@eyes4you.org)'s status on Sunday, 09-Feb-2025 22:42:17 JST admin太郎
  in reply to
  - いいがう
  @froggie3 xargsをxargsに渡す高等テクｗ
  nで渡したほうが並列処理のジョブとしての収まりはいいな
  
  In conversation about a month ago permalink
- admin太郎 (admin@eyes4you.org)'s status on Sunday, 09-Feb-2025 22:43:11 JST admin太郎
  in reply to
  - いいがう
  @froggie3 思ったけど、可変引数で並列処理できるコマンドってそんなにあるんだろうか
  普段意識したことなかったわ
  
  In conversation about a month ago permalink
- いいがう (froggie3@akkoma.yokkin.com)'s status on Sunday, 09-Feb-2025 23:00:52 JST いいがう
  in reply to
  
  @admin 多分標準的なUNIXコマンドにはないんじゃないかなあ
  というかプログラム自体で、ビジネスロジックに加えて並列処理をハンドリングしてたら、その時点で既にUNIX哲学に反してる気がするよね
  
  In conversation about a month ago permalink
- admin太郎 (admin@eyes4you.org)'s status on Sunday, 09-Feb-2025 23:00:52 JST admin太郎
  in reply to
  - いいがう
  @froggie3 しょうみ、このxargsの起源まで掘れてないんだよね
  https://en.m.wikipedia.org/wiki/List_of_Plan_9_applications
  ここにはないように、Plan9から生まれたものでもなさそうだしGNUといえばGNU ParallelなのでGNU版のxargsはどこから移植してきたのかなと
  並列性を意識し始めたような気がするのがUNIXという考え方の本には"並列性を意識せよ"とあるように1980年代以降から並列処理の意識の普及が始まったようにも思える
  ある意味分散オペレーティングシステムからすれば、並列処理についても同じ議論がPlan9あたりでも起きてそうだなとは思ったものの
  記事内にUNIXコマンドという記述はしたものの書いたときはちょっと悩んだｗ
  In conversation about a month ago permalink
  Attachments
  1. No result found on File_thumbnail lookup.
    
    List of Plan 9 applications
    
    This is a list of Plan 9 programs. Many of these programs are very similar to the UNIX programs with the same name, others are to be found only on Plan 9. Others again share only the name, but have a different behaviour. System software General user dd – convert and copy a file date – date and time echo – print arguments file – determine file type ns – display namespace plumb – send message to plumber plumber – interprocess messaging rc – rc is the Plan 9 shell rio – the new Plan 9 windowing system 8½ – the old Plan 9 windowing system [1] uptime – show how long the system has been running System management Processes and tasks management time – time a command kill, slay, broke – print commands to kill processes sleep – suspend execution for an interval ps – process status psu – process status information about processes started by a specific...
- いいがう (froggie3@akkoma.yokkin.com)'s status on Monday, 10-Feb-2025 20:28:20 JST いいがう
  in reply to
  
  @admin Wikipedia見ると
  Programmer's Workbenchっていうプログラマー向けのUNIX（実用的なUNIX？）
  に搭載されたツールとしてのxargsが初出っぽい
  https://man.freebsd.org/cgi/man.cgi?xargs
  https://en.m.wikipedia.org/wiki/PWB/UNIX
  
  -Pオプションは普通にGNU拡張だね
  仕様書見ても登場してなかったわ
  https://pubs.opengroup.org/onlinepubs/009604599/utilities/xargs.html
  In conversation about a month ago permalink
  Attachments
  1. No result found on File_thumbnail lookup.
    
    xargs
  2. No result found on File_thumbnail lookup.
    
    PWB
    
    PWB may refer to: Partial Weight-bearing, in which patients are instructed to put only a certain amount of weight on their leg after surgery Printed wiring board Psychological well-being Programmer's Workbench, an early UNIX from Bell Labs, see PWB/UNIX a Text-based user interface, Integrated development environment (IDE) by Microsoft, see History of Visual C++ Phoebe Waller-Bridge, English actress, playwright, producer, and writer.
  3. xargs
- admin太郎 (admin@eyes4you.org)'s status on Monday, 10-Feb-2025 20:28:30 JST admin太郎
  in reply to
  - いいがう
  @froggie3 👀
  さすが！！！！ｗｗｗｗｗｗｗｗｗｗｗｗ
  
  In conversation about a month ago permalink
- admin太郎 (admin@eyes4you.org)'s status on Monday, 10-Feb-2025 20:30:07 JST admin太郎
  in reply to
  - いいがう
  @froggie3 要所でGNU xargsと言われる所以は、Pオプションという強力なものを作ったからなのかな…
  実際他のコマンドもどこからどこまでがGNUのコードなのか気になり始めたらかなり時間かかりそうｗ
  
  In conversation about a month ago permalink

Public

Conversation

Notices

Feeds