У меня есть список файлов:
catfish.fa
polar.fa
catfish.ids.txt
polar.ids.txt
Я хочу запустить эту команду для каждого файла с соответствующей строкой символов. Так, например, я хотел бы запустить это:
cat catfish.fa | seqkit grep -f catfish.ids.txt > catfish.output.fa
Сходным образом...
cat polar.fa | seqkit grep -f polar.ids.txt > polar.output.fa
Как я могу запустить эту команду для каждой пары файлов в каталоге и параллельно? Спасибо за вашу помощь!
Это будет запускать одно задание на ядро ЦП параллельно:
parallel 'cat {} | seqkit grep -f {.}.ids.txt > {.}.output.fa' ::: *fa
Могу я предложить вам сначала запустить --dry-run, чтобы вы могли видеть, что будет запущено?
parallel --dry-run 'cat {} | seqkit grep -f {.}.ids.txt > {.}.output.fa' ::: *fa
Также рассмотрите возможность потратить 20 минут на чтение глав 1+2 книги GNU Parallel 2018 (распечатать: http://www.lulu.com/shop/ole-tange/gnu-parallel-2018/paperback/product-23558902.html онлайн: https://doi.org/10.5281/zenodo.1146014). Ваша командная строка будет любить вас за это.
#!/bin/bash
for f in *.fa
do
filename="${f%.*}"
if [ -e ${f}.ids.txt ]
then
cat ${f}.fa | seqkit grep -f ${f}.ids.txt >${f}.output.fa
fi
done
filename="${f%.*}" извлекает имя файла без расширения, см. объяснение здесь. Целью if является выделение только файлов, оканчивающихся на .fa, которым соответствует файл .ids.txt. Если вы хотите, чтобы все выполнялось параллельно для каждой пары, добавьте & в конец файла cat ${f}.fa .... (Остерегайтесь генерировать слишком много параллельных задач!)
С помощью расширения параметров в bash:
for file in *.fa; do seqkit grep -f "${file%%.*}.id.txt" >"${file%%.*}.output.fa" <"$file" & done
