Быстрая альтернатива grep -f

Если вам нужен вариант с чистым Perl, считайте ключи файла запроса в хэш-таблицу, а затем проверьте стандартный ввод по этим ключам:

#!/usr/bin/env perl
use strict;
use warnings;

# build hash table of keys
my $keyring;
open KEYS, "< file.contain.query.txt";
while (<KEYS>) {
    chomp $_;
    $keyring->{$_} = 1;
}
close KEYS;

# look up key from each line of standard input
while (<STDIN>) {
    chomp $_;
    my ($key, $value) = split("\t", $_); # assuming search file is tab-delimited; replace delimiter as needed
    if (defined $keyring->{$key}) { print "$_\n"; }
}

Вы бы использовали его так:

lookup.pl < file.to.search.txt

Хеш-таблица может занимать довольно много памяти, но поиск выполняется намного быстрее (поиск в хэш-таблице осуществляется за постоянное время), что удобно, поскольку у вас в 10 раз больше ключей для поиска, чем для хранения.

Если у вас фиксированные строки, используйте grep -F -f. Это значительно быстрее, чем поиск по регулярным выражениям.

Этот код Perl может помочь вам:

use strict;
open my $file1, "<", "file.contain.query.txt" or die $!;
open my $file2, "<", "file.to.search.in.txt" or die $!;

my %KEYS = ();
# Hash %KEYS marks the filtered keys by "file.contain.query.txt" file

while(my $line=<$file1>) {
    chomp $line;
    $KEYS{$line} = 1;
}

while(my $line=<$file2>) {
    if( $line =~ /(\w+)\s+(\d+)/ ) {
        print "$1 $2\n" if $KEYS{$1};
    }
}

close $file1;
close $file2;

Если файлы уже отсортированы:

join file1 file2

если не:

join <(sort file1) <(sort file2)

Если вы используете Perl версии 5.10 или новее, вы можете объединить термины «запроса» в регулярное выражение, разделив термины запроса «вертикальной чертой». (Например: ENST001|ENST002|ENST003) Perl строит «дерево», которое, подобно хэшу, выполняет поиск за постоянное время. Он должен работать так же быстро, как и решение с использованием хэша поиска. Просто чтобы показать другой способ сделать это.

#!/usr/bin/perl
use strict;
use warnings;
use Inline::Files;

my $query = join "|", map {chomp; $_} <QUERY>;

while (<RAW>) {
    print if /^(?:$query)\s/;
}

__QUERY__
ENST001
ENST002
ENST003
__RAW__
ENST001  90
ENST002  80
ENST004  50

MySQL:

Импорт данных в Mysql или аналогичный обеспечит огромное улучшение. Будет ли это осуществимо? Результат можно было увидеть через несколько секунд.

mysql -e 'select search.* from search join contains using (keyword)' > outfile.txt 

# but first you need to create the tables like this (only once off)

create table contains (
   keyword   varchar(255)
   , primary key (keyword)
);

create table search (
   keyword varchar(255)
   ,num bigint
   ,key (keyword)
);

# and load the data in:

load data infile 'file.contain.query.txt' 
    into table contains fields terminated by "add column separator here";
load data infile 'file.to.search.in.txt' 
    into table search fields terminated by "add column separator here";

Это может быть немного устаревшим, но оно создано специально для простых утилит UNIX. Дано:

• ключи фиксированной длины (здесь 7 символов)
• файлы сортируются (верно в примере), что позволяет использовать быструю сортировку слиянием

Потом:

$ sort -m file.contain.query.txt file.to.search.in.txt | tac | uniq -d -w7

ENST002  80

ENST001  90

Варианты:

Чтобы удалить номер, напечатанный после ключа, удалите команду tac:

$ sort -m file.contain.query.txt file.to.search.in.txt | uniq -d -w7

Чтобы сохранить порядок сортировки, добавьте в конце дополнительную команду tac:

$ sort -m file.contain.query.txt file.to.search.in.txt | tac | uniq -d -w7 | tac