Объединение файлов на основе уникальных заголовков в их первом столбце

Предполагая, что ваши данные находятся в файлах с именами file1 и file2:

$ awk 'FNR==NR {a[$1]=$2; b[$1]=0; next} {a[$1]+=0; b[$1]=$2} END{for (x in b) {printf "%-15s%3s%3s\n",x,a[x],b[x]}}' file1 file2
KJV      0  2
WEGWET  12  0
KET     45 14
AGS      3  5
FEW     56  3

Чтобы понять вышеизложенное, мы должны понять awk трюк. В awk NR — это количество записей (строк), которые были обработаны, а FNR — это количество записей, которые мы обработали в текущем файле. Следовательно, условие FNR==NR выполняется только при обработке в первом файле. В этом случае ассоциативный массив a получает все значения из первого файла, а ассоциативный массив b получает заполнители, т. е. нулевые значения. Когда мы обрабатываем второй файл, его значения попадают в массив b, и мы удостоверяемся, что массив a имеет по крайней мере нулевое значение заполнителя. Когда мы закончим со вторым файлом, данные будут напечатаны.

Более двух файлов с использованием GNU Awk

Я создал файл3:

$ cat file3
AGS    3
KET    45
WEGWET    12
FEW    56
AGS 17
ABC 100

Программа awk, расширенная для работы с любым количеством файлов:

$ awk 'FNR==1 {n+=1} {a[$1][n]=$2} END{for (x in a) {printf "%-15s",x; for (i=1;i<=n;i++) {printf "%5s",a[x][i]};print ""}}' file1 file2 file3
KJV             2     
ABC                100
WEGWET    12        12
KET       45   14   45
AGS        3    5   17
FEW       56    3   56

Этот код работает, создает счетчик файлов. Мы знаем, что находимся в новом файле каждый раз, когда FNR равно 1, а счетчик n увеличивается. Для каждой строки, с которой мы сталкиваемся, мы помещаем данные в двумерный массив. Первое измерение a — это метка, а второе — номер файла, в котором мы с ним столкнулись. В конце мы просто перебираем все метки и все файлы, от 1 до n, и печатаем данные.

Более 2 файлов без GNU Awk

Не требуя GNU awk, мы можем решить проблему, используя смоделированные двумерные массивы:

$ awk 'FNR==1 {n+=1} {b[$1]=1; a[$1,":",n]=$2} END{for (x in b) {printf "%-15s",x; for (i=1;i<=n;i++) {q=a[x,":",i]+0; printf "%5s",q};print ""}}' file1 file2 file3
KJV                0    2    0
ABC                0    0  100
WEGWET            12    0   12
KET               45   14   45
AGS                3    5   17
FEW               56    3   56

Вот один из способов использования awk:

awk '
NR==FNR {a[$1]=$0;next}
{
    print (($1 in a)?a[$1] FS $2: $1 FS "0" FS $2)
    delete a[$1]
}
END{
    for (x in a) print a[x],"0"
}' file1 file2 | column -t
AGS     3   5
KET     45  14
KJV     0   2
FEW     56  3
WEGWET  12  0

• Вы читаете файл1 в массиве, проиндексированном в столбце 1, и назначаете всю строку в качестве значения
• Для файла2 проверьте, присутствует ли столбец 1 в нашем массиве. Если это напечатать значение из файла1 вместе со значением из файла2. Если его нет, выведите 0 как значение для файла1.
• Удалите элемент массива по мере продвижения, чтобы получить только то, что было уникальным в файле1.
• В блоке END выведите то, что было уникальным в файле1, и выведите 0 для файла2.
• Направьте вывод на column -t для красивого формата.