Nano Hash - криптовалюты, майнинг, программирование

Очень медленный скрипт

У меня проблема. Мне нужно написать сценарий bash, который найдет все файлы и каталоги по заданному пути и отобразит некоторую информацию о результатах. Допустимое время: 30 секунд.

#!/bin/bash

DIRS=0
FILES=0
OLD_FILES=0
LARGE_FILES=0
TMP_FILES=0
EXE_FILES=0
IMG_FILES=0
SYM_LINKS=0
TOTAL_BYTES=0

#YEAR_AGO=$(date -d "now - 1 year" +%s)
#SECONDS_IN_YEAR=31536000

function check_dir {
    for entry in "$1"/*
    do
        if [ -d "$entry" ]; then
            ((DIRS+=1))
            check_dir "$entry"
        else if [ -f "$entry" ]; then
                ((FILES+=1))
                #SIZE=$(stat -c%s "$entry")
                #((TOTAL_BYTES+=SIZE))
                #CREATE_DATE=$(date -r "$entry" +%s)
                #CREATE_DATE=$(stat -c%W "$entry")
                #DIFF=$((CREATE_DATE-YEAR_AGO))
                #if [ $DIFF -ge $SECONDS_IN_YEAR ]; then
                #   ((OLD_FILES+=1))
                #fi
             fi

        fi
    done
}

if [ $# -ne 2 ]; then
    echo "Usage: ./srpt path emailaddress"
    exit 1
fi

if [ ! -d $1 ]; then
    echo "Provided path is invalid"
    exit 1
fi

check_dir $1

echo "Execution time $SECONDS"
echo "Dicrecoties $DIRS"
echo "Files $FILES"
echo "Sym links $SYM_LINKS"
echo "Old files $OLD_FILES"
echo "Large files $LARGE_FILES"
echo "Graphics files $IMG_FILES"
echo "Temporary files $TMP_FILES"
echo "Executable files $EXE_FILES"
echo "Total file size $TOTAL_BYTES"

Вот результат выполнения с комментариями выше:

Execution time 1
Dicrecoties 931
Files 14515
Sym links 0
Old files 0
Large files 0
Graphics files 0
Temporary files 0
Executable files 0
Total file size 0

Если я удалю комментарий из

SIZE=$(stat -c%s "$entry")
((TOTAL_BYTES+=SIZE))

Я получил:

Execution time 31
Dicrecoties 931
Files 14515
Sym links 0
Old files 0
Large files 0
Graphics files 0
Temporary files 0
Executable files 0
Total file size 447297022

31 секунда. Как я могу ускорить свой скрипт? Еще +30 секунд дает поиск файлов с датой создания больше года.


  • Это нарушается с самого начала, если в имени каталога или имени файла есть пробел или другие забавные символы. 24.06.2013
  • Я уже решил эту проблему, добавив перед и после всех переменных с путем. Или я что-то пропустил? 24.06.2013
  • Вы упустили одну важную вещь: вы анализируете вывод find! 24.06.2013
  • А что не так с выводом find? 24.06.2013
  • Если у вас есть файл с именем a b, и если вы проанализируете вывод find с помощью for i in $(find ...); do, то i примет значения a и b, а не значение a b. 24.06.2013
  • Предположим, что все файлы имеют правильные имена. Как я могу ускорить свой скрипт? 24.06.2013
  • Нет, не думайте так, это ужасная практика! Я никогда не позволю тебе сделать это! 24.06.2013
  • Немного лучше, но у вас нет ни скрытых файлов, ни поддиректорий! 24.06.2013
  • вам лучше использовать find "$1" | while read entry; do [...] done вместо for entry in $(find "$1"). И даже в этом случае нет ничего запрещающего использовать символ новой строки в имени файла — он будет неправильно проанализирован. 24.06.2013
  • Я добавил рекурсивный вызов 24.06.2013

Ответы:


1

Чаще всего использование циклов в оболочках указывает на то, что вы выбрали неправильный подход.

Оболочка — это, прежде всего, инструмент для запуска других инструментов.

Хотя он и умеет считать, awk для этого лучше подходит.

Хотя он может просматривать и находить файлы, find справляется с этим лучше.

Лучшие сценарии оболочки — это те, в которых несколько инструментов участвуют в решении задачи, а не те, которые последовательно запускают миллионы инструментов и где вся работа выполняется оболочкой.

Здесь, как правило, лучшим подходом было бы find найти файлы и собрать все необходимые данные, а awk проглотить их и вернуть статистику. Здесь используются GNU find и GNU awk (для RS='\0') и GNU date (для -d):

find . -printf '%y.%s.%Ts%p\0' |
  awk -v RS='\0' -F'[.]' -v yearago="$(date -d '1 year ago' +%s)" '
    {
      type[$1]++; 
      if ($1 == "f") {
        total_size+=$2
        if ($3 < yearago) old++
        if (!index($NF, "/")) ext[tolower($NF)]++
      }
    }
    END {
      printf("%20s: %d\n", "Directories", type["d"])
      printf("%20s: %d\n", "Total size", total_size)
      printf("%20s: %d\n", "old", old)
      printf("%20s: %d\n", "jpeg", ext["jpg"]+ext["jpeg"])
      printf("%20s: %d\n", "and so on...", 0)
    }'
23.06.2013

2

Главное не запускать слишком много утилит. Кажется, вы вызываете два или три на файл, что будет довольно медленно.

Кроме того, комментарии показывают, что обработка имен файлов в целом сложна, особенно если в именах файлов могут быть пробелы и/или символы новой строки. Но на самом деле вам не нужны имена файлов, если я правильно понимаю вашу проблему, поскольку вы используете их только для сбора информации.

Если вы используете gnu find, вы можете извлечь статистическую информацию непосредственно из find, что будет намного эффективнее, поскольку find в любом случае нужно выполнять stat() для каждого файла. Вот пример, который для простоты передает из find в awk:

summary() {
  find "$@" '(' -type f -o -type d ')' -printf '%y %s %C@\n' |
  awk '$1=="d"{DIR+=1;next}
       $1!="f"{next}
       {REG+=1;SIZE+=$2}
       $3<'$(date +%s -d"last year")'{OLD+=1}
       END{printf "Directories: %d\nFiles: %d\nOld files: %d\nTotal Size: %d\n",
                  DIR, REG, OLD, SIZE}'
}

На моей машине это суммировало 28718 файлов в 4817 каталогах за одну десятую секунды. YMMV.

23.06.2013
  • +1. Обратите внимание, что %A если для времени доступа к файлу. Однако Графические файлы в вопросе ОП предполагают, что ему может понадобиться имя файла в конце. 24.06.2013
  • @StephaneChazelas: Ой. Изменено на С. 24.06.2013

  • 3

    Вы наверняка хотите избежать синтаксического анализа вывода find, как вы это сделали (см. мой комментарий): он сломается всякий раз, когда у вас есть пробелы в именах файлов.

    Вы, конечно, хотите избежать разветвления на внешние процессы, такие как ваши операторы $(stat ...) или $(date ...): каждое разветвление стоит дорого!

    Оказывается, find сам по себе может многое. Например, если мы хотим подсчитать количество файлов, каталогов и ссылок.

    Мы все знаем наивный способ bash (в значительной степени что ты наделал):

    #!/bin/bash
    
    shopt -s globstar
    shopt -s nullglob
    shopt -s dotglob
    nbfiles=0
    nbdirs=0
    for f in ./**; do
        [[ -f $f ]] && ((++nbfiles))
        [[ -d $f ]] && ((++nbdirs))
    done
    echo "There are $nbdirs directories and $nbfiles files, and we're very happy."
    

    Осторожно. Этот метод считает ссылки в соответствии с тем, на что они ссылаются: ссылка на файл будет считаться файлом.

    Как насчет пути find? Подсчитайте количество файлов, каталогов и (символических) ссылок:

    #!/bin/bash
    
    nbfiles=0
    nbdirs=0
    nblinks=0
    while read t n; do
        case $t in
        dirs) ((nbdirs+=n+1)) ;;
        files) ((nbfiles+=n+1)) ;;
        links) ((nblinks+=n+1)) ;;
        esac
    done < <(
        find . -type d -exec bash -c 'echo "dirs $#"' {} + \
             -or -type f -exec bash -c 'echo "files $#"' {} + \
             -or -type l -exec bash -c 'echo "links $#"' {} + 2> /dev/null
    )
    echo "There are $nbfiles files, $nbdirs dirs and $nblinks links. You're happy to know aren't you?"
    

    Те же принципы, использование ассоциативных массивов, больше полей и более сложная find логика:

    #!/bin/bash
    
    declare -A fields
    
    while read f n; do
        ((fields[$f]+=n))
    done < <(
        find . -type d -exec bash -c 'echo "dirs $(($#+1))"' {} + \
            -or -type f -exec bash -c 'echo "files $(($#+1))"' {} + -printf 'size %s\n' \
                \( \
                    \( -iname '*.jpg' -printf 'jpg 1\n' -printf 'jpg_size %s\n' \) \
                    -or -size +100M -printf 'large 1\n' \
                \) \
            -or -type l -exec bash -c 'echo "links $(($#+1))"' {} + 2> /dev/null
    )
    
    for f in "${!fields[@]}"; do
        printf "%s: %s\n" "$f" "${fields[$f]}"
    done
    

    Я надеюсь, что это даст вам некоторые идеи! Удачи!

    23.06.2013
    Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..