tqdm

Использование пакета tqdm, быстрой и универсальной утилиты индикатора выполнения.

pip install tqdm

from tqdm import tqdm

def process(token):
    return token['text']

l1 = [{'text': k} for k in range(5000)]
l2 = [process(token) for token in tqdm(l1)]

100%|███████████████████████████████████| 5000/5000 [00:00<00:00, 2326807.94it/s]

Нет требований

1/ Используйте побочную функцию

def report(index):
    if index % 1000 == 0:
        print(index)

def process(token, index, report=None):
    if report:
        report(index) 
    return token['text']

l1 = [{'text': k} for k in range(5000)]

l2 = [process(token, i, report) for i, token in enumerate(l1)]

2/ Используйте операторы and и or

def process(token):
    return token['text']

l1 = [{'text': k} for k in range(5000)]
l2 = [(i % 1000 == 0 and print(i)) or process(token) for i, token in enumerate(l1)]

3/ Используйте оба

def process(token):
    return token['text']

def report(i):
    i % 1000 == 0 and print(i)

l1 = [{'text': k} for k in range(5000)]
l2 = [report(i) or process(token) for i, token in enumerate(l1)]

Все 3 метода печатают:

0
1000
2000
3000
4000

Как работает 2

• i % 1000 == 0 and print(i): and проверяет только второй оператор, если первый True, поэтому печатает только когда i % 1000 == 0
• or process(token): or always checks both statements, but returns the first one which evals to True.
  • If i % 1000 != 0 then the first statement is False and process(token) is added to the list.
  • В противном случае первый оператор будет None (поскольку print возвращает None), и аналогичным образом оператор or добавляет process(token) в список.

Как работает 3

Аналогично 2, поскольку report(i) ничего не делает return, оно вычисляется до None, а or добавляет process(token) в список.

doc_collection = [[1, 2],
                  [3, 4],
                  [5, 6]]

result = [print(progress) or
          [str(token) for token in document]
          for progress, document in enumerate(doc_collection)]

print(result)  # [['1', '2'], ['3', '4'], ['5', '6']]

Я не считаю этот код хорошим или читаемым, но идея забавная.

Это работает, потому что print всегда возвращает None, поэтому print(progress) or x всегда будет x (по определению or).

def show_progress(it, milestones=1):
    for i, x in enumerate(it):
        yield x
        processed = i + 1
        if processed % milestones == 0:
            print('Processed %s elements' % processed)

Просто примените эту функцию ко всему, что вы повторяете. Неважно, используете ли вы понимание цикла или списка, его легко использовать где угодно практически без изменений кода. Например:

doc_collection = [[1, 2],
                  [3, 4],
                  [5, 6]]

result = [[str(token) for token in document]
          for document in show_progress(doc_collection)]

print(result)  # [['1', '2'], ['3', '4'], ['5', '6']]

Если вы хотите показать прогресс только для каждых 100 документов, напишите:

show_progress(doc_collection, 100) 

Мне нужно сделать ответ @ted (imo) более читабельным и добавить некоторые пояснения.

Приведенное в порядок решение:

# Function to print the index, if the index is evenly divisable by 1000:
def report(index):
    if index % 1000 == 0:
        print(index)

# The function the user wants to apply on the list elements
def process(x, index, report):
     report(index) # Call of the reporting function
     return 'something ' + x # ! Just an example, replace with your desired application

# !Just an example, replace with your list to iterate over
mylist = ['number ' + str(k) for k in range(5000)]

# Running a list comprehension
[process(x, index, report) for index, x in enumerate(mylist)]

Объяснение: из enumerate(mylist): с помощью функции enumerate можно иметь индексы в дополнение к элементам итерируемого объекта (см. этот вопрос и ответы на него). Например

[(index, x) for index, x in enumerate(["a", "b", "c"])] #returns
[(0, 'a'), (1, 'b'), (2, 'c')]

Примечание. index и x не являются зарезервированными именами, это просто имена, которые я считаю удобными — [(foo, bar) for foo, bar in enumerate(["a", "b", "c"])] дает тот же результат.

Вот моя реализация.

pip install progressbar2

from progressbar import progressbar
new_list = [your_function(list_item) for list_item in progressbar(old_list)]`

Вы увидите индикатор выполнения при выполнении блока кода выше.