Использование многопроцессорности для улучшения очистки Википедии с помощью BeautifulSoup

Здесь есть несколько проблем:

• dictionary - это каждый строковый ключ в all_wikis dict. Когда вы затем перебираете эту строку с помощью for key in dictionary:, вы получаете доступ к каждому символу в строке. Ваш первый запрос к https://en.wikipedia.org/wiki/A, что не является желаемым результатом.
• str(key) не очень полезно, даже если dictionary было именем. Нам нужно найти правильный URL-адрес с помощью all_wikis[name]. Кроме того, избегайте общих переменных, таких как dictionary.
• Поскольку вы используете многопроцессорную обработку данных, такие данные, как bios, должны быть общими, чтобы ими можно было манипулировать. Проще всего просто использовать возвращаемое значение функции map, которое представляет собой совокупность всех возвращаемых значений рабочей функции.
• У вас проблемы с логикой. wikipedia.summary не определено. Не будучи уверенным в точном желаемом результате, он сообщает об умершем Адаме Сэндлере. Я оставлю это как упражнение для читателя, так как этот вопрос в основном касается многопроцессорности.
• Я не уверен, что многопроцессорность здесь так же желательна, как и многопоточность. Поскольку ваш процесс будет заблокирован, отправляя запросы в 99% случаев, держу пари, вы можете повысить эффективность, используя гораздо больше потоков (или процессов), чем количество ядер, которые у вас есть. Многопроцессорная обработка больше подходит, когда вы выполняете работу, связанную с процессором, что здесь не так; очень мало времени будет потрачено на сам процесс Python. Я бы рекомендовал тестировать код, увеличивая количество процессов (или потоков, если вы проводите рефакторинг для этого) сверх количества ядер, пока вы не перестанете видеть улучшения.

Вот некоторый код, чтобы вы начали. Я придерживался многопроцессорности в соответствии с вашим примером и не настраивал логику веб-скрейпинга.

import requests
from bs4 import BeautifulSoup
from multiprocessing import Pool, cpu_count

all_wikis = {'Adam Ferrara': 'Adam_Ferrara',
             'Adam Hartle': 'Adam_Hartle',
             'Adam Ray': 'Adam_Ray_(comedian)',
             'Adam Sandler': 'Adam_Sandler',
             'Adele Givens': 'Adele_Givens'}

def scrape(name):
    data = requests.get("https://en.wikipedia.org/wiki/" + all_wikis[name]).text
    soup = BeautifulSoup(data, "html.parser")
    bio = {}

    try:
        bio['birthday'] = soup.find('span', attrs={'class': 'bday'}).text
    except:
        bio['birthday'] = 'Birthday Unknown'

    try:
        bio['home_town'] = soup.find('div', attrs={'class': 'birthplace'}).text
    except:
        bio['home_town'] = 'Birthplace Unknown'

    try:
        bio['passed_away'] = (soup.find('span', attrs={'style': "display:none"}).text
                                                                        .replace("(", "")
                                                                        .replace(")", ""))
        bio['living_status'] = 'Deceased'
    except:
        bio['living_status'] = 'Alive'

    bio['summary'] = "No Summary"
    return name, bio


if __name__ == '__main__':
    pool = Pool(cpu_count())
    bios = dict(pool.map(func=scrape, iterable=all_wikis))
    pool.close()
    pool.join()
    print(bios)