Многопроцессорность в Python с общей памятью только для чтения?

Если вы используете реализацию Python CPython (или PyPy), то глобальная блокировка интерпретатора (GIL) предотвратит одновременную работу с объектами Python более чем одного потока.

Поэтому, если вы используете такую ​​реализацию, вам нужно будет использовать несколько процессов вместо нескольких потоков, чтобы воспользоваться преимуществами ваших 32 процессоров.

Вы можете использовать стандартную библиотеку многопроцессорность или concurrent.futures для порождения рабочих процессов. Существует также множество сторонних опций. Руководство Дуга Хеллмана — отличное введение в модуль многопроцессорной обработки.

Поскольку вам нужен доступ только для чтения к структуре данных, если вы назначите сложную структуру данных глобальной переменной до создания процессов, то все процессы будут иметь доступ к этой глобальной переменной.

Когда вы порождаете процесс, глобальные переменные из вызывающего модуля копируются в порожденный процесс. Однако в Linux с копированием при записи та же самая структура данных используется порожденными процессами, поэтому дополнительная память не требуется. Только когда процесс изменяет структуру данных, он копируется в новое место.

В Windows, поскольку нет fork, каждый порожденный процесс вызывает python и повторно импортирует вызывающий модуль, поэтому каждому процессу требуется память для своей отдельной копии огромной структуры данных. Должен быть какой-то другой способ обмена структурами данных в Windows, но я не знаю подробностей. (Правка: POSH может быть решением проблемы с общей памятью, но я сам не пробовал.)

Чтобы добавить демонстрацию ответа unutbu выше, вот код, показывающий, что на самом деле это общая память COW (CPython 3.6, Mac OS)

main_shared.py

import multiprocessing
from time import sleep


my_global = None


def test():
    global my_global
    read_only_secs = 3
    while read_only_secs > 0:
        sleep(1)
        print(f'child proc global: {my_global} at {hex(id(my_global))}')
        read_only_secs -= 1
    print('child proc writing to copy-on-write...')
    my_global = 'something else'
    while True:
        sleep(1)
        print(f'child proc global: {my_global} at {hex(id(my_global))}')


def set_func():
    global my_global
    my_global = [{'hi': 1, 'bye': 'foo'}]

if __name__ == "__main__":
    print(f'main proc global: {my_global} at {hex(id(my_global))}')
    set_func()
    print(f'main proc global: {my_global} at {hex(id(my_global))}')
    p1 = multiprocessing.Process(target=test)
    p1.start()

    while True:
        sleep(1)
        print(f'main proc global: {my_global} at {hex(id(my_global))}')

Вывод

$ python main_shared.py 
main proc global: None at 0x101b509f8
main proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
child proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
main proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
child proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
main proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
child proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
child proc writing to copy-on-write...
main proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
child proc global: something else at 0x1022ea3b0
main proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
child proc global: something else at 0x1022ea3b0
main proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708
child proc global: something else at 0x1022ea3b0
main proc global: [{'hi': 1, 'bye': 'foo'}] at 0x102341708