Значение inter_op_parallelism_threads и intra_op_parallelism_threads

Параметры inter_op_parallelism_threads и intra_op_parallelism_threads задокументированы в source of the source tf.ConfigProto буфер протокола. Эти параметры настраивают два пула потоков, используемых TensorFlow для распараллеливания выполнения, как описано в комментариях:

// The execution of an individual op (for some op types) can be
// parallelized on a pool of intra_op_parallelism_threads.
// 0 means the system picks an appropriate number.
int32 intra_op_parallelism_threads = 2;

// Nodes that perform blocking operations are enqueued on a pool of
// inter_op_parallelism_threads available in each process.
//
// 0 means the system picks an appropriate number.
//
// Note that the first Session created in the process sets the
// number of threads for all future sessions unless use_per_session_threads is
// true or session_inter_op_thread_pool is configured.
int32 inter_op_parallelism_threads = 5;

Существует несколько возможных форм параллелизма при запуске графа TensorFlow, и эти параметры обеспечивают некоторый контроль параллелизма многоядерных процессоров:

• Если у вас есть операция, которая может быть распараллелена внутренне, например умножение матриц (tf.matmul()) или сокращение (например, tf.reduce_sum()), TensorFlow выполнит ее, запланировав задачи в пуле потоков с intra_op_parallelism_threads потоками. Таким образом, эта опция конфигурации контролирует максимальное параллельное ускорение для одной операции. Обратите внимание, что если вы выполняете несколько операций параллельно, эти операции будут совместно использовать этот пул потоков.

• Если у вас есть много операций, которые независимы в вашем графике TensorFlow, потому что между ними нет прямого пути в потоке данных, graphTensorFlow попытается запустить их одновременно, используя пул потоков с inter_op_parallelism_threads потоками. Если эти операции имеют многопоточную реализацию, они (в большинстве случаев) будут совместно использовать один и тот же пул потоков для внутриоперационного параллелизма.

Наконец, обе опции конфигурации принимают значение по умолчанию 0, что означает «система выбирает подходящий номер». В настоящее время это означает, что в каждом пуле потоков будет по одному потоку на ядро ​​ЦП на вашем компьютере.

Чтобы получить максимальную производительность от машины, измените потоки параллелизма и настройки OpenMP, как показано ниже для серверной части тензорного потока (из здесь):

import tensorflow as tf

#Assume that the number of cores per socket in the machine is denoted as NUM_PARALLEL_EXEC_UNITS
#  when NUM_PARALLEL_EXEC_UNITS=0 the system chooses appropriate settings 

config = tf.ConfigProto(intra_op_parallelism_threads=NUM_PARALLEL_EXEC_UNITS, 
                        inter_op_parallelism_threads=2, 
                        allow_soft_placement=True,
                        device_count = {'CPU': NUM_PARALLEL_EXEC_UNITS})

session = tf.Session(config=config)

Ответьте на комментарий ниже: [источник]

allow_soft_placement=True

Если вы хотите, чтобы TensorFlow автоматически выбирал существующее и поддерживаемое устройство для выполнения операций в случае, если указанное не существует, вы можете установить allow_soft_placement в значение True в параметре конфигурации при создании сеанса. Проще говоря, он позволяет динамически распределять память графического процессора.

Ответ, совместимый с Tensorflow 2.0: если мы хотим выполнить в режиме графика Tensorflow Version 2.0, функция, в которой мы можем настроить inter_op_parallelism_threads и intra_op_parallelism_threads это

tf.compat.v1.ConfigProto.