Вопросы по теме 'multiprocessing'
Проблема с блокировкой при использовании Join() с Multiprocess
Я не понимаю, почему следующие блоки кода. Я пытаюсь просто зациклиться на заданное время, а затем отправить сообщение в поток, чтобы он остановился. Мой класс процесса выглядит следующим образом.
class Worker(multiprocessing.Process):
def...
07.11.2023
Многопроцессорность в Python с общей памятью только для чтения?
У меня есть однопоточная программа Python, и я хотел бы изменить ее, чтобы использовать все 32 процессора на сервере, на котором она работает. Как я себе это представляю, каждый рабочий процесс будет получать задание из очереди и отправлять свои...
04.11.2023
Многопроцессорная обработка двух функций с использованием и изменением одного и того же списка
У меня есть 4 списка по 3 поплавка в каждом. У меня есть две функции (на самом деле реализованные как одна функция - другой аргумент int изменяет элемент списков, на который он действует), которые я хочу запускать параллельно. Они оба берут все...
12.11.2023
multiprocess для разделения одного файла - всегда ли он связан с вводом-выводом?
Я читал аналогичную ветку, в которой OP хотел обработать каждую строку в функции с использованием многопроцессорной обработки (найдено здесь ). Ответ на этот интригующий вопрос был следующим:
from multiprocessing import Pool
def...
17.11.2023
Многопроцессорность: скорость отклика и загрузка ЦП при использовании нескольких рабочих процессов while true queue.get()
Я написал пару примеров воркеров While True, которые извлекают данные из очереди. В принципе производители должны вести себя примерно так, как показано ниже, но на самом деле это данные из нескольких фидов сокетов ssl, поэтому производители здесь...
26.11.2023
Многопроцессорность с блоками контекста fork в Linux/Intel Xeon с Python 3.6.1?
Описание проблемы Я изменил код из этого ответьте немного (см. ниже). Однако при запуске этого скрипта в Linux (поэтому командная строка: python script_name.py ) он будет печатать jobs running: x для всех заданий, но после этого кажется, что...
09.12.2023
Многопроцессорный пул Python возвращает тот же результат в цикле for
Я использую multiprocessing.Pool в Python 3.6 через Spyder 3.6.5 на компьютере с Windows 10. Цель состоит в том, чтобы получить выходные данные простой квадратичной функции путем импорта нескольких входных данных (в этом примере для практических...
07.12.2023
Как инициализировать многопроцессорный процесс Python, цель которого не принимает аргументы?
грубый код:
from multiprocessing import Process
def getPAprofilesPages():
#do stuff here
def getPBprofilesPages():
#do stuff here
P1 = Process(target = getPAprofilesPages, args = [] )
P2 = Process(target = getPBprofilesPages,...
09.01.2024
Использование многопроцессорности для улучшения очистки Википедии с помощью BeautifulSoup
Я использую BeautifulSoup, чтобы собрать базовую информацию с нескольких страниц Википедии. Программа работает, но медленно (около 20 минут на 650 страниц). Я пытаюсь использовать многопроцессорность, чтобы ускорить это, но это не работает должным...
09.12.2023
Многопроцессорный Python: рабочий код учебника не работает, когда я пытаюсь это сделать
Я смотрю учебник https://www.youtube.com/watch?v=fKl2JW_qrso (показано на 8.18 мин) о многопроцессорности. Я запускаю код, скопированный оттуда:
import multiprocessing
import time
import os
start = time.perf_counter()
def do_something():...
01.11.2023
Многопроцессорная общая память Python; одна запись, несколько чтений
СИСТЕМА
Linux (Манжаро KDE)
Питон 3.8.3
ПРОГРАММА: У меня есть входящие строковые данные на порт UDP. Основной цикл запускает процессы перед использованием селекторов для мониторинга порта UDP. Я хочу, чтобы данные UDP, которые...
08.11.2023
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..