Nano Hash - криптовалюты, майнинг, программирование

Используете CUDA с pytorch?

Я искал здесь, но нашел только устаревшие сообщения.

Я хочу запустить обучение на своем графическом процессоре. На некоторых форумах я обнаружил, что мне нужно применить .cuda() ко всему, с чем я хочу использовать CUDA (я применил его ко всему, что мог, без сбоя программы). Удивительно, но это еще больше замедляет тренировку.

Затем я обнаружил, что вы можете использовать это torch.set_default_tensor_type('torch.cuda.FloatTensor') для использования CUDA. При обоих включенных ничего не меняется. Что происходит?

Есть ли способ надежно включить CUDA для всей модели?

Кроме того, что означает MyModel()? Мне нужны более осязаемые примеры, например, примеры кода. (Это сообщение, о котором я говорю)

python pytorch torch
20.06.2018

Ответы:


1

Для перемещения тензора можно использовать команду tensor.to(device) к устройству.

Команда .to() также используется для перемещения целую модель на устройство, как в сообщении, на которое вы ссылаетесь.

Другая возможность - установить устройство тензора во время создания с помощью аргумента ключевого слова device=, как в t = torch.tensor(some_list, device=device)

Чтобы настроить устройство динамически в вашем коде, вы можете использовать

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

чтобы установить cuda в качестве устройства, если это возможно.

В руководствах по PyTorch и в документации, указанной выше, есть различные примеры кода, которые могут вам помочь.

24.06.2018
  • При вызове tensor.to(device) для аргумента device вы можете использовать cpu, cuda, cuda: 0, cuda: 1 и т. Д. Cuda и cuda: 0 в большинстве случаев означают одно и то же. Перейдите на вкладку PyTorch в разделе 5.6.1. d2l.ai для получения более подробной информации. 08.05.2021
  • Вы можете проверить, находится ли тензор на графическом процессоре, напечатав tensor.device. 08.05.2021

    • 2

    При обоих включенных ничего не меняется.

    Это потому, что вы уже установили каждый тензор на GPU.

    Есть ли способ надежно включить CUDA для всей модели?

    model.to('cuda')

    Я применил это ко всему, что мог

    Вам нужно только применить его к тензорам, с которыми будет взаимодействовать модель, как правило:

    • детские коляски модели model.to('cuda')
    • данные о функциях features = features.to('cuda')
    • целевые данные targets = targets.to('cuda')
    13.03.2021
    Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..