💪Создание вычислительного кластера машинного обучения Azure с помощью Azure Bicep.

Узнайте, как создавать вычислительные ресурсы и управлять ими в рабочей области машинного обучения Azure с помощью Azure Bicep.

Azure Machine Learning – это облачная служба для ускорения и управления жизненным циклом проектов машинного обучения. Чтобы развернуть полное решение для машинного обучения Azure, нам потребуется несколько компонентов:

• Рабочая область машинного обучения Azure. Рабочая область — это главный ресурс для всех ваших действий по машинному обучению и централизованное место для просмотра артефактов и управления ими. Подробнее о том, как развернуть Workspace, читайте здесь.
• Вычислительные экземпляры Azure Machine Learning: экземпляр Acompute в качестве управляемой облачной рабочей станции для работы с вашей моделью машинного обучения. Это управляемая виртуальная машина, которая будет включать некоторые функции предварительной сборки, чтобы вы могли сосредоточиться на своей среде разработки машинного обучения. Подробнее о развертывании вычислительных инстансов читайте здесь.
• Вычислительные кластеры машинного обучения Azure. Вычислительный кластер поможет вам распределить процесс обучения или пакетного вывода по кластеру ЦП или вычислительных узлов ЦП.

В этой статье будет рассмотрено, как создать вычислительный кластер машинного обучения Azure с помощью Azure Bicep, доменного языка Azure (DSL) для развертывания ресурсов в Azure.

Предпосылки.

Нам нужно иметь следующее:

• Рабочая область машинного обучения Azure. Проверьте, как вы разворачиваете рабочее пространство здесь.
• Бицепс установлен
• Пользователь с ролью владельца или участника в Azure.

Зачем нам нужен вычислительный кластер?

Вычислительный кластер в Машинном обучении Azure — это ресурс, которым вы можете поделиться в своей рабочей области. Этот вычислительный ресурс может масштабироваться по мере необходимости для эффективной обработки заданий и может быть вычислительным ресурсом с одним или несколькими узлами.

Этот вычислительный ресурс выполняется в контейнерной среде и упаковывает зависимости вашей модели в среде Docker.

Процесс создания прост, а вычислительные ресурсы могут использоваться совместно с вашими коллегами в той же рабочей области и автоматически увеличиваться или уменьшаться в зависимости от количества отправленных вами запусков.

Вы можете установить максимальное и минимальное количество узлов для вашего вычислительного кластера.

Сэкономьте немного 💵 💵💵

Я рекомендую вам взглянуть на виртуальные машины с низким приоритетом, чтобы снизить затраты.

Еще один рекомендуемый способ – запланировать свои вычислительные экземпляры. Таким образом, вы можете сделать их доступными в течение рабочего времени и автоматически запускать и останавливать вычислительные экземпляры.

Третий вариант — использовать зарезервированные экземпляры. Эта скидка применяется к запуску экземпляров ВМ с почасовой оплатой. Вы платите за виртуальные машины сроком на один год или три года. В долгосрочной перспективе это может быть хорошей альтернативой.

Теперь давайте поработаем с файлом Azure Bicep, чтобы создать вычислительный кластер машинного обучения Azure.

Файл Azure Bicep для создания вычислительного кластера машинного обучения Azure.

Дружеское напоминание: перед использованием следующего файла Bicep убедитесь, что у вас есть хотя бы рабочая область машинного обучения Azure.

Мы получим имя Workspace Машинного обучения Azure. Мы передадим это как значение параметра вместе с именем пользователя и паролем администратора для вычислительных ресурсов. Наконец, мы включим параметр для имени кластера.

Как упоминалось ранее, мы можем указать количество узлов для нашего вычислительного кластера. Мы также предоставим местоположение, и при желании вы можете указать имя виртуальной сети и имя подсети.

В приведенном ниже коде показан полный шаблон Bicep для создания вычислительного кластера машинного обучения Azure.

@description('Specifies the name of the Azure Machine Learning Workspace which will contain this compute.')
param workspaceName string
@description('Specifies the name of the Azure Machine Learning Compute cluster.')
param clusterName string
@description('The minimum number of nodes to use on the cluster. If not specified, defaults to 0')
param minNodeCount int = 1
@description(' The maximum number of nodes to use on the cluster. If not specified, defaults to 4.')
param maxNodeCount int = 3
@description('The location of the Azure Machine Learning Workspace.')
param location string = resourceGroup().location
@description('The name of the administrator user account which can be used to SSH into nodes. It must only contain lower case alphabetic characters [a-z].')
@secure()
param adminUserName string
@description('The password of the administrator user account.')
@secure()
param adminUserPassword string
@description(' The size of agent VMs. More details can be found here: https://aka.ms/azureml-vm-details.')
param vmSize string = 'Standard_DS3_v2'
@description('Name of the resource group which holds the VNET to which you want to inject your compute in.')
param vnetResourceGroupName string = ''
@description('Name of the vnet which you want to inject your compute in.')
param vnetName string = ''
@description('Name of the subnet inside the VNET which you want to inject your compute in.')
param subnetName string = ''
var subnet = {
  id: resourceId(vnetResourceGroupName, 'Microsoft.Network/virtualNetworks/subnets', vnetName, subnetName)
}
resource workspaceName_clusterName 'Microsoft.MachineLearningServices/workspaces/computes@2021-01-01' = {
  name: '${workspaceName}/${clusterName}'
  location: location
  properties: {
    computeType: 'AmlCompute'
    properties: {
      vmSize: vmSize
      scaleSettings: {
        minNodeCount: minNodeCount
        maxNodeCount: maxNodeCount
      }
      userAccountCredentials: {
        adminUserName: adminUserName
        adminUserPassword: adminUserPassword
      }
      subnet: (((!empty(vnetResourceGroupName)) && (!empty(vnetName)) && (!empty(subnetName))) ? subnet : json('null'))
    }
  }
}

Код ниже — это файл параметров, который мы передаем в процессе развертывания:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
      "workspaceName": {
        "value": "YOUR-WORKSPACE-NAME"
      },
      "adminUserName": {
        "value": "YOUR-ADMIN-USERNAME"
      },
      "adminUserPassword": {
        "value": "YOUR-ADMIN-USER-PASSWORD"
      },
      "clusterName": {
        "value": "YOUR-CLUSTER-NAME"
      }
    }
  }

Мы будем использовать приведенную ниже команду для развертывания этого файла Bicep:

$date = Get-Date -Format "MM-dd-yyyy"
$deploymentName = "AzInsiderDeployment"+"$date"
New-AzResourceGroupDeployment -Name $deploymentName -ResourceGroupName AzInsiderML -TemplateFile .\main.bicep -TemplateParameterFile .\azuredeploy.parameters.json -c

На изображении ниже показан результат этого развертывания:

Теперь вы можете перейти в Студию машинного обучения Azure и проверить доступный вычислительный кластер, как показано ниже:

Вы можете перейти к деталям и проверить количество узлов и размер виртуальной машины, как показано ниже:

Надеюсь, вы лучше понимаете, как создать вычислительный кластер машинного обучения Azure с помощью Bicep.

Дайте мне знать ваши комментарии или отзывы.

Присоединяйтесь к списку рассылки AzInsider здесь.

-Дэйв Р.