Nano Hash - криптовалюты, майнинг, программирование

Невозможно создать связанный с лазером сервис с помощью python

Что я пытаюсь сделать

Я пытаюсь создать конвейер фабрики данных Azure для копирования и вставки файла из большого двоичного объекта в большой двоичный объект или из большого двоичного объекта в озеро данных.

Что я сделал

Я только что выполнил руководство на веб-сайте Microsoft, у меня уже есть ADF и blob, поэтому я не создавал его снова, теперь я пытаюсь создать связанную службу Azure, поэтому я использовал этот код:

# Create an Azure Storage linked service
ls_name = 'storageLinkedService'

# IMPORTANT: specify the name and key of your Azure Storage account.
storage_string = SecureString('DefaultEndpointsProtocol=https;AccountName=<storageaccountname>;AccountKey=<storageaccountkey>')

ls_azure_storage = AzureStorageLinkedService(connection_string=storage_string)
ls = adf_client.linked_services.create_or_update(rg_name, df_name, ls_name, ls_azure_storage)
print_item(ls)

Но когда я запускаю его, я получаю эту ошибку:

Traceback (most recent call last):

  File "<ipython-input-173-cabc65dd11b9>", line 4, in <module>
    ls = adf_client.linked_services.create_or_update(rg_name, df_name, ls_name, ls_azure_storage)

  File "C:\ProgramData\Anaconda3\lib\site-packages\azure\mgmt\datafactory\operations\linked_services_operations.py", line 170, in create_or_update
    raise models.ErrorResponseException(self._deserialize, response)

ErrorResponseException: Operation returned an invalid status code 'Not Found'

Я не знаю, почему я получаю эту ошибку. Есть у кого-нибудь идеи?

Обновить

Я попытался пропустить этот шаг и попытался создать и сохранить в большом двоичном объекте с помощью этой команды: adf_client.datasets.create_or_update(rg_name, df_name, ds_name, ds_azure_blob)

У меня та же ошибка ErrorResponseException: Operation returned an invalid status code 'Not Found', из-за которой я подумал, что проблема, возможно, связана с каплей.


  • Есть ли прогресс сейчас? 13.12.2017
  • Все еще не в состоянии это сделать. Я попытаюсь заменить идентификатор и секрет клиента на идентификатор подключения к моей учетной записи Azure. 13.12.2017

Ответы:


1

Я пытался воспроизвести вашу проблему, но не смог.

У меня нет ADF, поэтому я следовал официальному руководству по созданию фабрики данных и связанной службы, никаких ошибок не произошло.

основная функция

def main():

    # Azure subscription ID
    subscription_id = '***'

    # This program creates this resource group. If it's an existing resource group, comment out the code that creates the resource group
    rg_name = '***'

    # The data factory name. It must be globally unique.
    df_name = '***'

    # Specify your Active Directory client ID, client secret, and tenant ID
    credentials = ServicePrincipalCredentials(client_id='***', secret='***', tenant='***')
    resource_client = ResourceManagementClient(credentials, subscription_id)
    adf_client = DataFactoryManagementClient(credentials, subscription_id)

    rg_params = {'location':'eastus'}
    df_params = {'location':'eastus'}

    # create the resource group
    # comment out if the resource group already exits
     resource_client.resource_groups.create_or_update(rg_name, rg_params)

     Create a data factory
     df_resource = Factory(location='eastus')
     df = adf_client.factories.create_or_update(rg_name, df_name, df_resource)
     print_item(df)
     while df.provisioning_state != 'Succeeded':
         df = adf_client.factories.get(rg_name, df_name)
         time.sleep(1)

    # Create an Azure Storage linked service
    ls_name = 'storageLinkedService'

    # IMPORTANT: specify the name and key of your Azure Storage account.
    storage_string = SecureString('DefaultEndpointsProtocol=https;AccountName=***;AccountKey=***')

    ls_azure_storage = AzureStorageLinkedService(connection_string=storage_string)
    ls = adf_client.linked_services.create_or_update(rg_name, df_name, ls_name, ls_azure_storage)
    print_item(ls)

ErrorResponseException: операция вернула недопустимый код состояния «не найден»

Я думаю, вы можете проверить аргументы, если в нем есть ошибка или служба существует. (Df, группа ресурсов, учетная запись хранения)

Если возникнут какие-либо вопросы, пожалуйста, дайте мне знать.


Обновить ответ:

Я создал собственную регистрацию приложения в Azure AD на портале.

введите здесь описание изображения

Идентификатор приложения, указанный ниже, - это ваш client_id

введите здесь описание изображения

Создайте свой secret и не забудьте записать его, потому что он скроется позже.

введите здесь описание изображения

Идентификатор каталога, как показано ниже: tenant ID

введите здесь описание изображения


Обновить ответ 2:

Я также участвую в проекте, поэтому думаю, что это не вопрос роли. Я попытался изменить ra_name (группа ресурсов) в параметре на несуществующее значение, успешно воспроизвел ваше исключение.

Пожалуйста, проверьте еще раз, существует ли ваша группа ресурсов или другие параметры.

введите здесь описание изображения


Вкратце:

Похоже, что ADF V1 и V2 в настоящее время не поддерживает регион Западной Европы.

введите здесь описание изображения

введите здесь описание изображения

Однако главы Поддерживаемые регионы в этой статье не обновлялись. Это тебя так долго беспокоит. Вы можете воссоздать ADF и, следуя исходному коду, создать службу ссылок.

11.12.2017
  • Я проверил свои аргументы, но он по-прежнему не работает, не могу понять, почему 13.12.2017
  • где найти информацию о идентификаторе клиента, секретном идентификаторе, идентификаторе клиента? 13.12.2017
  • @OrhanYazar Пожалуйста, посмотрите мой ответ на обновление. Я покажу вам, как получить идентификатор клиента, секрет и идентификатор клиента. 14.12.2017
  • Спасибо за обновление, я постараюсь повторить то, что вы сделали 15.12.2017
  • все еще нет, интересно, если у меня нет запрета на разрешение, я проверю его и вернусь к вам как можно скорее 20.12.2017
  • @OrhanYazar ок. жду твоего ответа. 21.12.2017
  • это невероятно, я не могу этого сделать, но ошибка по-прежнему остается ErrorResponseException: Operation returned an invalid status code 'Not Found' Знаете ли вы, нужно ли мне быть владельцем хранилища BLOB-объектов и adf? Потому что в настоящее время я всего лишь соавтор этих обоих приложений. 03.01.2018
  • Я проверил свою группу ресурсов, и она существует, я также создал новый BLOB-объект в той же группе ресурсов, что и мой adf v2, но все еще та же проблема, я не понимаю почему, он распознает мой идентификатор клиента, идентификатор клиента и т.д., но когда я пытаюсь создать связанный сервис, это не работает. 04.01.2018
  • @OrhanYazar Ваше исключение не найдено, поэтому я предполагаю, что аргументы написаны неправильно, это не проблема с разрешением. 04.01.2018
  • Мой большой двоичный объект - это большой двоичный объект V1. Как вы думаете, мне нужно создать большой двоичный объект V2? 04.01.2018
  • @OrhanYazar А ваша фабрика данных тоже существует? Вы создали связанную службу без существующей фабрики Dada? 04.01.2018
  • Да, я также уже создал его вручную, и это V2, как написано в туто на платформе MS 04.01.2018
  • Хорошо, Джей, я думаю, что нашел проблему ... когда мы создали ADF V2, он был доступен в западной Европе, и я начал пытаться создать конвейер с python через неделю после создания, но теперь я нашел здесь azure.microsoft.com/en-us/pricing/details / data-factory / v2, что он больше не доступен в Западной Европе, но находится в Северной Европе, поэтому это может решить мою проблему 04.01.2018
  • @OrhanYazar Да. Я сделал резюме в своем ответе. Вы можете отметить ответ для справки других на форуме. Спасибо. 05.01.2018
  • Да, я видел это, Джей, когда вы выбрали V1, а затем выбрали V2, список обновляется, и мы видим, что есть только восточная часть США. Спасибо за помощь =) 15.01.2018
  • Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..