Nano Hash - криптовалюты, майнинг, программирование

Не удается установить Ganglia на EMR 4.0.0

Я следую этому руководству, чтобы установить Spark на последний кластер AMI/EMR:

http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-spark-launch.html

Я хотел бы установить Ganglia для мониторинга кластера, поэтому я добавил Name=Ganglia в список приложений для установки:

aws emr create-cluster --name "Spark cluster" --release-label emr-4.0.0 --applications Name=Spark Name=Ganglia --ec2-attributes KeyName=myKey --instance-type m3.xlarge --instance-count 3 --use-default-roles

Но я получаю следующее сообщение об ошибке:

Ошибка клиента (ValidationException) при вызове операции RunJobFlow: указанное приложение: Ganglia недействительна

Вот версии, которые я запускаю:

aws --version
aws-cli/1.7.41 Python/2.7.7 Linux/2.6.32-431.29.2.el6.x86_64
amazon-web-services apache-spark emr ganglia
29.07.2015

  • Я согласен. Я смог воспроизвести вашу ошибку. 29.07.2015
  • То же самое касается Хью. Cli не соответствует документации. 29.07.2015

Ответы:


1

Ganglia не является частью версии EMR 4.0.

В официальной документации по API указаны допустимые значения: "Hadoop", «Улей», «Погонщик», «Свинья» и «Искра».

Похоже, что документация AWS CLI неверна.

29.07.2015
  • Есть ли другой способ установить Ganglia, продолжая устанавливать Spark как приложение, используя --release-label emr-4.0.0? 30.07.2015
  • Обновление: Ganglia теперь снова доступна. 07.01.2016
  • Да, ганглии теперь доступны с выпуском EMR 4.2.0: docs .aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/ 07.01.2016

    • 2

    Обычное действие начальной загрузки Ganglia также не работает под emr-4.0.0. См. эту проблему.

    19.08.2015

    3

    Amazon, вероятно, работает над созданием официального выпуска Ganglia для EMR 4.x. Пока это не выйдет, вы можете использовать это действие начальной загрузки:

    s3://support.elasticmapreduce/release/4.x/ganglia/install_ganglia_emr-4.0.0.rb
    17.11.2015

    4

    Если вы продолжите использовать действие начальной загрузки, все будет в порядке.

    // Пример AWSCLI

    aws emr create-cluster                  \
  --bootstrap-actions file://bootstrap_actions.json \
  ...

    // bootstrap_actions.json

    {
    "Name": "Install Ganglia",
    "Path": "s3://elasticmapreduce/bootstrap-actions/install-ganglia"
  },

    Или из DataPipeline (пример файла определения конвейера):

       {
      "id": "EmrCluster",
      "name": "My Cluster (staging)",
      "type": "EmrCluster",
      "bootstrapAction": [
        "s3://elasticmapreduce/bootstrap-actions/install-ganglia"
      ],
      etc..
    },
    03.08.2015
    Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..