Nano Hash - криптовалюты, майнинг, программирование

Задание Hadoop продолжает выполняться, и контейнер не выделяется

Я попытался запустить задание mapreduce в Hadoop 2.8.5, но оно продолжает работать. Состояние приложения показано ниже: YarnApplicationState: ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

Веб-интерфейс RM:  введите описание изображения здесь

В отчете о состоянии здоровья говорится: 1/1 local-dirs плохие: / home / hduser / hadooptmpdata / nm-local-dir; 1/1 журнальные каталоги плохие: /home/hduser/hadoop-2.8.5/logs/userlogs

введите описание изображения здесь

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/hadooptmpdata</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<name>dfs.name.dir</name>
<value>file:///home/hduser/hdfs/namenode</value>
<name>dfs.data.dir</name>
<value>file:///home/hduser/hdfs/datanode</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>100</value>
</property>

<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>3</value>
</property>     

<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
</property>

<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>3</value>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>

<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>

<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>

<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/hduser/hadooptmpdata/nm-local-dir</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.map.cpu.vcores</name>
<value>2</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.cpu.vcores</name>
<value>2</value>
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/user/hduser/hadooptmpdata/mapred/local</value>
</property>
</configuration>

Я использую Hadoop на ubuntu, и на моем компьютере установлен процессор Intel i7 с 16 ГБ ОЗУ и 256 ГБ SSD.

06.07.2019


Ответы:


1

Диспетчеру ресурсов YARN требуются вычислительные ресурсы из диспетчеров узлов, чтобы что-либо запускать. Ваш Node Manager показывает, что его локальный каталог плохой. Это означает, что у вас нет доступных вычислительных ресурсов (что подтверждается с помощью метрик кластера. См. Все нули), поэтому ваше приложение застревает в состоянии «ПРИНЯТО».

введите описание изображения здесь

Исправьте свой yarn.nodemanager.local-dirs и убедитесь, что у YARN есть полные разрешения для продолжения.

06.07.2019
  • Сэр, я изменил свои yarn-site.xml и mapred-site.xml (вы можете увидеть эти обновленные файлы выше). Но особо ничего не изменилось. Тем не менее, там говорится, что местные режиссеры плохие. Вы можете что-нибудь порекомендовать? 07.07.2019
  • Вы пытались изменить его на что-то совершенно новое, чтобы убедиться, что ваши разрешения верны? 08.07.2019
  • Все разрешения верны. Я вручную проверил. Когда я настроил hadoop на своем втором ноутбуке, все работало полностью нормально. 13.07.2019
  • Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..