Необходимо разъяснение по обработке, такие демоны, как (namenode, datanode, jobttracker, средство отслеживания задач), все они лежат в кластере (кластер с одним узлом - они распределены на жестком диске). Каково использование ОЗУ или кеша при обработке уменьшения карты или как к нему обращаются различные процессы при уменьшении карты?
как RAM используется в обработке mapreduce?
06.02.2017
Ответы:
1
Трекер заданий и трекер задач использовались для управления ресурсами в кластере в карте сокращения 1.x, и причина, по которой они были удалены, заключалась в том, что это был неэффективный метод. Начиная с версии 2.x, был введен новый механизм под названием YARN. Вы можете перейти по этой ссылке http://javacrunch.in/Yarn.jsp, чтобы подробно ознакомиться с работой ПРЯЖА. Демоны Hadoop используют оперативную память для оптимизации выполнения задания, как при сокращении карты. ОЗУ используется для хранения журналов ресурсов в памяти при отправке нового задания, чтобы менеджер ресурсов мог определить, как распределить задание в кластере. Еще одна важная вещь заключается в том, что карта Hadoop уменьшает выполнение заданий, ориентированных на диск, он использует диск для выполнения задания, и это основная причина, по которой он работает медленнее, чем spark.
Надеюсь, это решит ваш запрос
06.02.2017
2
- Вы упомянули кластер в своем вопросе, мы не будем называть отдельный сервер или машину кластером.
- Демоны (процессы) не распределяются по жестким дискам, они будут использовать оперативную память для запуска
- Что касается кеша, изучите этот ответ.
07.02.2017
3
ОЗУ используется во время обработки приложения Map Reduce.
Как только данные считываются через InputSplits (из блоков HDFS) в память (ОЗУ), обработка происходит с данными, хранящимися в ОЗУ.
mapreduce.map.memory.mb = объем памяти, запрашиваемый планировщиком для каждой задачи карты.
mapreduce.reduce.memory.mb = объем памяти, запрашиваемый планировщиком для каждой задачи сокращения.
Значение по умолчанию для двух вышеуказанных параметров: 1024 МБ (1 ГБ).
Некоторые другие параметры, связанные с памятью, были использованы на этапе Map Reduce. Посмотрите страницу документации о mapreduce-site.xml для более подробной информации.
Связанные с SE вопросы:
Выполнение Mapreduce в кластере hadoop
07.02.2017
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..