Публикации по теме 'yarn'
Vue.js 2 + Vuex + Router + пряжа! Базовая конфигурация версии 2
Vue.js 2 + Vuex + Router + пряжа! Базовая конфигурация версии 2
Это улучшенная версия, основанная на более старой статье . Я обновил шаблон vue-material до всех последних выпусков пакетов.
tl;dr;
Установите vue-cli и пряжу
npm i -g vue-cli пряжа
Затем скачайте этот шаблон :
vue init pablohpsilva / vue-material-markerplate
Я предоставляю и открываю свой собственный шаблон vue. Чтобы скачать и использовать:
vue init pablohpsilva/vue-material-boilerplate..
Вопросы по теме 'yarn'
Пример распределенной оболочки Hadoop/Yarn
Я пытаюсь запустить пример распределенной оболочки (используя проверку SVN Hadoop, поэтому для версии установлено значение 3.0.0-SNAPSHOT):
yarn jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.0.0-SNAPSHOT.jar \
-jar...
26.11.2023
Где найти журналы выполнения заданий для Apache Tez
Я настроил Tez поверх Hadoop. Я запускаю запрос select COUNT(DISTINCT first_name) from user_test where country='India'; using hive.
Когда я использую hive.execution.engine=mr (mr) в качестве среды выполнения, задание выполняется успешно, а...
16.11.2023
Gobblin Kafka to HDFS ошибка задания запроса
Я пытаюсь получить данные из Kafka в HDFS с помощью Gobblin .
Версия Gobblin (скомпилирована из исходного кода github командой sudo ./gradlew clean build -PuseHadoop2 -PhadoopVersion=2.7.1 -x test ):
0.6.2-546-g431188b
Версия Hadoop:...
31.10.2023
Динамическое размещение Spark не работает
Я хочу использовать функцию динамического размещения от spark для отправленных приложений, но приложения не масштабируются.
Мой кластер состоит из 3 узлов , каждый из которых имеет:
4 ядра
8 ГБ ОЗУ
искра: 1,6
ПРЯЖА + MapReduce2: 2.7...
02.11.2023
Как настроить файл свойств Log4j в YARN
Я запускаю приложение поверх YARN в искровом кластере, но мне нужно указать собственный путь, по которому создаются файлы журнала, и изменить формат сообщения журнала. Для этого я хочу использовать свой настроенный файл Log4j.properties вместо файла...
08.01.2024
Скрипт Pig, генерирующий тысячи карт
По какой-то причине этот скрипт порождает 60 000 картографических заданий на небольшом входе:
A1 = LOAD '$directory1' USING CustomLoader AS key:chararray;
A = FOREACH A1 GENERATE CustomParser(key) AS key:chararray;
B = LOAD '$filename1' USING...
03.11.2023
Запуск Spark на YARN на одном узле
Я немного изучаю науку о данных и пытаюсь открыть и понять различные инструменты, связанные с ней.
Пока у меня есть рабочая установка Hadoop 2.8.0 на Mac OS, и теперь я хотел бы, чтобы Spark 2.1.1 тоже работал. Я знаю, что Spark не обязательно...
07.01.2024
Предоставьте разные параметры JVM для разных исполняемых файлов в Apache Twill.
Допустим, в приложении Twill у меня есть два типа runnables. Один исполняемый файл имеет размер контейнера 3 ГБ, а другой исполняемый файл имеет размер контейнера 6 ГБ. Теперь я хочу установить другую опцию -Xms для этих двух исполняемых типов. Как...
08.11.2023
Задание Hadoop продолжает выполняться, и контейнер не выделяется
Я попытался запустить задание mapreduce в Hadoop 2.8.5, но оно продолжает работать. Состояние приложения показано ниже: YarnApplicationState: ACCEPTED: waiting for AM container to be allocated, launched and register with RM.
Веб-интерфейс RM:...
29.12.2023
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..