Вопросы по теме 'mapreduce'
Amazon Elastic MapReduce: исключение из файловой системы
Я запускаю свое приложение с помощью клиента ruby: ruby elastic-mapreduce -j j-20PEKMT9BRSUC --jar s3n: //sakae55/lib/edu.cit.som.jar --main-class edu.cit.som.hadoop.SOMDriver - -arg s3n: // sakae55 / репозиторий / ввод / ecoli / --arg s3n: //...
18.11.2023
Hadoop Map Reduce: Алгоритмы
Может ли кто-нибудь указать мне хороший веб-сайт с хорошей коллекцией алгоритмов Hadoop. Например, самая сложная вещь, которую я могу сделать с помощью Hadoop прямо сейчас, — это Page Rank. Кроме этого, я могу делать тривиальные вещи, такие как...
07.01.2024
Сравнение постоянных и специальных представлений
Мне нужно заверить, что я правильно понимаю разницу между постоянными и специальными представлениями.
Постоянные представления хранятся в документе _design и вычисляются при первом запросе. Последующие изменения в документах приведут к изменению...
12.12.2023
Является ли входной файл для программы MapReduce обязательным?
Я работаю над вариантом использования, когда я генерирую случайные данные с помощью программы уменьшения карты, и мне не требуется входной файл в HDFS. Если я не укажу путь ввода, программа MR не работает. Итак, в настоящее время у меня есть...
08.01.2024
Как рассчитать максимальное значение с помощью Map-Reduce в CouchDB?
Я знаю, что есть встроенная функция _stats , которая дает вам сумму, количество, минимум, максимум и сумму квадрата. Что я хотел бы знать, так это то, как рассчитать только максимум с помощью уменьшения карты. Я не могу придумать функцию...
02.11.2023
HBase completebulkload возвращает исключение
Я пытаюсь быстро заполнить таблицу HBase из текстового файла (несколько ГБ) с помощью метода массовой загрузки описано в документации Hadoop.
Я создал HFile, который теперь хочу отправить в свою таблицу HBase.
Когда я использую эту команду:...
05.01.2024
Пример распределенной оболочки Hadoop/Yarn
Я пытаюсь запустить пример распределенной оболочки (используя проверку SVN Hadoop, поэтому для версии установлено значение 3.0.0-SNAPSHOT):
yarn jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.0.0-SNAPSHOT.jar \
-jar...
26.11.2023
Hadoop: количество входных записей для редуктора
Есть ли способ, с помощью которого каждый процесс-редуктор мог бы определить количество элементов или записей, которые он должен обработать?
16.11.2023
Реализация алгоритма быстрого преобразования Фурье с помощью MapReduce
Я хочу реализовать алгоритм быстрого преобразования Фурье с MapReduce . Я знаю алгоритм рекурсивного БПФ, но мне нужно ваше руководство, чтобы реализовать его с использованием подхода Map/Reduce.
Любые предложения/ссылки?
02.01.2024
Hadoop: данные за пределами Eclipse List теряются
Я написал простое задание MapReduce (на основе примера Word Count), чтобы получить общее количество слов в текстовом файле. Я просматриваю файл построчно и перед отображением выполняю некоторую обработку. Все это, кажется, работает, за исключением...
05.11.2023
Использование пользовательских счетчиков в Hadoop для поддержания работы Map-Recuce?
Я использую только работу картографа для создания индексов для Solr. В моем коде картографа я использую org.apache.lucene.index.IndexWriter API Lucene и добавляю org.apache.lucene.document.Document к IndexWriter . В методе close() я использую...
08.12.2023
Размер блока в Hadoop
В настоящее время я работаю над мультикластером с четырьмя узлами. Может ли кто-нибудь предложить мне подходящий размер блока для работы с входным файлом размером 22 ГБ? Заранее спасибо.
Вот мои результаты производительности: 64М - 32 мин. 128М...
30.12.2023
Как переопределить сортировку Hadoop по умолчанию
У меня есть задание map-reduce , в котором ключами являются числа от 1 до 200. Мой предполагаемый результат был (число,значение) в порядке номеров. Но я получаю вывод как:
1 value
10 value
11 value
:
:
2 value
20 value...
12.01.2024
Ограничения ETL в отношении обработки различных алгоритмов
Мне были интересны проблемы, которые не могут быть решены с помощью ETL. Как мы все знаем, мы можем извлекать данные, выполнять некоторые преобразования и обработку, а также сохранять преобразованные данные в хранилище данных. В ETL обработка также...
28.11.2023
Сортировка набора данных Mapreduce
Я пытаюсь запустить следующий проект для сортировки набора данных.
Но когда я выполняю команду: Hadoop jar xx.jar /inputdir /output dir , я получаю следующую ошибку на терминале:
org.apache.hadoop.mapred.InvalidJobConfException: Output...
03.12.2023
Как передать параметр функции карты во время вызова функции mapreduce?
У меня есть функция mapreduce, вывод которой должен быть передан другой функции mapreduce, код выглядит следующим образом
function clustering = parallel_clustering_kmeans(data)
%% find first clustering from all chunks
result =...
28.10.2023
Как сгруппировать документы, сопоставив элементы массива с MapReduce в MongoDB?
У меня есть база данных со столбцом, содержащим массив строк. Пример таблицы:
name | words | ...
Ash | ["Apple", "Pear", "Plum"] | ...
Joe | ["Walnut", "Peanut"] | ...
Max | ["Pineapple", "Apple",...
13.11.2023
Скрипт Pig, генерирующий тысячи карт
По какой-то причине этот скрипт порождает 60 000 картографических заданий на небольшом входе:
A1 = LOAD '$directory1' USING CustomLoader AS key:chararray;
A = FOREACH A1 GENERATE CustomParser(key) AS key:chararray;
B = LOAD '$filename1' USING...
03.11.2023
как RAM используется в обработке mapreduce?
Необходимо разъяснение по обработке, такие демоны, как (namenode, datanode, jobttracker, средство отслеживания задач), все они лежат в кластере (кластер с одним узлом - они распределены на жестком диске). Каково использование ОЗУ или кеша при...
13.11.2023
Hadoop mapreduce — сопоставление исключения NullPointerException
Мне нужно написать простую программу уменьшения карты, которая, получив в качестве входных данных ориентированный граф, представленный в виде списка ребер, создает тот же граф, в котором каждое ребро (x, y) с x> y заменяется (y, x) и в выходном графе...
06.01.2024
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..