Nano Hash - криптовалюты, майнинг, программирование

Создайте каталог на удаленных hdfs с локального хоста, используя java

Создайте каталог на удаленной HDFS с локального хоста

Написал код, но не понимаю, что и где писать core-site.xml и hdfs-site.xml.

public class HadoopCall {

    public void demomkdir(String dir) throws IOException
    {
        Configuration obj = new Configuration();

        obj.set("fs.defaultFS", "http://datlpdsnn01.pds.in.****.com:50070/");
        FileSystem fs = FileSystem.get(obj);

        Path pth = new Path(dir);
        fs.mkdirs(pth);
        System.out.println("created");
        fs.close(); 
    }

    public static void main(String[] args) throws IOException {
        HadoopCall oj = new HadoopCall();
        oj.demomkdir("user/*******/javacodemkdir");
    }

}
30.05.2019

Ответы:


1

Ссылка: класс конфигурации Hadoop

Как указано в приведенной выше ссылке:

core-default.xml: значения по умолчанию только для чтения для hadoop.

core-site.xml: Конфигурация для конкретного сайта для данной установки Hadoop.

Оба являются файлами с конфигурацией, характерной для установки, и по умолчанию. Вы можете добавить путь к любому из приведенных выше xml с помощью метода addResource(Path path). Если пути не указаны, пути к файлам xml выводятся из переменных пути к классам.

30.05.2019
  • на самом деле мой проект находится в Eclipse, который находится на моей локальной машине. Я хочу знать, должен ли я создавать вручную core-site.xml и т. д. или он будет автоматически браться с сервера! Пожалуйста, свяжитесь с нами, потому что я не нахожу никого с ответом 30.05.2019
  • также не могли бы вы сказать, какие зависимости я должен включить в build.gradle. У меня есть Hadoop 2.6.0-cdh5.14.2. Также Eclipse Oxygen, Java 1.8 на локальной машине. Hadoop — это еще один сервер. У меня есть два активных namenodes. Я могу использовать команду ssh для входа в hdfs. Но я не админ 30.05.2019
  • Вы можете использовать эту ссылку, чтобы начать работу: quickprogrammingtips .com/java/ 30.05.2019
  • Мой hdfs не находится на моем локальном компьютере. Это на удаленном сервере. Должен ли я вводить пароль. Поскольку он находится на удаленном сервере, я не знаю, где находится core-site.xml? 31.05.2019
  • проверьте это: stackoverflow.com/questions/15941108/ 31.05.2019
  • Большое спасибо, теперь это сработало. Большое спасибо! Продолжайте помогать. Спасибо 31.05.2019
  • Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..