Я пытаюсь запустить следующий проект для сортировки набора данных.
Но когда я выполняю команду: Hadoop jar xx.jar /inputdir /output dir, я получаю следующую ошибку на терминале:
org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set.
В файле README проекта упоминается:
hadoop jar mrss-0.1.jar demo.SsJob -Dmapred.input.dir=data-stock -Dmapred.output.dir=result-stock
Вот ссылка на проект:
Я знаю, что это неудобно... но вам нужно поставить пробел после -D. То есть "-Dmapred.output.dir" следует указывать как "-D mapred.output.dir".
Это происходит потому, что передача конфигурации -D не работает с Hadoop, как с обычной конфигурацией jvm.
Более подробная информация об этом содержится в полном руководстве по Hadoop.
А к вашей проблеме? Пространство — это решение.
Вам необходимо добавить параметры для формата ввода для чтения из входного пути и формата вывода для записи в выходные пути. Вот пример того, как отправить вакансию:
// Create a new Job
Job job = Job.getInstance();
job.setJarByClass(MyJob.class);
// Specify various job-specific parameters
job.setJobName("myjob");
job.setInputPath(new Path("in"));
job.setOutputPath(new Path("out"));
job.setMapperClass(MyJob.MyMapper.class);
job.setReducerClass(MyJob.MyReducer.class);
// Submit the job, then poll for progress until the job is complete
job.waitForCompletion(true);
или вы можете передать это при выполнении jar, передав параметры в командной строке с помощью опции -D.
