Я новичок в Spark и пытаюсь прочитать файл последовательности и использовать его в задаче классификации. Вот как я читаю файл последовательности
val tfidf = sc.sequenceFile("/user/hadoop/strainingtesting/tfidf-vectors", classOf[Text], classOf[VectorWritable])
Я не знаю, как разделить каждую строку файла последовательности на вкладку? то есть как получить значение Text?
Как я могу использовать его для классификатора NAiveBayes в Mllib?
sc.sequenceFile возвращает RDD кортежей ключ/значение (объекты Tuple2 в Scala). Поэтому, если вам просто нужен RDD текста, вы можете сделать map, чтобы просто подобрать ключи в каждой строке файла.
val text = tfidf.map(_._1)
Наивный байесовский алгоритм ожидает на входе СДР помеченных векторов. И поскольку не существует тривиального способа конвертировать ваши объекты VectorWritable, возможно, вы можете использовать утилиту векторного дампа mahout для фактического преобразования ваших файлов последовательности в текстовые файлы. А потом читать в искру.
mahout vectordump \
-i /user/hadoop/strainingtesting/tfidf-vectors \
-d /user/hadoop/strainingtesting/dictionary.file-\* \
-dt sequencefile -c csv -p true \
-o /user/hadoop/strainingtesting/tf-vectors.txt
А теперь прочитайте текстовые файлы в Spark с помощью sc.textFile и выполните необходимые преобразования.
