Nano Hash - криптовалюты, майнинг, программирование

Тестирование модели стохастического градиентного спуска в Apache Mahout на Java

Я новичок в Apache Mahout, и мне было интересно, как я могу протестировать модель, которую я обучил с помощью алгоритма стохастического градиентного спуска.

У меня есть пример Java, в котором я обучаю алгоритм OnlineLogisticRegression с набором данных из 20 групп новостей.

Вы можете увидеть этот пример здесь:

https://github.com/jpatanooga/MahoutExamples/blob/master/src/main/java/com/cloudera/mahout/classification/sgd/TwentyNewsgroups.java

Теперь у меня нет кода Java для тестирования моего обученного алгоритма. Как известно, после обучения алгоритм нам необходимо его протестировать.

В командной строке документация mahout предлагает сделать (этот пример предназначен для классификатора nayve bayes, но я предполагаю, что в SGD он должен быть таким же):

  $ mahout testnb 
        -i ${WORK_DIR}/20news-test-vectors
        -m ${WORK_DIR}/model 
        -l ${WORK_DIR}/labelindex 
        -ow 
        -o ${WORK_DIR}/20news-testing 
        -c

У меня есть набор данных для тестирования и обученная модель. Как я могу сделать ?

java classification mahout
04.06.2014

Ответы:


1

В руководстве по 20 группам новостей обсуждается сценарий тестирования для запуска примеров. Заглянув внутрь этого скрипта, вы увидите, что команда testnb не используется для проверки стохастического спуска.

Если вы следуете инструкциям (цитируется ниже), вы можете запустить модель стохастического спуска в том виде, в каком они ее предоставляют -

If running Hadoop in cluster mode, start the hadoop daemons by executing the following commands:

    $ cd $HADOOP_HOME/bin
    $ ./start-all.sh

Otherwise:

    $ export MAHOUT_LOCAL=true

In the trunk directory of Mahout, compile and install Mahout:

    $ cd $MAHOUT_HOME
    $ mvn -DskipTests clean install

Run the 20 newsgroups example script by executing:

    $ ./examples/bin/classify-20newsgroups.sh

If you'd like to know what they're doing, the key is in the last few lines of the script I mentioned above. The command that replaces testnb is as follows:

./bin/mahout org.apache.mahout.classifier.sgd.TestNewsGroups --input $ {WORK_DIR} / 20news-bydate / 20news-bydate-test / --model /tmp/news-group.model

20.11.2014
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..