Nano Hash - криптовалюты, майнинг, программирование

Моделирование тем R без использования create_matrix

Обычно при моделировании темы я использую что-то вроде:

matrix <- create_matrix(cbind(as.vector(lda_data)), language="english", removeNumbers=TRUE, weighting=weightTf)
k <- 20 #Hardcoded temp value
lda <- LDA(matrix, k, method = "Gibbs", control = list(iter = 1000, burnin = 1000))
Terms <- terms(lda, 20)

Но с набором данных среднего размера (3,2 миллиона строк) я получаю следующую ошибку при вычислении матрицы:

Warning message:
In nr * nc : NAs produced by integer overflow
Error in as.matrix(textColumns) : 
  error in evaluating the argument 'x' in selecting a method for function 'as.matrix': Error in vector(typeof(x$v), nr * nc) : vector size cannot be NA

Есть ли другая библиотека / подход, позволяющий избежать этой ошибки? (Код отлично работает с небольшими наборами данных)

В качестве альтернативы, при использовании TermDocumentMatrix в качестве матрицы для LDA мои результирующие термины полностью числовые, есть ли способ вместо них строк (слов)?

r topic-modeling
06.12.2014

  • Не знаю, как решить эту частную проблему в R, но если вы застряли, вы можете попробовать использовать другое приложение для моделирования тем. Если вы знаете Java, взгляните на Mallet, если вы знаете Python, посмотрите на Gensim. Существует также оригинальная реализация LDA Блея, написанная на C. 08.12.2014

Ответы:


1

Я использовал альтернативный подход к созданию матрицы, которая работает с большим набором данных:

dtm <- DocumentTermMatrix(donation_message, 
                          control = list(stemming = TRUE, stopwords = TRUE, 
                          removeNumbers = TRUE, removePunctuation = TRUE))

dtm <- removeSparseTerms(dtm, 0.99)
rowTotals <- apply(dtm , 1, sum) #Find the sum of words in each Document
dtm   <- dtm[rowTotals> 0, ] #Remove all docs without words

k <- 20 #Hardcoded temp value
lda <- LDA(dtm, k, method = "Gibbs", control = list(iter = 1000, burnin = 1000)) #seed = 1000, thin = 100
Terms <- terms(lda, 20)
08.12.2014
  • Такой подход просто уменьшает размер матрицы, удаляя из нее информацию. Например, удаление разреженных терминов через dtm <- removeSparseTerms(dtm, 0.99). Это не решает проблему OP, если они хотят иметь матрицу и не хотят прибегать к удалению разреженных терминов, стоп-слов и т. Д. (Т.е. массивная потеря информации). 30.11.2016
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..