Nano Hash - криптовалюты, майнинг, программирование

Эффективный способ создания матрицы совпадений

Я хочу сгенерировать простую матрицу совпадений, я искал пакеты R, но пока не смог найти тот, который выполняет этот расчет, я не знаю, отличается ли английский термин для этой матрицы от португальского... поэтому , это то, что мне нужно сделать.

У меня есть матрица:

     [,1] [,2] [,3] [,4]
[1,]  1    1    2     1
[2,]  1    2    3     1
[3,]  2    3    1     2
[4,]  1    2    3     3

Матрица совпадений будет рассчитана, сравнивая каждый элемент построчно, чтобы сгенерировать расстояние несходства по формуле:

Diss = 1 - (Coincidences / (Coincidences + Discordance)) 

Таким образом, моя результирующая матрица является симметричной с тусклыми 4x4 и диагональными элементами, равными 0, поэтому в примере мой A (1,2) будет:

A(1,2) = 1 - (2 / 4) = 0.5
A(1,3) = 1 - (0/4) = 1.0

И так далее...

Я создал функцию для создания этой матрицы:

cs_matrix <- function (x) {

  cs.mat <- matrix(rep(0,dim(x)[1]^2), ncol = dim(x)[1])

  for (i in 1:dim(x)[1]){

    for (j in 1:dim(x)[1]){

      cs.mat[i,j] <- 1 - (sum(x[i,] == x[j,]) / dim(x)[2])
    }
  } 
  return(cs.mat)
}

Функция работает нормально, но мой фактический набор данных содержит 2560 наблюдений 4 переменных, таким образом создавая матрицу совпадений 2560 x 2560, и для выполнения вычислений требуется довольно много времени. Интересно, есть ли более эффективный способ расчета этого или даже существует ли уже пакет, который может вычислить это расстояние несходства. Эта матрица позже будет использоваться в кластерном анализе.


  • Вы имели в виду Дисс = 1 - (Совпадения / (Совпадения + Несоответствие))? 25.09.2019
  • Кроме того, разве диагональ не должна быть равна нулю, поскольку каждая строка подобна самой себе? 25.09.2019
  • Да @Gabriel, спасибо, что указали на это. 25.09.2019
  • @JorisChau да, диагональные элементы равны нулю, я думал о значениях сходства. Спасибо. 25.09.2019

Ответы:


1

Я думаю, вы можете использовать outer

add <- function(x, y) sum(mat[x, ] == mat[y,])
nr <- seq_len(nrow(mat))
mat1 <- 1 - outer(nr, nr, Vectorize(add))/ncol(mat)
mat1

#     [,1] [,2] [,3] [,4]
#[1,] 0.00 0.50    1 0.75
#[2,] 0.50 0.00    1 0.25
#[3,] 1.00 1.00    0 1.00
#[4,] 0.75 0.25    1 0.00

Если диагональных элементов должно быть 1, сделайте diag(mat1) <- 1.

данные

mat <- structure(c(1, 1, 2, 1, 1, 2, 3, 2, 2, 3, 1, 3, 1, 1, 2, 3), .Dim = c(4L,4L))
25.09.2019
  • Благодарю вас! Я посмотрю на внешнюю функцию! 25.09.2019
  • Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..