Nano Hash - криптовалюты, майнинг, программирование

Последовательный тест Шапиро-Уилка

Я пытаюсь определить нормальность значений в строках фрейма данных. В идеале я хочу рассчитывать тест Шапиро-Уилка для каждой строки (столько тестов, сколько строк находится во фрейме данных).

Реальный набор данных большой, но для этой цели я использую пример.

dput(example)
structure(c(103L, 122L, 40L, 107L, 124L, 108L, 89L, 102L, 40L, 
70L, 78L, 78L, 78L, 78L, 64L, 64L, 64L, 50L, 50L, 50L, 133L, 
64L, 55L, 64L, 108L, 124L, 108L, 146L, 13L, 40L, 122L, 124L, 
107L, 122L, 133L, 122L, 107L, 121L, 70L, 113L, NA, 108L, NA, 
40L, 122L, 89L, 36L, 113L, 26L, 26L, NA, 103L, NA, 55L, 153L, 
146L, 36L, NA, NA, 77L, NA, 133L, NA, 36L, 167L, 92L, 65L, NA, 
NA, 40L, NA, 107L, NA, 89L, 146L, NA, 92L, NA, NA, NA, NA, NA, 
NA, NA, NA, NA, NA, NA, NA, NA), .Dim = 10:9, .Dimnames = list(
    c("7", "10", "51", "62", "4", "5", "79", "16", "17", "243"
    ), c("centroid", "n_1", "n_2", "n_3", "n_4", "n_5", "n_6", 
    "n_7", "n_8")))

Как было сказано, я хотел бы проверить нормальность для каждой строки, и я предполагаю, что некоторые строки пройдут, а для других нормальность не будет рассчитана, потому что недостаточно значений или все они идентичны. На самом деле меня это очень интересует, поскольку я пытаюсь доказать, что это плохая идея. Я хотел бы, чтобы мои результаты были записаны в новый столбец, и если тест нормальности не может быть рассчитан, появится сообщение об ошибке (что-то ОШИБКА / ЛОЖЬ)

введите описание изображения здесь

Я могу вычислить Шапиро для любой строки вот так:

shapiro.test(example[1,])
    Shapiro-Wilk normality test

data:  example[1, ]
W = 0.9631, p-value = 0.7984

И я должен иметь возможность вычислять Шапиро для каждой строки следующим образом (не работает):

> apply(example, example[1:10,], shapiro.test) 
Error in d[-MARGIN] : only 0's may be mixed with negative subscripts

Я надеюсь, что кто-то может указать мне правильное направление. Спасибо!

r statistics normal-distribution
16.11.2020

Ответы:


1

Вы можете написать функцию для получения желаемого результата:

df <- structure(c(103L, 122L, 40L, 107L, 124L, 108L, 89L, 102L, 40L, 
                  70L, 78L, 78L, 78L, 78L, 64L, 64L, 64L, 50L, 50L, 50L, 133L, 
                  64L, 55L, 64L, 108L, 124L, 108L, 146L, 13L, 40L, 122L, 124L, 
                  107L, 122L, 133L, 122L, 107L, 121L, 70L, 113L, NA, 108L, NA, 
                  40L, 122L, 89L, 36L, 113L, 26L, 26L, NA, 103L, NA, 55L, 153L, 
                  146L, 36L, NA, NA, 77L, NA, 133L, NA, 36L, 167L, 92L, 65L, NA, 
                  NA, 40L, NA, 107L, NA, 89L, 146L, NA, 92L, NA, NA, NA, NA, NA, 
                  NA, NA, NA, NA, NA, NA, NA, NA), .Dim = 10:9, .Dimnames = list(
                    c("7", "10", "51", "62", "4", "5", "79", "16", "17", "243"
                    ), c("centroid", "n_1", "n_2", "n_3", "n_4", "n_5", "n_6", 
                         "n_7", "n_8")))

f.shapiro.stat <- function(x, n_diff_numbers = 3) {
  res <- ifelse(sum(!is.na(unique(x))) < n_diff_numbers, 'ERROR', shapiro.test(x)$statistic)
  return(res)
}

res <- apply(df, 1, f.shapiro.stat, n_diff_numbers = 3)

df2 <- as.data.frame(df)
df2$shapiro <- res
df2
> df2
    centroid n_1 n_2 n_3 n_4 n_5 n_6 n_7 n_8   shapiro
7        103  78 133 122  NA  NA  NA  NA  NA 0.9630974
10       122  78  64 124 108 103 133 107  NA 0.9225951
51        40  78  55 107  NA  NA  NA  NA  NA 0.9723459
62       107  78  64 122  40  55  36  89  NA 0.9552869
4        124  64 108 133 122 153 167 146  NA 0.9385053
5        108  64 124 122  89 146  92  NA  NA 0.9809580
79        89  64 108 107  36  36  65  92  NA 0.8915689
16       102  50 146 121 113  NA  NA  NA  NA 0.9307804
17        40  50  13  70  26  NA  NA  NA  NA 0.9911093
243       70  50  40 113  26  77  40  NA  NA 0.9238762

Функция также проверяет, достаточно ли вариаций в ваших данных. Пример:

> f.shapiro.stat(x = rep(1,1,1))
[1] "ERROR"
16.11.2020
  • Спасибо, это действительно работает. Но разве не предполагается, что первая строка имеет номер вместо NA? shapiro.test(df[1,]) p-value = 0.7984 16.11.2020
  • Нет, потому что в первой строке 5 НП, а это больше 4 (что проверяется в функции). Я отредактировал функцию так, что вы получите сообщение об ошибке, если все числа в строке равны. 16.11.2020
  • хорошо, понятно, я забыл объяснить, что NA следует просто игнорировать (биологические данные) Нормальность следует проверять только в реальных числах в строке. Но поскольку иногда в строке всего 2 числа, это должно приводить к ошибке. 16.11.2020
  • Если недостающие числа представлены символом NA, вы можете изменить строку ifelse(sum(is.na(x)) > n_NAs, NA, shapiro.test(x)$statistic) на ifelse(sum(is.na(x)) > n_NAs, "ERROR", shapiro.test(x)$statistic), и вы получите ERROR вместо NA. 16.11.2020
  • По-прежнему не работает, выдает ошибку в первом столбце, хотя не должно. Я не забочусь о НА. Если есть хотя бы 3 разных числа, я ожидаю pvalue. В противном случае, если меньше 3 или все они одинаковы, я ожидаю ОШИБКУ. Как в маленьком выдуманном примере. Извините, я не понял. 16.11.2020
  • Спасибо! Это действительно работает. Уже пробовал с большими наборами данных, и это идеально. 17.11.2020
  • Я только что понял, печатает ли буква W, поэтому я изменил его, чтобы он печатал p.value shapiro.test (x) $ p.value Еще раз спасибо 17.11.2020

    • 2 
    apply(example[1:10,], 1, shapiro.test)

    1 в середине - это измерение, к которому вы применяете функцию. 1 для строки, 2 для столбца.

    16.11.2020
  • Ты прав. Спасибо ! У меня все еще есть проблемы из-за NA и подобных номеров. Но в этом вы правы. Спасибо! 16.11.2020
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..