Nano Hash - криптовалюты, майнинг, программирование

Получение p-значений из исключений в R

У меня есть база данных из 96 наблюдений (пациентов) и 1098 переменных (генов). Ответ является двоичным (Y и N), а предикторы являются числовыми. Я пытаюсь выполнить перекрестную проверку с исключением одного, но меня интересует не стандартная ошибка, а p-значения для каждой переменной из каждой из 95 моделей логистической регрессии, созданных из LOOCV. Это мои попытки до сих пор:

#Data frame 96 observations 1098 variables
DF2

fit <- list()

for (i in 1:96){
  df <- DF2[-i,]
 fit[[i]] <- glm (response ~., data= df, family= "binomial")
 }
 model_pvalues <- data.frame(model = character(), p_value = numeric())

Эти выходные данные соответствуют большому списку с 16 элементами и списку из 30: $ коэффициенты, $ остатки, $ приспособленные. значения ....

Попытка 1:

for (i in length(fit)){ 
  model_pvalues <- rbind(model_pvalues, coef(summary(fit[[i]])))
}

Это выводит в "model_pvalues" 95 наблюдений (перехват и 94 переменные) и 4 переменные: оценка, стандарт. Ошибка, значение z, Pr(>|z|). Однако то, что я действительно пытаюсь получить, - это значение p для всех 1097 переменных для 95 моделей, построенных путем исключения одной перекрестной проверки.

Попытка 2:

for (i in length(fit)){ 
  model_pvalues <- rbind(model_pvalues, coef(summary(fit[[i]]))[4])
}

Когда я запустил это, я получил одно число (не уверен, откуда, предполагая бета-версию) для одной переменной.

Попытка 3:

for (i in 1:96){
  df <- DF2[-i,]
  fit[[i]] <- glm (response ~., data= df, family= "binomial")
  model_pvalues <- rbind(model_pvalues, coef(summary(fit[[i]])))
}

Когда я запускаю это, я получаю кадр данных из 1520 наблюдений 4 переменных: оценка, стандарт. Ошибка, значение z, Pr(>|z|). Наблюдения начинаются с (Intercept), за которым следуют 82 переменные. После этого он повторяет этот шаблон с (Intercept1) и теми же 82 переменными, вплоть до (Intercept15).

Итак, моя конечная цель — создать 95 моделей с помощью LOOCV и получить p-значения для всех 1097 переменных, используемых во всех моделях. Любая помощь будет очень высоко ценится!

Изменить: пример данных (настоящие наблюдения DF 96 для 1098 переменных)

  Response  X1  X2  X3  X4  X5  X6  X7  X8  X9  X10

P1  N       1   1   1   0   1   0   1   0   2    2
P2  N       2   1   1   0   2   2   1   2   2    2
P3  N       2   1   2   1   1   0   1   1   0    1
P4  Y       1   1   2   0   1   0   0   1   1    1
P5  N       2   2   1   1   1   0   0   0   1    1
P6  N       2   1   2   1   1   0   0   0   2    1
P7  Y       2   1   1   0   2   0   0   0   2    0
P8  Y       2   1   1   0   2   0   0   1   0    2
P9  N       1   1   1   0   2   0   0   0   1    0
P10 N       2   1   2   1   1   0   1   0   0    2
r bioinformatics cross-validation
02.10.2016

Ответы:


1

Для n наблюдений (96 для ваших реальных данных, 10 в примере данных) и p переменных (1098 для ваших реальных данных, 10 в примере данных) приведенный ниже код должен извлекать p строки на n столбца матрицы p-значений. Я чувствую себя обязанным предупредить вас, что попытка подогнать случай n<<p (очень мало наблюдений по отношению к количеству параметров), вероятно, будет иметь чрезвычайно плохие статистические свойства и, возможно, даже невозможна, если вы не используете такой метод, как штрафная регрессия... это также, вероятно, причина того, что так много ваших параметров отсутствуют в оценках (т.е. вы получаете только 94 из возможных 1097 переменных) - тем более, что ваши шаблоны выражений просты (только 0, 1 или 2), большое количество параметров коллинеарны и не могут быть оценены совместно (вы также должны были видеть много NA в вашей исходной модели).

Получить пример данных:

DF2 <- read.table(row.names=1,header=TRUE,text="
Resp. X1  X2  X3  X4  X5  X6  X7  X8  X9  X10
P1  N   1   1   1   0   1   0   1   0   2   2
P2  N   2   1   1   0   2   2   1   2   2   2
P3  N   2   1   2   1   1   0   1   1   0   1
P4  Y   1   1   2   0   1   0   0   1   1   1
P5  N   2   2   1   1   1   0   0   0   1   1
P6  N   2   1   2   1   1   0   0   0   2   1
P7  Y   2   1   1   0   2   0   0   0   2   0
P8  Y   2   1   1   0   2   0   0   1   0   2
P9  N   1   1   1   0   2   0   0   0   1   0
P10 N   2   1   2   1   1   0   1   0   0   2")

Подходящие модели

n <- nrow(DF2)
fit <- vector(mode="list",n) ## best to pre-allocate objects
for (i in 1:n) {
  df <- DF2[-i,]
  fit[[i]] <- glm (Resp. ~., data= df, family= "binomial")
}

В этом случае мы должны быть немного осторожны, извлекая p-значения, потому что из-за коллинеарности некоторые из них отсутствуют - R оставляет NA в векторе коэффициентов (coef()) для неоцененных параметров, но не делает это аналогичным образом. заполнить строки таблицы коэффициентов в сводке.

tmpf <- function(x) {
    ## extract coef vector - has NA values for collinear terms
    ## [-1] is to drop the intercept
    r1 <- coef(x)[-1]
    ## fill in values from p-value vector; leave out intercept with -1,
    r2 <- coef(summary(x))[-1,"Pr(>|z|)"]
    r1[names(r2)] <- r2
    return(r1)
}
pvals <- sapply(fit,tmpf)

Конечно, для примера с игрушкой все p-значения по существу равны 1...

## round(pvals,4)
##       [,1]   [,2]   [,3]   [,4]   [,5]   [,6]   [,7]   [,8]   [,9]  [,10]
## X1  0.9998 0.9998 0.9998 0.9998 0.9998 0.9998 0.9999 0.9998 0.9999 0.9998
## X2  0.9999 0.9999 0.9999 0.9999     NA 0.9999 0.9999 0.9999 0.9999 0.9999
## X3  0.9999 0.9999 0.9999 0.9999 0.9999 0.9998 0.9999 0.9999 0.9999 0.9999
## X4  0.9998 0.9998 0.9998     NA 0.9998 0.9998 0.9998 0.9998 0.9998 0.9998
## X5      NA 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000     NA 1.0000
## X6  0.9999     NA 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999 0.9999
## X7  1.0000 1.0000 1.0000 1.0000 1.0000     NA 1.0000 1.0000 1.0000 1.0000
## X8  1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000
## X9  1.0000 1.0000     NA 1.0000 1.0000 1.0000     NA     NA 1.0000     NA
## X10     NA     NA     NA     NA     NA     NA     NA     NA     NA     NA
02.10.2016
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..