На пути изучения контролируемых методов машинного обучения в этом посте дается краткий обзор квадратичного дискриминантного анализа, который в основном является расширением ранее обсуждавшегося c940f366a463» линейный дискриминантный анализ, поэтому давайте начнем с понимания квадратичного дискриминантного анализа.
что такое квадратичный дискриминантный анализ?
Квадратичная дискриминация является общей формой байесовской дискриминации. Дискриминантный анализ используется для определения того, какие переменные различают две или более встречающиеся в природе группы. Отличие от LDA заключается в смягчении предположения о том, что среднее значение и ковариация всех классов были равны.
Работающий:
QDA — это вариант LDA, в котором для каждого класса наблюдений оценивается индивидуальная ковариационная матрица. QDA особенно полезен, если заранее известно, что отдельные классы демонстрируют различные ковариации.
В QDA нам нужно оценить Σk для каждого класса k∈{1,…,K}, а не предполагать Σk=Σ, как в LDA. Дискриминантная функция LDA квадратична по x:
δk(x)=−12log|Σk|−12(x−µk)TΣ−1k(x−µk)+logπk.
Поскольку QDA оценивает ковариационную матрицу для каждого класса, она имеет большее количество эффективных параметров, чем LDA. Мы можем получить количество параметров следующим образом.
Нам нужны K априоров класса πk. Поскольку ∑Ki=1πk=1, нам не нужен параметр для одного из априоров. Таким образом, для априоров имеется K−1 свободных параметров.
Поскольку имеется K центроидов, µk, с p элементами в каждом, существуют параметры Kp, относящиеся к средним значениям.
Из ковариационной матрицы Σk нам нужно рассмотреть только диагональ и верхний правый треугольник. Эта область ковариационной матрицы имеет p(p+1)2 элемента. Поскольку необходимо оценить K таких матриц, существуют параметры Kp(p+1)2, относящиеся к ковариационным матрицам.
Таким образом, эффективное число параметров КДА равно K−1+Kp+Kp(p+1)2.
Поскольку количество параметров QDA квадратично по p, QDA следует использовать с осторожностью, когда пространство признаков велико.
Предположения
- QDA предполагает, что наблюдения за каждым классом взяты из нормального распределения (аналогично линейному дискриминантному анализу).
- QDA предполагает, что каждый класс имеет свою собственную ковариационную матрицу (отличную от линейного дискриминантного анализа).
Преимущества:
Преимущество квадратичного дискриминантного анализа перед линейным дискриминантным анализом и линейной регрессией заключается в том, что когда границы решений являются линейными, линейный дискриминантный анализ и логистическая регрессия будут работать хорошо.
Недостаток:
QDA заключается в том, что его нельзя использовать в качестве метода уменьшения размеров.
В этом посте мы получили обзор того, что такое квадратичный детерминантный анализ, каковы его предположения, рабочий процесс, а также его преимущества и недостатки. Этот пост поможет вам изучить методы машинного обучения с учителем.
Спасибо, читатели, удачи в обучении!!!
Использованная литература :
