Выбор правильной метрики производительности для модели классификации (Часть 2): ROC-AUC и кривая P-R

Здравствуйте, читатели, в моем предыдущем блоге мы узнали, как мы можем выбрать правильную метрику для оценки наших моделей классификации, используя такие метрики, как точность, полнота, точность и F-оценка.

Сегодня мы поговорим еще о двух таких важных метриках — кривой ROC-AUC и кривой P-R (Precision-Recall) и о том, как они могут помочь нам оценить наши модели классификации.

Кривые ROC и кривые Precision-Recall — это диагностические инструменты, которые помогают в интерпретации бинарных (двухклассовых) моделей классификации. Графики из этих кривых могут быть созданы и использованы для понимания компромисса в производительности для различных пороговых значений при интерпретации прогнозов, сделанных моделью. Каждый из этих графиков дает оценку, т.е. оценку AUC (площадь под кривой), которая суммирует их и может пригодиться при сравнении различных моделей.

Давайте поговорим о кривой P-R (точность-отзыв)

Кривая точности-отзыва (или кривая PR) представляет собой график точности (ось Y) и отзыва (ось X) для различных порогов вероятности. Ориентация кривой PR на класс меньшинства делает ее эффективной диагностикой несбалансированных моделей бинарной классификации.

Точность количественно определяет количество сделанных правильных положительных прогнозов, а отзыв определяет количество правильных положительных прогнозов, сделанных из всех положительных прогнозов, которые могли быть сделаны.

Precision-Recall AUC суммирует кривую с диапазоном пороговых значений в виде единой оценки. Затем эту оценку можно использовать в качестве точки сравнения между различными моделями в задаче бинарной классификации, где оценка 1,0 представляет собой модель с отличными навыками.

Кривая ROC (или кривая рабочих характеристик приемника):

Она очень похожа на кривую точность/отзыв, но вместо того, чтобы строить график зависимости точности от отзыва, кривая ROC отображает процент истинно положительных результатов (отзывов) в сравнении с коэффициентом ложных срабатываний.

• TruePositiveRate = TruePositives / (TruePositives + False Negatives)
• FalsePositiveRate = FalsePositives / (FalsePositives + TrueNegatives), что также равно единице за вычетом истинно отрицательного показателя (отношение отрицательных случаев, которые правильно классифицируются как отрицательные). TNR
  также называют специфичностью.

Следовательно, кривая ROC отображает чувствительность (отзыв) Vs1 — специфичность, площадь под кривой можно рассчитать, чтобы получить единую оценку для модели классификатора по всем пороговым значениям. Это называется площадью ROC под кривой или ROC AUC, очень похожей на PR-AUC, которую мы обсуждали выше.

Теперь мы знаем, что представляют собой эти две кривые, но важно задать вопрос, как решить, какую из них использовать.

Кривые точности-отзыва рекомендуются для областей с сильным перекосом, где кривые ROC могут давать чрезмерно оптимистичное представление о производительности.

Как правило, вы должны отдавать предпочтение кривой PR, когда положительный
класс встречается редко или когда вас больше волнует ложный положительные, чем
ложноотрицательные, и ROC-кривая в противном случае.

Спасибо за прочтение, Ура :)