Если вы столкнулись с проблемой class-imbalance, отличным вариантом будет multi-class geometric mean между точностью и полнотой, взвешенной по метке supports (количество выборок позиции для каждой метки) (это разрешено в imblearn API, который вы связали, с параметром average='weighted').
Однако IIUC — это не то, что вам нужно. Вы пытаетесь получить средневзвешенное геометрическое между precision и recall.
Я не смог найти никаких реализаций взвешенного среднего геометрического в популярных библиотеках, поэтому я написал для этого специальную функцию.
Вы можете рассчитать precision и recall с помощью sklearn API из y_true и y_pred, а затем использовать функцию для вычисления weighted geometric mean.
Я написал функцию weighted_geometric_mean на основе следующего определения (первая форма со степенями вместо экспонент) -
from sklearn.metrics import precision_score, recall_score
y_true = [0, 1, 2, 0, 1, 2]
y_pred = [0, 2, 1, 0, 0, 1]
precision = precision_score(y_true, y_pred, average='micro')
recall = recall_score(y_true, y_pred, average='micro')
#parameter 'micro' calculates metrics globally by counting the total TP, FN and FP
scores = [precision, recall]
weights = [0.6,0.4] #60% precision, 40% recall
def weighted_geometric_mean(scores, weights):
wgm = np.product(np.power(scores, weights))
return wgm
weighted_geometric_mean(scores, weights)
0.3333333333333333
Вышеупомянутая реализация использует глобальную точность и отзыв с параметром micro. Если вы хотите учитывать веса классов для расчета точности и отзыва (для ситуаций дисбаланса классов), установите для него значение weighted.
Редактировать. Обратите внимание, что взвешенное среднее геометрическое между глобальной точностью и полнотой с весами, которые в сумме составляют 1 (60:40 или 50:50 и т. д.), всегда будет давать одно и то же конечное значение! Вы можете получить это, написав точность в форме TP, FP и то же самое для отзыва. Поэтому я бы порекомендовал поддерживать метки weighted точности и отзыва.
02.01.2021
