Я занимаюсь кластеризацией с помощью библиотеки Accord.net. В конечном счете, я пытаюсь найти оптимальное количество кластеров для использования с методом локтя что требует относительно простых расчетов. Однако мне трудно получить значения, необходимые для определения наилучшего числа K для использования в моем KMeans моделировании.
У меня есть пример данных/кода:
open Accord
open Accord.Math
open Accord.MachineLearning
open Accord.Statistics
open Accord.Statistics.Analysis
let x = [|
[|4.0; 1.0; 1.0; 2.0|];
[|2.0; 4.0; 1.0; 2.0|];
[|2.0; 3.0; 1.0; 1.0|];
[|3.0; 6.0; 2.0; 1.0|];
[|4.0; 4.0; 1.0; 1.0|];
[|5.0; 10.0; 1.0; 2.0|];
[|7.0; 8.0; 1.0; 2.0|];
[|6.0; 5.0; 1.0; 1.0|];
[|7.0; 7.0; 2.0; 1.0|];
[|5.0; 8.0; 1.0; 1.0|];
[|4.0; 1.0; 1.0; 2.0|];
[|3.0; 5.0; 0.0; 3.0|];
[|1.0; 2.0; 0.0; 0.0|];
[|4.0; 7.0; 1.0; 2.0|];
[|5.0; 3.0; 2.0; 0.0|];
[|4.0; 11.0; 0.0; 3.0|];
[|8.0; 7.0; 2.0; 1.0|];
[|5.0; 6.0; 0.0; 2.0|];
[|8.0; 6.0; 3.0; 0.0|];
[|4.0; 9.0; 0.0; 2.0|]
|]
и я могу достаточно легко генерировать кластеры с помощью
let kmeans = new KMeans 5
let kmeansMod = kmeans.Learn x
let clusters = kmeansMod.Decide x
но как я могу рассчитать расстояние от любой заданной точки данных x до назначенного ему кластера? Я не вижу ничего в KMeans документации по классу Cluster Collection, что предполагает наличие уже метод, реализованный для этой проблемы.
Кажется, что рассчитать это расстояние должно быть относительно просто, но я в растерянности. Было бы так же просто, как сделать что-то вроде
let dataAndClusters = Array.zip clusters x
let getCentroid (m: KMeansClusterCollection) (i: int) =
m.Centroids.[i]
dataAndClusters
|> Array.map (fun (c, d) -> (c, (getCentroid kmeansMod c)
|> Array.map2 (-) d
|> Array.sum))
который возвращает
val it : (int * float) [] =
[|(1, 0.8); (0, -1.5); (1, -0.2); (0, 1.5); (0, -0.5); (4, 0.0); (2, 1.4);
(2, -3.6); (2, 0.4); (3, 0.75); (1, 0.8); (0, 0.5); (1, -4.2); (3, -0.25);
(1, 2.8); (4, 0.0); (2, 1.4); (3, -1.25); (2, 0.4); (3, 0.75)|]
Правильно ли я вычисляю это расстояние? Я подозреваю, что нет.
Как я уже упоминал, я пытаюсь определить правильное количество K для использования в KMeans кластеризации. Я просто подумал, что буду использовать простой алгоритм, изложенный во втором абзаце . Обратите внимание, что я не возражаю против использования "статистики пробелов", ссылка на которую приведена в нижней части верхнего ответа.
