Ferramenta Diagnóstico K-Centroides

A ferramenta Diagnóstico K-Centroides foi desenvolvida para permitir que o usuário faça uma avaliação do número adequado de clusters para especificar os dados e o algoritmo de clustering selecionado (K-Means, K-Medians ou Neural Gas). A ferramenta é gráfica e baseada no cálculo de duas estatísticas diferentes com amostras de réplicas de bootstrap dos dados originais para um intervalo de soluções de cluster, que é diferente conforme o número de clusters especificados. A lógica desta abordagem é que, se os registros em um banco de dados realmente se enquadram em um conjunto de clusters estáveis, isso significa que um conjunto de amostras aleatórias diferentes desses registros deve resultar aproximadamente no conjunto de clusters que envolvem as réplicas de bootstrap, exceto por pequenas diferenças que ocorrem por causa da variabilidade da amostra aleatória e da aleatoriedade induzida pelo método utilizado para gerar o conjunto inicial de centroides, por meio da seleção aleatória de K pontos, no algoritmo geral do K-Centroides. As duas medidas examinadas são o índice Rand ajustado e o índice Calinski-Harabasz (também conhecido como critérios da razão de variância e estatística pseudo F).

O índice Rand ajustado fornece uma medida de similaridade entre duas soluções de clustering diferentes, extraindo o valor máximo de uma delas quando as duas se sobrepõem perfeitamente.* É possível usar o índice para determinar a reprodutibilidade relativa e absoluta de uma solução de cluster comparando pares de soluções, em que cada par é baseado em uma amostra diferente de dados de clientes. Quanto maior a sobreposição entre os pares de soluções, maior a reprodutibilidade da estrutura do cluster.

O índice Calinski-Harabasz é baseado na comparação da proporção ponderada entre a soma de quadrados entre clusters (a medida da separação de clusters) e a soma de quadrados dentro do cluster (a medida do quanto os pontos estão compactados dentro de um cluster). De preferência, os clusters devem ser bem separados, de modo que o valor da soma de quadrados do cluster deve ser grande, mas os pontos dentro de um cluster devem ser o mais próximo possível uns dos outros, resultando em valores menores da medida da soma de quadrados dentro do cluster. Como o índice Calinski-Harabasz é uma proporção, com a soma de quadrados entre clusters no numerador e a soma de quadrados dentro do cluster no denominador, as soluções de cluster com valores maiores do índice correspondem a soluções "melhores" do que aquelas com valores menores.

A saída da ferramenta é a informação sobre a distribuição das duas estatísticas para números diferentes de clusters nas réplicas de bootstrap. A informação é transmitida por meio de dois gráficos de caixa e whisker (um por índice Rand ajustado e índice Calinski-Harabasz) e estatísticas de resumo para as duas medidas. O número preferencial de clusters com base em cada medida corresponde a um com a média mais alta e a mediana das soluções comparadas. Além disso, é desejável que a dispersão nas estatísticas calculadas das réplicas de bootstrap não seja muito grande.

Essa ferramenta pode ser muito intensiva em termos de computação. A intensidade depende do número de registros utilizados no cálculo (o que pode ser alterado por meio da opção de expressão de subconjunto), do número de soluções de cluster diferentes examinadas (determinado pelo intervalo entre o número mínimo e máximo de clusters), do número de réplicas de bootstrap e do número de sementes iniciais diferentes utilizadas para cada solução de cluster (o número da opção de sementes iniciais). A redução do número de réplicas de bootstrap utilizadas reduziu bastante o tempo necessário de computação, mas à custa de grande perda de precisão. Para a análise real, a recomendação é nunca usar menos de 100 réplicas de bootstrap e usar mais se possível.

Essa ferramenta utiliza a ferramenta R. Vá para Opções > Baixar ferramentas preditivas e faça login no portal de Downloads e Licenças da Alteryx para instalar o R e os pacotes usados pela ferramenta R. Consulte Baixar e utilizar ferramentas preditivas.