Um guia prático sobre a diferença deles, com exemplos!

Um coeficiente de correlação mede o quanto duas variáveis ​​tendem a mudar uma em relação à outra. O coeficiente descreve tanto a direção quanto a força do relacionamento. Neste artigo, veremos dois dos métodos de cálculo de correlação mais populares: Correlação de Pearson e Correlação de Spearman .

Correlação de Pearson (P)

A correlação de Pearson (em homenagem a Karl Pearson ) é usada para mostrar a relação linear entre duas variáveis. É calculado como:

A correlação de Pearson retorna um valor entre [-1, 1], com 1 significando correlação positiva total e -1 correlação negativa total.

A Correlação de Pearson usa média e desvio padrão no cálculo, o que implica que é um método paramétrico e assume uma distribuição do tipo Gaussiana para os dados.

A Correlação de Pearson é o método mais popular de calcular a correlação e tende a ser a implementação padrão em muitas linguagens de programação. Por exemplo, se você executar o método corr() em um dataframe Pandas, ele calculará a correlação de Pearson por padrão, a menos que você a substitua explicitamente.

O problema com a Correlação de Pearson é que ela é sensível a outliers e pode levar você a uma conclusão errada dependendo dos dados . Tem um exemplo abaixo. Mas primeiro, vamos falar brevemente sobre o que é a Correlação de Spearman.

Correlação de Spearman (S)

A correlação de Spearman (em homenagem a Charles Spearman ) é a versão não paramétrica das correlações de Pearson. É usado quando:

• A relação entre as duas variáveis ​​não é linear (por exemplo, uma relação que às vezes é mais forte e às vezes mais fraca dependendo dos dados).
• As variáveis ​​têm uma distribuição não-Gaussiana.

Um Exemplo Prático: Pearson vs. Spearman

Chega de teoria até agora, então vamos ver um exemplo em que a correlação de Pearson sozinha não é suficiente para tirar uma conclusão.

Imagine se tivermos dois arrays x e y . Há uma correlação positiva na maioria das linhas, o que significa que à medida que x aumenta, y também aumenta .

Usamos Python para calcular a correlação de Pearson e Spearman em x e y, e notamos algo estranho: a correlação de Pearson é negativa , mas a correlação de Spearman é positiva . O que está acontecendo?

Criamos um gráfico de dispersão dos dados e notamos que há um grande outlier nos dados. Isso corresponde à última linha no conjunto de dados: sua magnitude (1000) é bastante grande em relação às outras amostras no array x , o que fez com que a correlação de Pearson fosse negativa, apesar de uma correlação positiva geral entre a maioria das linhas.

Agora que sabemos que há um outlier nos dados, podemos removê-lo da amostra e recalcular a correlação de Pearson (P) e Spearman (S) . Desta vez, P e S estão muito mais próximos um do outro.

Este exemplo nos mostra que a correlação de Pearson é sensível a valores extremos nos dados. Quando tais anomalias são contabilizadas OU removidas, Pearson e Spearman devem produzir valores semelhantes, o que significa que você não precisa se preocupar com eles.

Agora podemos plotar os mesmos gráficos de dispersão para os dados originais e os dados com valores discrepantes removidos. A inclinação da linha azul representa o coeficiente de correlação usando Pearson (P) , e é claro que a correlação fracamente negativa se tornou uma correlação fortemente positiva quando o valor discrepante é removido dos dados.

Como regra geral, quando você estiver fazendo a exploração de dados, é recomendável calcular a correlação de Pearson e Spearman. Isso ocorre porque qualquer diferença entre os dois pode lançar luz adicional sobre a relação entre as variáveis, bem como quaisquer anomalias nos próprios dados.

Quando usar Pearson vs. Spearman?

Método 1:

• Use a correlação de Pearson quando achar que a relação das variáveis ​​é linear
• Correlação do usuário Spearman quando você acha que o relacionamento é monótono

• Use a correlação de Pearson quando os dados forem medidos em uma escala de intervalo, por exemplo, altura das pessoas, distância entre locais.
• Use a correlação de Spearman quando os dados forem medidos em uma escala ordinal, OU quando os valores discrepantes forem ordens de magnitude maiores do que a maioria dos pontos de dados, por exemplo, pontuação de satisfação do cliente, classificações de filmes, flutuações no preço das ações, renda individual.

• Como regra geral, você deve tentar calcular a correlação de Pearson (P) e Spearman (S) , pois isso forneceria algumas informações adicionais. Se eles estiverem muito próximos, então você não precisa se preocupar.
• Se S e P forem muito diferentes, você deve verificar se há discrepâncias nos dados e considerar removê-las ou substituí-las do cálculo. A correlação de Spearman é mais robusta para outliers do que a correlação de Pearson.
• Se S >> P ou S << P , isso significa que a correlação é monotônica, mas não linear. Você pode tentar alguns métodos de transformação de dados (por exemplo, transformação de log) para expor a correlação com mais clareza.
• Use gráficos de dispersão para examinar seus dados — ambos os métodos mostram apenas relações lineares ou monotônicas, mas outras relações também são possíveis.

• Funções lineares, exponenciais versus quadráticas : qual é a diferença?
• Probabilidade vs. Probabilidade : Qual é a diferença?
• Variância, Covariância e Correlação : Qual é a diferença?
• Média geométrica vs. média aritmética : Qual é a diferença?
• Regressão Linear vs. Modelos Lineares Generalizados (GLM) : Qual é a diferença?
• Bernoulli vs. Distribuição Binomial: Qual é a diferença?