Um dos métodos mais utilizados em Modelagem Econométrica - 'Regressão Logística'. A regressão logística é uma técnica de classificação e não uma técnica de regressão como o nome sugere. Então, por que é chamado de ' Regressão Logística ' quando é uma técnica de classificação ? O que o torna um método amplamente utilizado em Modelagem Econométrica?
Por que é assim chamada 'Regressão Logística' quando é uma técnica de classificação? Antes de responder à pergunta acima, vamos examinar nosso entendimento do que significa Regressão e Classificação.
Nos referimos a um processo estatístico como 'Regressão' quando o resultado do processo é uma variável contínua. (por exemplo, 0, 1, 2, 3, etc.) Nos referimos a um processo estatístico como 'Classificação' quando o resultado do processo é uma variável categórica (por exemplo, Sim / Não).
Ao contrário de outros modelos de classificação, a regressão logística não funciona em variáveis de resposta 'categóricas' diretamente. Em outras palavras, modelos de classificação como SVM, K-vizinhos mais próximos, árvores de decisão usam as variáveis de resposta categóricas como 'Sim / Não', 'Doente / Não doente', etc. diretamente enquanto aprendem os dados durante a construção do modelo. Mas, para a regressão logística, essas variáveis devem ser codificadas em valores numéricos como 0 e 1. (por exemplo, 1 representa 'doente' e 0 representa 'não doente'.) A regressão logística é tecnicamente uma regressão no logit do evento, ou seja, , logit (1 / (1-P)) onde 'P' é a probabilidade do evento. Quando codificamos variáveis categóricas, Probabilidade é a probabilidade de um evento acontecer / não acontecer (por exemplo, Doença / Não Cair). Ao contrário de outros algoritmos de classificação, a regressão logística fala sobre a probabilidade de um evento acontecer, digamos,a probabilidade de uma pessoa A adoecer é de 90%; e B adoecer é de 30%. Portanto, como uma regressão logística funciona sobre a probabilidade que pode variar entre 0 e 1 (chance de 0% e 100%), vemos as probabilidades como variáveis contínuas neste caso. Conseqüentemente, a palavra 'Regressão' permaneceu no algoritmo.
Trabalho Teórico de Regressão Logística:
No caso da regressão linear, as variáveis de saída / variável de resposta é uma variável contínua e está relacionada às variáveis independentes linearmente da forma:
Y = mX + C
Onde
Y - Variável de saída contínua
X - Variáveis independentes
Porém, no caso da Regressão Logística, não assumimos as condições de linearidade como a da Regressão Logística. Em vez disso, nossa suposição aqui é que as variáveis independentes determinam a probabilidade de ocorrência da variável de saída. O melhor método para modelar a relação entre a variável de saída e as variáveis independentes é usar o conceito de 'Probabilidade Condicional' e 'Função Sigmoidal'.
Probabilidade condicional é a probabilidade de ocorrência de um evento dado que outro evento já ocorreu. Por exemplo, considere que você tem uma prova de 3 tópicos. Você é solicitado a escolher e responder aleatoriamente a 2 tópicos. Você se preparou para apenas 2 tópicos enquanto se preparava para o teste. Por coincidência, 1 tópico que você preparou aparece no teste. Qual é a probabilidade de que a outra questão também apareça no teste? Qual é a probabilidade de você obter os dois tópicos que preparou?
Probabilidade de escolher o primeiro tópico = 2/3
Probabilidade de escolher o segundo tópico = 1/2
A probabilidade condicional de obter os dois tópicos que você conhece seria então -
P (B / A) = P (A e B) / (P (A)
1/2 = P (A e B) / 2/3
P (A e B) = 1/2
Há 50% de chance de o indivíduo obter os dois tópicos que conhece. Portanto, a probabilidade de sucesso neste caso é de 50%.
Então, o que essencialmente fazemos é -
P (Y = 0/1 dado) = 1 / (1 + ex)
É bastante evidente que quando a variável de decisão é binária (ou seja, não contínua), não podemos optar pela Regressão Linear. Conseqüentemente, a regressão logística torna-se o método de fato para problemas binários DV (variável de decisão).
