Support Vector Machine (SVM) é um algoritmo de aprendizado supervisionado usado para regressão, classificação e detecção de valores discrepantes, mas é amplamente usado para classificação. O objetivo do SVM é criar uma linha ou um hiperplano em um espaço n-dimensional que separa distintamente os dados em classes.

SVMs lineares

Vamos entender isso com um exemplo. Suponha que você tenha pontos de dados mostrados abaixo e precise classificar os pontos em duas classes. A ideia chave é encontrar uma linha que separe essas duas classes.

Nesse caso, não é muito difícil traçar uma linha e separar essas duas classes. No entanto, você pode desenhar várias linhas para fazer isso. Então, como você sabe qual dessas linhas é a melhor resposta para o seu problema?

Das linhas mostradas acima, a linha preta separa melhor as duas classes porque está relativamente mais distante de cada lado dos pontos de dados, em comparação com as outras linhas. Com as linhas azul e vermelha, temos menos certeza do desempenho em pontos de dados novos e não vistos.

Obviamente, nem sempre podemos apenas visualizar e selecionar as linhas que resultarão na melhor classificação. Você pode realizar essa tarefa com o Support Vector Machines. Um SVM encontra os pontos mais próximos da linha de ambas as classes. Esses pontos são chamados de vetores de suporte. A distância entre a linha e os vetores de suporte é chamada de margem. O SVM tenta maximizar essa distância. O hiperplano para o qual a margem é máxima é o hiperplano ideal para o SVM. No nosso caso acima, o hiperplano ideal é a linha preta.

Existem dois tipos de margens:

1. Margem Difícil:

2. Margem Suave:

A maioria dos dados do mundo real não é linearmente separável. No método Soft Margin, permitimos que alguns erros de classificação das amostras ocorram na margem. A ideia é manter a margem o mais ampla possível. Ele tenta equilibrar o trade-off entre encontrar uma linha que maximize a margem, bem como minimizar os erros de classificação.

O método hard margin é sensível a outliers, enquanto o método Soft Margin é robusto a outliers e generaliza bem em dados não vistos.

SVMs não lineares

Os dados de amostra que vemos acima são linearmente separáveis. Mas nem todos os dados são bons o suficiente para serem linearmente separáveis, o que dificulta o trabalho do SVM. Nesse caso, não podemos separar os dados por uma linha reta simples.

Quando é difícil separar classes não lineares, podemos aplicar uma técnica chamada de truque do kernel que ajuda a remodelar os dados. O truque do kernel oferece uma maneira eficiente e menos dispendiosa de transformar dados.

No diagrama acima, os dados que eram inseparáveis ​​em uma dimensão são separáveis ​​uma vez que são transformados em duas dimensões após a aplicação de um núcleo polinomial de segundo grau.

Da mesma forma, o kernel polinomial de segundo grau é aplicado aos dados 2D acima e torna-se separável usando um plano linear.

Para obter mais detalhes sobre como isso funciona, sugiro verificar o código no meu repositório GitHub .

Funções do kernel

A função kernel é um hiperparâmetro no modelo SVM. Ele é responsável por remover o requisito computacional para alcançar o espaço dimensional mais alto e lidar com dados linearmente inseparáveis. As duas funções do kernel mais usadas são:

1. Núcleo polinomial

2. Kernel da Função de Base Radial

Essa função de kernel também é conhecida como função de kernel gaussiana. É capaz de produzir um número infinito de dimensões para separar os dados não lineares. Depende de um hiperparâmetro 'γ' (gama). Quanto menor o valor do hiperparâmetro, menor o viés — maior a variância e vice-versa.

É importante observar que o kernel RBF não cria novas variáveis ​​ou quaisquer transformações no conjunto de dados. Os cálculos acontecem internamente como se os pontos estivessem na dimensão superior. Você não precisa criar a variável z para que o kernel RBF faça sua mágica.

Para a implementação do SVM e para entender o papel das funções do Kernel, sugiro verificar o código no meu repositório GitHub .

Obrigado por ler. Entre em contato via LinkedIn se tiver mais dúvidas.