Se stai leggendo questo post, è probabile che tu sappia già cosa sono i vettori e il loro ruolo indispensabile in Machine Learning. Per ricapitolare, i vettori sono una matrice unidimensionale di numeri di una lunghezza particolare. Questo è mostrato di seguito:

Gli elementi di un vettore sono disposti in un ordine particolare e la posizione di un elemento di solito ha un significato intrinseco. Possiamo accedere ai singoli elementi utilizzando la loro posizione (o indice).

Possiamo anche pensare ai vettori come a un punto nello spazio. Se la lunghezza del vettore è n , si dice che il punto si trova in uno spazio n-dimensionale . Ad esempio, se la dimensione del vettore è 2, questo può denotare un punto nello spazio bidimensionale rispetto all'origine, come mostrato di seguito:

Norme vettoriali

Le norme vettoriali sono definite come un insieme di funzioni che prendono un vettore come input e generano un valore positivo contro di esso. Questa è chiamata grandezza di un vettore. Possiamo ottenere lunghezze diverse per lo stesso vettore a seconda del tipo di funzione che utilizziamo per calcolare la grandezza.

Le norme, sebbene spesso trascurate, sono al centro dell'addestramento dei modelli di Machine Learning. In sostanza, subito prima di ogni iterazione della backpropagation, si calcola un valore di perdita scalare (positivo), che è la media della somma della differenza tra i valori previsti e i valori di verità fondamentale al quadrato. Questo valore di perdita dello scaler non è altro che un output di una funzione di norma. Il modo in cui calcoliamo la perdita è mostrato di seguito:

L'equazione della norma standard — norma P

Tutte le funzioni di norma derivano da un'equazione standard di Norm, nota come p-norm. Per diversi valori del parametro p (p dovrebbe essere un numero reale maggiore o uguale a 1), otteniamo una diversa funzione di norma. L'equazione generalizzata, tuttavia, è mostrata di seguito:

Questo prende un vettore n-dimensionale x e eleva ogni elemento alla sua potenza p-esima . Quindi, sommiamo tutti gli elementi ottenuti e prendiamo la radice p-esima per ottenere la norma p del vettore, nota anche come grandezza. Ora, con diversi valori del parametro p , otterremo una diversa funzione di norma. Discutiamoli uno per uno di seguito.

Norma L0:

Sebbene p=0 risieda al di fuori del dominio della funzione p-norm, sostituendo p=0 nell'equazione precedente si ottengono i singoli elementi vettoriali elevati alla potenza 0, che è 1 (a patto che il numero non sia zero). Inoltre, abbiamo anche una radice p-esima nell'equazione, che non è definita per p=0. Per gestire questo, il modo standard per definire la norma L0 è contare il numero di elementi diversi da zero nel vettore dato. L'immagine seguente mostra l'output della funzione di norma L-0 per il dato vettore:

Norma L1:

Sostituendo p=1 nell'equazione standard della norma p, otteniamo quanto segue:

• Quando viene utilizzata per calcolare la perdita, la norma L1 viene anche definita errore medio assoluto .
• La norma L1 varia linearmente per tutte le località, lontane o vicine all'origine.

Norma L2:

Di tutte le funzioni della norma, la più comune e importante è la norma L2. Sostituendo p=2 nell'equazione standard della norma p, di cui abbiamo discusso sopra, otteniamo la seguente equazione per la norma L2:

• L'equazione precedente viene spesso definita errore quadratico medio della radice quando viene utilizzata per calcolare l'errore.
• La norma L2 misura la distanza dall'origine, nota anche come distanza euclidea.

Norma L2 al quadrato:

Come indica il nome, la norma L2 al quadrato è la stessa della norma L2 ma al quadrato.

• L'equazione precedente viene spesso definita errore quadratico medio quando viene utilizzata per calcolare l'errore nell'apprendimento automatico.

1. Manca la radice quadrata.
2. All'interno delle applicazioni di Machine Learning, la derivata di Squared L2 Norm è più facile da calcolare e archiviare. Il derivato di un elemento nella norma Squared L2 richiede l'elemento stesso. Tuttavia, nel caso della norma L2, è necessario l'intero vettore.

Poiché l'infinito è un concetto astratto in matematica, non possiamo semplicemente sostituire p=∞ nell'equazione p-norm standard. Tuttavia, possiamo studiare il comportamento della funzione quando p si avvicina all'infinito usando i limiti. Una semplice derivazione per l'equazione di Max-norm può essere trovata qui .

La norma massima restituisce il valore assoluto dell'elemento di magnitudine più grande. L'immagine seguente mostra l'output della funzione di norma Max per il vettore dato:

Note conclusive:

1. La norma vettoriale è una funzione che prende un vettore come input e restituisce un valore positivo.
2. Tutte le funzioni della norma possono essere derivate da una singola equazione. La famiglia delle funzioni della norma è nota come p-norm.
3. La norma L1 viene anche definita Errore Medio Assoluto .
4. La norma L2 viene anche chiamata Root Mean Squared Error .
5. La norma Squared L2 viene anche definita errore quadratico medio .