Prodotto scalare, norme e funzioni in ℝⁿ

La retta reale estesa

Si aggiungono a $\mathbb R$ due elementi, $-\infty$ e $+\infty$, collocati in modo che stiano oltre ogni reale:

$$\mathbb R^*=\mathbb R\cup\{-\infty\}\cup\{+\infty\},\qquad \forall x\in\mathbb R:\ -\infty<x<+\infty$$

Per parlare di intorni di questi due elementi si usa una soglia $M\in\mathbb R$:

$$\begin{gathered} I(-\infty)=\{x\in\mathbb R:\ x<M\}\\ I(+\infty)=\{x\in\mathbb R:\ x>M\} \end{gathered}$$

Poiché il punto di accumulazione si definisce con gli intorni, anche $\pm\infty$ possono esserlo. Serve per i limiti con $x\to\pm\infty$.

Lo spazio ℝⁿ

Il prodotto cartesiano di due insiemi è fatto di coppie ordinate: $A\times B\neq B\times A$, a meno che $A=B$, caso in cui si scrive $A\times A=A^2$. Con più insiemi:

$$\begin{aligned} A_1\times\dots\times A_n=\{&(a_1,\dots,a_n):\\ &a_i\in A_i,\ i=1,\dots,n\} \end{aligned}$$

Con i reali si ottengono $\mathbb R^2=\{(x,y):x\in\mathbb R,\,y\in\mathbb R\}$ e $\mathbb R^3=\{(x,y,z):x,y,z\in\mathbb R\}$. In generale:

$$\mathbb R^n=\{(x_1,x_2,\dots,x_n):\ x_i\in\mathbb R\}$$

Per convenzione un elemento di $\mathbb R^n$ è un vettore colonna:

$$x\in\mathbb R^n,\qquad x=\begin{pmatrix}x_1\\ \vdots\\ x_n\end{pmatrix}$$

Ordine in ℝⁿ

$\mathbb R$ è totalmente ordinato. $\mathbb R^n$ con $n>1$ è ordinato, ma non totalmente. Si confrontano due vettori componente per componente:

$$x\le y\iff x_i\le y_i\quad\text{per ogni }i=1,\dots,n$$

La relazione è riflessiva, antisimmetrica e transitiva, ma non totale. In $\mathbb R^5$:

$$\begin{gathered} \begin{pmatrix}2\\-1\\3\\4\\1\end{pmatrix}\le \begin{pmatrix}2\\0\\4\\4\\2\end{pmatrix}\\[0.8em] \begin{pmatrix}2\\-1\\3\\4\\1\end{pmatrix}\ ?\ \begin{pmatrix}-1\\0\\4\\4\\2\end{pmatrix} \end{gathered}$$

Nel primo confronto ogni componente di sinistra è minore o uguale a quella di destra. Nel secondo la prima componente è maggiore ($2>-1$) e la seconda minore ($-1<0$): nessuno dei due vettori è minore o uguale all'altro.

Quali vettori si confrontano con $x$

$x$$y$$x_1$$x_2$

• comparabili con $x$
• non comparabili con $x$

$y_1$

2

$y_2$

−1

Per questo i concetti di estremo superiore, estremo inferiore, massimo e minimo, che poggiano sull'ordine totale, non si trasferiscono direttamente agli insiemi di vettori. Vanno distinti dalla minimizzazione o massimizzazione di funzioni che restituiscono un numero reale.

Funzioni a valori scalari e vettoriali

Una funzione associa a ogni elemento dello spazio di partenza un elemento dello spazio di arrivo:

$$f:\mathbb R^n\to\mathbb R,\qquad g:\mathbb R^n\to\mathbb R^m\quad(m>1)$$

I valori di $f$ sono reali, quindi hanno un ordine e ha senso cercarne minimi e massimi. $g$ restituisce un vettore: al posto di un singolo minimo o massimo si parla di ottimo di Pareto.

Un problema di investimento con dieci titoli, in cui si vuole minimizzare il rischio e massimizzare il rendimento, è una funzione da $\mathbb R^{10}$ a $\mathbb R^2$. Anche una funzione di una sola variabile può avere valori vettoriali, per esempio quella che a $x$ associa la coppia $(x^2,x)$.

Operazioni in ℝⁿ

Somma e prodotto per uno scalare $\alpha\in\mathbb R$ si fanno componente per componente e restituiscono un vettore dello stesso spazio. La somma di vettori di dimensioni diverse non è definita.

$$\begin{gathered} x+y=(x_1+y_1,\dots,x_n+y_n)\\ \alpha x=(\alpha x_1,\dots,\alpha x_n) \end{gathered}$$

Con le usuali proprietà algebriche, $\mathbb R^n$ è uno spazio vettoriale. Fra due vettori si definiscono anche tre prodotti, con risultati in spazi diversi:

$$\begin{aligned} x\circ y&=(x_1y_1,\dots,x_ny_n)&&\text{in }\mathbb R^n\\ x^\top y&=\textstyle\sum_{i=1}^n x_iy_i&&\text{in }\mathbb R\\ xy^\top&&&\text{in }\mathbb R^{n\times n} \end{aligned}$$

Il primo è componente per componente, il secondo è il prodotto scalare, il terzo il prodotto esterno, una matrice. Interessa soprattutto il prodotto scalare.

Prodotto scalare

Il prodotto di un vettore per sé stesso è una somma di quadrati, quindi non è negativo, e vale zero solo per il vettore nullo. È lineare e simmetrico:

$$x^\top x=\sum_{i=1}^n x_i^2\ge0,\qquad x^\top x=0\iff x=0$$

Si astrae così: un prodotto scalare è una funzione che a due vettori di $\mathbb R^n$ associa un reale, indicato $\langle x,y\rangle$, con queste proprietà, per $\alpha\in\mathbb R$:

$$\begin{aligned} \langle x,x\rangle&\ge0,\quad \langle x,x\rangle=0\iff x=0\\ \langle\alpha x,y\rangle&=\alpha\langle x,y\rangle\\ \langle x+y,z\rangle&=\langle x,z\rangle+\langle y,z\rangle\\ \langle x,y\rangle&=\langle y,x\rangle \end{aligned}$$

Si parte dunque dal prodotto concreto $x^\top y$ e si generalizza a partire dalle sue proprietà.

Norme

Il valore assoluto di un reale è la sua distanza dall'origine: non è negativo, si annulla solo in zero, vale $|\alpha x|=|\alpha|\,|x|$ e soddisfa la disuguaglianza triangolare. Nel piano la distanza di $(x,y)$ dall'origine è $\sqrt{x^2+y^2}$. In $\mathbb R^n$ la stessa idea dà la norma euclidea:

$$\|x\|_2=\sqrt{\sum_{i=1}^n x_i^2}$$

Una norma è una funzione da $\mathbb R^n$ a $\mathbb R_{\ge0}$ con queste quattro proprietà, per $\alpha\in\mathbb R$:

$$\begin{aligned} &\|x\|\ge0\\ &\|x\|=0\iff x=0\\ &\|\alpha x\|=|\alpha|\,\|x\|\\ &\|x+y\|\le\|x\|+\|y\| \end{aligned}$$

Qualunque funzione con queste proprietà è una norma. Oltre alla euclidea, che si indica anche $L^2$, si usano molto nella pratica la norma $L^1$ e la norma $L^\infty$:

$$\|x\|_1=\sum_{i=1}^n|x_i|,\qquad \|x\|_\infty=\max_{1\le i\le n}|x_i|$$

Il concetto di norma è generale; quasi sempre si userà la euclidea, ma quanto si dice vale per qualsiasi norma.

Stessa norma di $x$ in ${\mathbb{R}}^2$

$x$$x_1$$x_2$

• norma $L^1$
• norma $L^2$
• norma $L^{\infty }$

La funzione «norma zero»

La funzione $\|x\|_0$ conta le componenti diverse da zero:

$$\|x\|_0=\#\{i:\ x_i\neq0\}$$

Un vettore di $\mathbb R^7$ con quattro componenti non nulle ha $\|x\|_0=4$. Non è una norma, perché viola la terza proprietà: per $\alpha\neq0$, $\|\alpha x\|_0=\|x\|_0$, non $|\alpha|\,\|x\|_0$. Si usa comunque per descrivere la sparsità: se si vuole una soluzione con pochi elementi non nulli, si cerca di rendere $\|x\|_0$ il più piccolo possibile.

Norma, prodotto scalare e angolo

Per la norma euclidea il prodotto scalare di un vettore per sé stesso è il quadrato della norma:

$$x^\top x=\|x\|_2^2$$

La disuguaglianza di Cauchy–Schwarz limita il prodotto scalare con le norme, e l'uguaglianza vale solo se i due vettori sono paralleli:

$$|x^\top y|\le\|x\|_2\,\|y\|_2$$

Dividendo per il prodotto delle norme, il rapporto sta fra $-1$ e $1$. Questo permette di definire l'angolo fra due vettori non nulli come l'unico $\theta\in[0,\pi]$ tale che

$$\cos\theta=\frac{x^\top y}{\|x\|_2\,\|y\|_2}$$

Due vettori sono ortogonali quando $\cos\theta=0$, cioè quando $x^\top y=0$.

Il prodotto scalare di $x=(2,1)$ con un vettore $y$ che ruota

$x$$y$$x_1$$x_2$

• ortogonali a $x$

ortogonali$\phi$

• $x^{\top }y$
• $\Vert x{\Vert }_2$
• $-\Vert x{\Vert }_2$

$\phi$

0

Dal problema al modello: la parabola migliore

Si hanno quattro punti $(x_1,y_1),\dots,(x_4,y_4)$ del piano e nessuna parabola passa per tutti. Si cerca la «migliore» parabola rispetto a essi: il problema, posto a parole, va tradotto in un modello di programmazione matematica.

• Variabili di decisione. La parabola è $y=ax^2+bx+c$, quindi sono i tre coefficienti $a,b,c$.
• Funzione obiettivo. Si misura l'errore $e_i(a,b,c)$ che la parabola commette sul punto $i$: con quattro punti ci sono quattro errori. Si sceglie la parabola che rende minima la loro somma:

$$\min_{a,b,c}\ f(a,b,c)=\sum_{i=1}^4 e_i(a,b,c)$$

L'addestramento di una rete neurale ha la stessa impostazione. La parabola è sostituita da una funzione molto più complessa, che dipende da un numero enorme di parametri, e la funzione da minimizzare è costruita su una grande quantità di dati osservati.