Continuità, limiti e Perceptron

Continuità Lipschitz

Sia $f:D\subseteq\mathbb R^n\to\mathbb R$. La continuità si studia in un punto $x_0\in D$ e su un insieme $S\subseteq D$. La continuità Lipschitz è una condizione più forte e ha senso solo su un insieme, perché mette in gioco due punti arbitrari.

In una variabile, la retta per $(\bar x,f(\bar x))$ e $(\hat x,f(\hat x))$ è

$$\begin{aligned} y&=f(\hat x)+R(\bar x,\hat x)\,(x-\hat x)\\ R(\bar x,\hat x)&=\frac{f(\bar x)-f(\hat x)}{\bar x-\hat x} \end{aligned}$$

Il coefficiente angolare $R$ dipende dalla coppia scelta. Può però accadere che $|R(\bar x,\hat x)|\le L$ per ogni coppia di punti, cioè

$$|f(\bar x)-f(\hat x)|\le L\,|\bar x-\hat x|$$

In questo caso $f$ è Lipschitz continua. Su un dominio $D\subseteq\mathbb R^n$ la definizione richiede che esista $L>0$ tale che

$$|f(x)-f(y)|\le L\,\|x-y\|\qquad\forall x,y\in D$$

Geometricamente, il grafico sta, in ogni suo punto, dentro il cono di pendenza $\pm L$ che ha il vertice in quel punto.

Il cono e il rettangolo di Lipschitz

Cono

$(a,f(a))$$x$

• $f(x)=\sin 2x$
• pendenza $L$
• pendenza $-L$

Rettangolo

$(a,f(a))$$x$

• $f(x)=\sin 2x$
• rettangolo di lati $2\delta$ e $2\epsilon$

$a$

−1

$L$

2

Lipschitz, continuità uniforme, continuità

Una funzione Lipschitz continua è continua. Si fissano $x\in D$ ed $\varepsilon>0$: per ogni $y$ con $\|x-y\|<\varepsilon/L$

$$|f(x)-f(y)|\le L\,\|x-y\|<\varepsilon$$

Il raggio è $\delta_\varepsilon=\varepsilon/L$ e non dipende da $x$ né da $y$. Nella continuità in un punto, invece, il raggio può dipendere dal punto. Questa proprietà è la continuità uniforme: fissato $\varepsilon>0$, un solo raggio vale per tutte le coppie di punti.

$$\begin{aligned} &\forall\varepsilon>0\ \ \exists\,\delta_\varepsilon>0:\\ &|f(x)-f(y)|<\varepsilon\quad\forall x,y\in D:\ \|x-y\|<\delta_\varepsilon \end{aligned}$$

Con $C^0(D)$, $C^U(D)$ e $C^L(D)$ si indicano le funzioni continue, uniformemente continue e Lipschitz continue su $D$. Le proprietà formano una catena

$$C^L(D)\subseteq C^U(D)\subseteq C^0(D)$$

La Lipschitz continuità è la più forte delle tre. L'implicazione opposta non vale: una funzione continua può non essere Lipschitz continua.

Teorema di Heine–Cantor (senza dimostrazione). In $\mathbb R^n$ un insieme è compatto se è chiuso e limitato.

$$\left.\begin{aligned} &D\text{ compatto}\\ &f\in C^0(D) \end{aligned}\right\} \ \Longrightarrow\ f\in C^U(D)$$

La compattezza è una condizione sufficiente per la continuità uniforme, non necessaria. Allo stesso modo, per una funzione derivabile, $f'(x_0)=0$ è necessaria per un minimo relativo in un punto $x_0$ interno al dominio, ma non sufficiente: la derivata può annullarsi senza che il punto sia un minimo.

La proprietà Lipschitz ricompare negli algoritmi di ottimizzazione. Se il gradiente di $f$ è Lipschitz continuo di costante $L$, un passo $\alpha<2/L$ garantisce la convergenza del metodo del gradiente.

Restrizioni e limiti in più variabili

Sia $A\subseteq D$. La restrizione di $f$ ad $A$ è la funzione

$$f|_A:A\to\mathbb R,\qquad f|_A(x)=f(x)\quad\forall x\in A$$

Per esempio, $f(x,y)=\dfrac{x-y}{x+y}$ ha dominio $D=\{(x,y)\in\mathbb R^2:x+y\ne 0\}$. Su $A=\{(x,y)\in D:y=2x\}$, dove $x\ne0$,

$$f|_A(x,y)=\frac{x-2x}{x+2x}=\frac{-x}{3x}=-\frac13$$

Teorema (senza dimostrazione, analogo del teorema ponte per le successioni). Sia $x_0$ un punto di accumulazione per $D$. Con $\ell\in\mathbb R^*$, cioè finito, $+\infty$ o $-\infty$,

$$\begin{aligned} &\lim_{x\to x_0}f(x)=\ell\\ &\iff\ \forall A\subseteq D\text{ con }x_0\text{ di accumulazione per }A:\\ &\qquad\lim_{x\to x_0}f|_A(x)=\ell \end{aligned}$$

Poiché la condizione vale per ogni $A$, basta trovare due restrizioni con limiti diversi per concludere che il limite non esiste.

Esempio. Sia $f(x,y)=\dfrac{\sin(xy)}{x^2+y^2}$ su $D=\mathbb R^2\setminus\{(0,0)\}$. L'origine non sta in $D$ ma è punto di accumulazione, quindi il limite ha senso.

• Su $A=\{(x,y)\in D:x=0\}$ il numeratore è identicamente nullo, non solo infinitesimo: $f|_A=0/y^2=0$ e il limite è $0$.
• Su $B=\{(x,y)\in D:y=x\}$ si ha $f|_B=\dfrac{\sin(x^2)}{2x^2}$, che tende a $\dfrac12$ perché $\sin u/u\to 1$.

I due limiti sono diversi, quindi il limite in $(0,0)$ non esiste.

Il Perceptron

Il Perceptron è un modello di neurone artificiale, ispirato al neurone biologico. Il neurone riceve segnali dagli altri neuroni, ognuno pesato da un peso sinaptico, e si attiva se la somma pesata supera una soglia. Ogni neurone è un'unità molto semplice: la forza sta nel metterne insieme moltissimi.

Gli ingressi sono $x_1,\dots,x_n$, i pesi sinaptici $v_1,\dots,v_n$ e la soglia è $\theta$. L'uscita è

$$\begin{aligned} y&=G\Bigl(\sum_{i=1}^n v_ix_i-\theta\Bigr)\\ &=G(v^T x-\theta) \end{aligned}$$

dove $G$ è la funzione di attivazione, il gradino:

$$G(t)=\begin{cases}1&t\ge 0\\0&t<0\end{cases}$$

Il neurone si attiva quando $\sum_i v_ix_i\ge\theta$ e resta spento altrimenti.

$x_1$$x_2$$⋮$$x_n$$v_1$$v_2$$v_n$$\Sigma$$-\theta$$v^{T}x-\theta$$G$$y$

Con $n=2$ l'insieme dei punti con $v_1x_1+v_2x_2=\theta$ è una retta. Divide il piano in due semipiani: nel primo l'uscita è $1$, nell'altro $0$. Un neurone è quindi un classificatore lineare: ha una superficie di separazione lineare.

Addestrare un neurone

Ogni paziente è descritto da due caratteristiche cliniche, la pressione arteriosa e la fluidità del sangue. Dopo cinque anni si verifica chi ha avuto un evento ischemico: etichetta $1$ a chi l'ha avuto, $0$ agli altri. Con questi dati storici si vuole prevedere il rischio dei nuovi pazienti.

In generale il training set è

$$\mathcal T=\{(x^{(p)},y^{(p)})\}_{p=1}^{P},\qquad y^{(p)}\in\{0,1\}$$

dove $x^{(p)}\in\mathbb R^n$ è il vettore delle caratteristiche e $y^{(p)}$ l'etichetta nota. Si indica con $F(x;W,\theta)=G(W^T x-\theta)$ l'uscita del neurone, con $W=(v_1,\dots,v_n)$ il vettore dei pesi. I dati sono noti, le incognite sono $W$ e $\theta$: vanno scelti in modo che il neurone classifichi correttamente i dati, $F(x^{(p)};W,\theta)=y^{(p)}$ per $p=1,\dots,P$. Si misura l'errore sul campione $p$ e si minimizza la somma:

$$\begin{gathered} e_p(W,\theta)=|F(x^{(p)};W,\theta)-y^{(p)}|\\ \min_{W,\theta}\sum_{p=1}^{P}e_p(W,\theta) \end{gathered}$$

Un algoritmo di minimizzazione richiede che la funzione sia continua e derivabile, e qui non lo è per due motivi.

Il gradino non è continuo. Quindi neppure $F$ e l'errore lo sono rispetto a $W$ e $\theta$. Lo si sostituisce con la funzione logistica, che ha andamento simile al gradino ma è continua e derivabile, e l'uscita diventa $F=\sigma(W^T x-\theta)$:

$$\sigma(t)=\frac{1}{1+e^{-t}}$$

Il valore assoluto non è derivabile in $0$. Lo si sostituisce con il quadrato, che misura ancora lo scarto fra uscita ed etichetta:

$$\min_{W,\theta}\sum_{p=1}^{P}\bigl(F(x^{(p)};W,\theta)-y^{(p)}\bigr)^2$$

Ora esistono le derivate rispetto ai pesi e alla soglia, e il problema si può trattare con un algoritmo.

Lo XOR e le reti di neuroni

Il problema XOR assegna le etichette

$$\begin{gathered} (0,0)\mapsto 0,\quad (0,1)\mapsto 1\\ (1,0)\mapsto 1,\quad (1,1)\mapsto 0 \end{gathered}$$

Un singolo neurone non può classificarli: non esiste una retta con $(0,1)$ e $(1,0)$ da una parte e $(0,0)$ e $(1,1)$ dall'altra.

Un neurone sui punti dello XOR

$0$$0$$1$$1$$x_1$$x_2$

• retta di separazione
• verso l'uscita $1$

$v_1$

1

$v_2$

1

$\theta$

0,5

Si collegano allora più neuroni in una rete. Due neuroni $N_1$ e $N_2$ ricevono gli ingressi $x_1$ e $x_2$ con i loro pesi sinaptici, e le loro uscite sono gli ingressi di un terzo neurone $N_3$. Con pesi e soglie adatti questa rete di tre neuroni realizza la classificazione dello XOR: lo si verifica provando i quattro ingressi.

Pesi e soglie non si possono assegnare dall'alto: li sceglie un algoritmo, a partire dai dati storici. In questa rete le variabili sono nove, sei pesi e tre soglie, e l'algoritmo minimizza l'errore, una funzione di nove variabili: è l'estensione del metodo del gradiente alle reti neurali, che richiede le derivate parziali e la differenziazione in $\mathbb R^n$.