Differenziabilità e direzioni di discesa

Differenziabilità in $\mathbb R^n$

Una funzione è differenziabile in un punto se lì si può sostituire con una funzione affine, con un errore trascurabile rispetto alla distanza dal punto. In una variabile è

$$f(x)=f(x_0)+a\,(x-x_0)+o(x-x_0),\qquad x\to x_0$$

con $a$ costante. In $\mathbb R^n$ la costante diventa un vettore e il prodotto fra numeri diventa un prodotto scalare. Una funzione $f\colon\mathbb R^n\to\mathbb R$ è differenziabile in $x_0$ se esiste $G\in\mathbb R^n$ tale che

$$f(x)=f(x_0)+G^\top(x-x_0)+o(\|x-x_0\|),\qquad x\to x_0$$

Il vettore $G$ dipende dal punto, come $f'(x_0)$ dipende da $x_0$. Scrivendo $x$ al posto di $x_0$ e $d$ per lo spostamento, la definizione dice che l'errore dell'approssimazione lineare tende a zero più in fretta di $\|d\|$:

$$\lim_{d\to0}\frac{f(x+d)-f(x)-G(x)^\top d}{\|d\|}=0$$

Proposizione (senza dimostrazione).

• Condizione necessaria. Se $f$ è differenziabile in $x$, esistono le derivate parziali in $x$ e $G(x)=\nabla f(x)$.
• Condizione sufficiente. Se il gradiente esiste ed è continuo in un intorno di $x$, cioè le derivate parziali esistono e sono continue, $f$ è differenziabile in $x$.

Le due condizioni non coincidono: la necessaria non chiede che il gradiente sia continuo.

Differenziabile implica continua

Dalla definizione:

$$f(x+d)=f(x)+\nabla f(x)^\top d+o(\|d\|)$$

Per $d\to0$ il termine lineare e il resto tendono a zero, quindi $f(x+d)\to f(x)$ e $f$ è continua in $x$. Il viceversa non vale, come in una variabile.

Ne segue che la funzione che vale $1$ fuori dagli assi e $0$ sugli assi, pur avendo le derivate parziali nell'origine, non è differenziabile lì: non è continua. L'esistenza del gradiente in un punto non basta.

Derivata direzionale

Se $f$ è differenziabile in $x$, la derivata direzionale si calcola con il gradiente. Per $t\to0^+$:

$$\begin{aligned} Df(x,d)&=\lim_{t\to0^+}\frac{f(x+td)-f(x)}{t}\\ &=\lim_{t\to0^+}\frac{t\,\nabla f(x)^\top d+o(t\|d\|)}{t}\\ &=\nabla f(x)^\top d \end{aligned}$$

I termini $f(x)$ si cancellano, $t$ esce dal numeratore e il resto, diviso per $t$, tende a zero. Se in $x$ il gradiente è $(10,-2,3,-1)^\top$ e la direzione è $d=(1,3,1,1)^\top$:

$$Df(x,d)=10-6+3-1=6$$

Il calcolo è meccanico: derivate prime e un prodotto scalare. Il segno si legge dal quoziente: il denominatore $t$ è positivo, quindi $Df(x,d)>0$ vuol dire $f(x+td)>f(x)$ per $t$ piccolo. Lungo $d$, per spostamenti abbastanza piccoli, $f$ cresce.

Direzioni di discesa

Per minimizzare $f$ si parte da una soluzione $x_0$ e se ne cerca una migliore, $x_1$ con $f(x_1)<f(x_0)$. Serve una direzione di discesa: un $d$ con $Df(x_0,d)<0$, lungo cui $f$ diminuisce per spostamenti abbastanza piccoli. Se $f$ è differenziabile e $\nabla f(x)\neq0$, una direzione di discesa c'è sempre: l'opposta del gradiente, detta antigradiente.

$$\begin{aligned} Df\bigl(x,-\nabla f(x)\bigr)&=-\nabla f(x)^\top\nabla f(x)\\ &=-\|\nabla f(x)\|^2<0 \end{aligned}$$

perché $a^\top a=\|a\|^2$ per la norma euclidea.

Direzioni di discesa in un punto

Le direzioni a partire da $x$

$x$$\nabla f(x)$$-\nabla f(x)$$d$

• direzioni di discesa

$Df(x,d)$ con $\Vert d\Vert =1$

angolo fra $d$ e il gradiente, in gradi

• $Df(x,d)$

angolo fra $d$ e $\nabla f(x)$

150

La direzione dice dove spostarsi, non di quanto. Si pone

$$x_1=x_0-\alpha\,\nabla f(x_0),\qquad\alpha>0$$

e si prova $\alpha=1$. Se $f(x_1)\ge f(x_0)$ si dimezza $\alpha$ e si riprova. Poiché la derivata direzionale è negativa, per $\alpha$ abbastanza piccolo $f(x_1)<f(x_0)$, quindi prima o poi la soluzione migliora. Si ripete da $x_1$, con il gradiente calcolato lì, e così via.

Se il gradiente è Lipschitz continuo di costante $L$, ogni $0<\alpha<2/L$ fa diminuire $f$ (con $\nabla f(x_0)\neq0$); lo si dimostrerà più avanti. In pratica $L$ spesso non si conosce, e per questo si dimezza.

Retta e iperpiano tangente

In una variabile il grafico di $f$ è l'insieme dei punti $(x,y)\in\mathbb R^2$ con $y=f(x)$. La retta tangente al grafico in $(x_0,f(x_0))$ è

$$T=\bigl\{(x,y)\in\mathbb R^2:\ y=f(x_0)+f'(x_0)\,(x-x_0)\bigr\}$$

Il vettore $(-f'(x_0),1)$ è ortogonale alla retta. Presi due punti $(u_1,v_1)$ e $(u_2,v_2)$ di $T$, vale $v_2-v_1=f'(x_0)\,(u_2-u_1)$, e il prodotto scalare fra il vettore che li unisce e $(-f'(x_0),1)$ è nullo:

$$\begin{aligned} &(u_2-u_1,\ v_2-v_1)\cdot(-f'(x_0),\,1)\\ &=-f'(x_0)(u_2-u_1)+v_2-v_1=0 \end{aligned}$$

La tangente e il vettore ortogonale

$(-f^{\prime }(x_0),1)$$x$$y$

• grafico di $f$
• retta tangente $T$

$x_0$

1,5

Con $n$ variabili il grafico è l'insieme dei punti $(x,y)\in\mathbb R^{n+1}$ con $y=f(x)$: le prime $n$ coordinate sono $x\in\mathbb R^n$, l'ultima è $f(x)$.

Al posto della retta tangente si ha l'iperpiano tangente: nel grafico in $\mathbb R^2$ è una retta, in $\mathbb R^3$ un piano, da $\mathbb R^4$ in poi un iperpiano. La definizione resta la stessa, con il gradiente al posto della derivata prima e il prodotto scalare al posto del prodotto:

$$\begin{aligned} T=\bigl\{(x,y)\in\mathbb R^{n+1}:\ &y=f(x_0)\\ &+\nabla f(x_0)^\top(x-x_0)\bigr\} \end{aligned}$$

Il vettore ortogonale ha $n+1$ componenti, il gradiente cambiato di segno e un $1$:

$$\bigl(-\nabla f(x_0),\,1\bigr)\in\mathbb R^{n+1}$$

Esempio. Sia $f\colon\mathbb R^5\to\mathbb R$, con $x_0=(0,1,1,-1,1)^\top$, $f(x_0)=7$ e $\nabla f(x_0)=(2,-1,3,1,1)^\top$. Il gradiente ha cinque componenti, come le variabili, e il grafico e $T$ stanno in $\mathbb R^6$. Basta sostituire nella definizione:

$$\begin{aligned} T=\bigl\{(x,y)\in\mathbb R^6:\ &y=7+(2,-1,3,1,1)\\ &\cdot(x-x_0)\bigr\} \end{aligned}$$

Il vettore ortogonale è $(-2,1,-3,-1,-1,1)^\top$. Conta che le dimensioni siano coerenti; calcolare $f(x_0)$ e il gradiente è solo sostituzione e derivazione.

Domini aperti

Finora $f$ era definita su tutto $\mathbb R^n$. Su un dominio $D\subseteq\mathbb R^n$ la definizione di differenziabilità usa $f(x+d)$ per ogni direzione, quindi $x+td$ deve stare in $D$ per $t$ piccolo. Succede se $x$ è interno a $D$. Da un punto di frontiera alcune direzioni portano fuori da $D$ con spostamenti piccoli quanto si vuole, dove $f$ può non essere definita.

Interno e frontiera

$x$$\bar{x}$fuori da $D$$x_1$$x_2$

• $D$, frontiera compresa
• intorno di $x$ contenuto in $D$

Si chiede perciò che $D$ sia aperto, cioè formato solo da punti interni. Per questo le definizioni si trovano scritte su un dominio aperto.

Con $D$ aperto, $f\in C^0(D)$ vuol dire che $f$ è continua su $D$. $f\in C^1(D)$ vuol dire che in ogni punto di $D$ esistono le derivate parziali e sono continue. Per la condizione sufficiente, $f\in C^1(D)$ è differenziabile in ogni punto di $D$: $C^1$ è una regolarità più forte della differenziabilità. Quando si conoscono le derivate si suppone di solito $f\in C^1$.

Esercizi: successioni, limiti e insiemi

Successione limitata in $\mathbb R^3$. Una successione $\{x_k\}\subset\mathbb R^3$ è limitata se e solo se lo sono le tre successioni delle componenti $x_k^{(i)}$. Basta quindi una componente illimitata, per esempio la seconda, perché la successione sia illimitata.

Un limite che non esiste. Su $D=\mathbb R^2\setminus\{(0,0)\}$ sia

$$f(x,y)=\frac{xy}{x^2+y^2}$$

L'origine è di accumulazione per $D$. Si confrontano le restrizioni a $A=\{(x,y)\in D:\ y=x\}$ e a $B=\{(x,y)\in D:\ x=0\}$:

$$\begin{aligned} f|_A&=\frac{x^2}{2x^2}=\frac12\\ f|_B&=\frac{0}{y^2}=0 \end{aligned}$$

Le due restrizioni tendono a limiti diversi, $1/2$ e $0$, quindi il limite in $(0,0)$ non esiste. Per mostrare che un limite non esiste basta trovare due restrizioni con limiti diversi.

Un insieme chiuso, non compatto, senza punti di accumulazione in $\mathbb R^5$. Si prendono punti isolati che si allontanano all'infinito:

$$X=\{(k,1,1,1,1)^\top:\ k=0,1,2,\dots\}$$

Due punti distinti di $X$ distano almeno $1$, quindi un intorno di raggio $1/2$ di un punto qualsiasi ne contiene al più uno, e restringendolo lo si esclude. Nessun punto è di accumulazione: $\mathcal D X=\varnothing\subseteq X$, quindi $X$ è chiuso e tutti i suoi punti sono isolati. Non è limitato, perché la prima coordinata va all'infinito, e perciò non è compatto. Con $\bigl(1/k,1,1,1,1\bigr)$, $k=1,2,\dots$, si avrebbe invece il punto di accumulazione $(0,1,1,1,1)$, che non appartiene all'insieme: quell'insieme non è chiuso.

Una successione illimitata con tre punti limite in $\mathbb R^4$. Si dividono gli indici in quattro classi infinite:

$$\begin{gathered} K_1=\{1,5,9,\dots\},\quad K_2=\{2,6,10,\dots\}\\ K_3=\{3,7,11,\dots\},\quad K_4=\{4,8,12,\dots\} \end{gathered}$$

Si scelgono tre punti distinti $p_1,p_2,p_3\in\mathbb R^4$ e, per esempio, si pone

$$\begin{gathered} x_k=p_i\quad(k\in K_i,\ i=1,2,3)\\ x_k=(k,0,0,0)^\top\quad(k\in K_4) \end{gathered}$$

Le sottosuccessioni su $K_1,K_2,K_3$ sono costanti e convergono a $p_1,p_2,p_3$; andrebbero bene anche componenti come $1/(k+1)$ che tendono a quelle dei $p_i$. Su $K_4$ la norma tende a $+\infty$, quindi $\{x_k\}$ è illimitata. Una sottosuccessione convergente è limitata, perciò ha solo un numero finito di indici in $K_4$ e il suo limite è uno fra $p_1,p_2,p_3$. I punti limite sono esattamente questi tre.