Differenziabilità dei vettori di funzioni e regola della catena

Differenziabilità di un vettore di funzioni

Un vettore di funzioni $g:\mathbb R^n\to\mathbb R^m$ raccoglie $m$ funzioni $g_1,\dots,g_m$ delle stesse $n$ variabili. Come per una funzione a valori reali, la differenziabilità chiede che $g$ sia approssimata da una funzione affine con un errore trascurabile rispetto alla distanza. Lo spostamento $d\in\mathbb R^n$ e la variazione $g(x+d)-g(x)\in\mathbb R^m$ sono vettori, quindi il termine lineare è una matrice $m\times n$.

$g$ è differenziabile in $x$ quando esiste una matrice $G(x)$, di dimensione $m\times n$, tale che

$$\lim_{\|d\|\to0}\frac{\|g(x+d)-g(x)-G(x)\,d\|}{\|d\|}=0$$

Il numeratore è $o(\|d\|)$. La matrice $G(x)$ dipende da $x$ ed è la derivata di $g$ in $x$.

Matrice Jacobiana. Se esistono le derivate parziali $\partial g_i/\partial x_j$, la Jacobiana $J_g(x)$ è la matrice $m\times n$ con una riga per funzione e una colonna per variabile:

$$J_g=\begin{pmatrix} \dfrac{\partial g_1}{\partial x_1}&\cdots&\dfrac{\partial g_1}{\partial x_n}\\ \vdots&&\vdots\\ \dfrac{\partial g_m}{\partial x_1}&\cdots&\dfrac{\partial g_m}{\partial x_n} \end{pmatrix}$$

La riga $i$ è il gradiente $\nabla g_i(x)^\top$. Detta $\nabla g(x)$ la matrice $n\times m$ che ha i gradienti per colonne, $J_g(x)=\nabla g(x)^\top$. Le dimensioni vanno rispettate: quattro funzioni di tre variabili hanno una Jacobiana $4\times3$ e un gradiente $3\times4$.

Jacobiana e derivata. L'esistenza della Jacobiana non basta per la differenziabilità. Valgono due fatti, che per $m=1$ sono il teorema del differenziale totale:

• se $g$ è differenziabile in $x$, allora $g$ è continua in $x$, esiste $J_g(x)$ e coincide con $G(x)$;
• se $J_g$ esiste vicino a $x$ ed è continua in $x$, allora $g$ è differenziabile in $x$.

Il secondo è un criterio: le derivate parziali devono esistere ed essere continue. Se $g$ è differenziabile in $a$, la funzione affine che meglio la approssima è

$$L(x)=g(a)+J_g(a)\,(x-a)$$

e $L(a)=g(a)$, perché $x-a$ si annulla. Per $d=su$ con $\|u\|=1$, la definizione divisa per $s$ dice che la variazione di $g$ ingrandita di $1/s$ tende alla parte lineare:

$$\lim_{s\to0}\frac{g(a+su)-g(a)}{s}=J_g(a)\,u$$

$g(x)=(x_1^2+x_2,x_1{x}_2)$ in $a=(1,1)$

$g_1$$g_2$

• $(g(a+su)-g(a))/s$
• $J_g(a)u$

$s$

1

Esempio: la Jacobiana di tre funzioni

Sia $g:\mathbb R^3\to\mathbb R^3$

$$g(x)=\begin{pmatrix} 4x_1^3x_3+x_2x_3\\ x_1x_3-12x_2^2\\ x_1^4+x_1x_2 \end{pmatrix}$$

La riga $i$ della Jacobiana raccoglie le derivate parziali di $g_i$. La terza funzione non contiene $x_3$, perciò la sua derivata rispetto a $x_3$ è $0$:

$$J_g(x)=\begin{pmatrix} 12x_1^2x_3&x_3&4x_1^3+x_2\\ x_3&-24x_2&x_1\\ 4x_1^3+x_2&x_1&0 \end{pmatrix}$$

Le componenti sono polinomi, quindi $J_g$ è continua ovunque e $g$ è differenziabile in ogni punto. La matrice è simmetrica. Nel punto $a=(1,0,1)$:

$$\begin{gathered} g(a)=\begin{pmatrix}4\\1\\1\end{pmatrix}\\[0.6em] J_g(a)=\begin{pmatrix}12&1&4\\1&0&1\\4&1&0\end{pmatrix} \end{gathered}$$

La funzione affine che approssima $g$ in $a$ è un vettore di tre funzioni affini:

$$\begin{aligned} L(x)&=g(a)+J_g(a)\,(x-a)\\ &=\begin{pmatrix} 12x_1+x_2+4x_3-12\\ x_1+x_3-1\\ 4x_1+x_2-3 \end{pmatrix} \end{aligned}$$

In $x=a$ il termine $x-a$ è nullo, quindi $L(a)=g(a)$: l'approssimazione vale quanto $g$ nel punto.

Funzioni lineari e affini

Sia $A\in\mathbb R^{m\times n}$ e $h(x)=Ax$. La componente $i$ è $h_i(x)=a_{i1}x_1+\dots+a_{in}x_n$, quindi $\partial h_i/\partial x_j=a_{ij}$ e

$$J_h(x)=A$$

Con un vettore costante $B\in\mathbb R^m$, la funzione affine $h(x)=Ax+B$ ha ancora $J_h(x)=A$, perché $B$ non dipende da $x$.

Gradiente di un prodotto scalare

Siano $g,h:\mathbb R^n\to\mathbb R^m$ differenziabili in $x$ e

$$f(x)=g(x)^\top h(x)=\sum_{i=1}^m g_i(x)\,h_i(x)$$

$f$ è a valori reali: è una somma di prodotti di funzioni differenziabili. Per la regola del prodotto, applicata a ogni termine, il gradiente è

$$\begin{aligned} \nabla f&=\sum_{i=1}^m\bigl(h_i\nabla g_i+g_i\nabla h_i\bigr)\\ &=\nabla g\,h+\nabla h\,g\\ &=J_g^\top h+J_h^\top g \end{aligned}$$

La somma $\sum_i h_i\nabla g_i$ è una combinazione delle colonne di $\nabla g$ con coefficienti $h_i$, cioè il prodotto della matrice $\nabla g$ per il vettore $h$. Lo stesso vale per la seconda somma.

Forma quadratica. Sia $f(x)=x^\top Qx$, con $Q\in\mathbb R^{n\times n}$ non necessariamente simmetrica. È un prodotto scalare con $g(x)=x$, $J_g=I$, e $h(x)=Qx$, $J_h=Q$:

$$\nabla f(x)=I^\top Qx+Q^\top x=(Q+Q^\top)\,x$$

Se $Q=Q^\top$ si ha $Q^\top+Q=2Q$, quindi

$$\begin{gathered} \nabla(x^\top Qx)=2Qx\\ \nabla\bigl(\tfrac12x^\top Qx\bigr)=Qx \end{gathered}$$

Senza la simmetria resta

$$\nabla\bigl(\tfrac12x^\top Qx\bigr)=\tfrac12(Q+Q^\top)\,x$$

Regola della catena

Per $g:\mathbb R^n\to\mathbb R$ differenziabile in $x$ e $h:\mathbb R\to\mathbb R$ derivabile in $g(x)$, la composta $f(x)=h(g(x))$ ha gradiente

$$\nabla f(x)=h'(g(x))\,\nabla g(x)$$

Per i vettori di funzioni, siano $g:\mathbb R^n\to\mathbb R^m$ differenziabile in $x$ e $h:\mathbb R^m\to\mathbb R^p$ differenziabile in $g(x)$. La composizione $f=h\circ g$ va da $\mathbb R^n$ a $\mathbb R^p$, è differenziabile in $x$ e

$$J_f(x)=J_h(g(x))\,J_g(x)$$

Le dimensioni tornano: $J_h$ ha $p$ righe e $m$ colonne, $J_g$ ha $m$ righe e $n$ colonne, il prodotto è $p\times n$, come la Jacobiana di $p$ funzioni di $n$ variabili. In $J_f$ compare prima $J_h$, perché $h$ si applica dopo $g$. Trasponendo, con $\nabla f=J_f^\top$, l'ordine si inverte:

$$\nabla f(x)=\nabla g(x)\,\nabla h(g(x))$$

Esempio: derivata direzionale e piano tangente

Sia $f:\mathbb R^3\to\mathbb R$

$$f(x)=x_1^4x_3+x_1x_2x_3-4x_2^3$$

Il gradiente è il vettore $g$ dell'esempio sulla Jacobiana:

$$\nabla f(x)=\begin{pmatrix} 4x_1^3x_3+x_2x_3\\ x_1x_3-12x_2^2\\ x_1^4+x_1x_2 \end{pmatrix}$$

Perciò $J_g$ è la matrice delle derivate seconde di $f$, ed è simmetrica. Le componenti del gradiente sono polinomi, quindi continue, e per il teorema del differenziale totale $f$ è differenziabile su $\mathbb R^3$. In $x_0=(1,1,2)$:

$$\begin{gathered} \nabla f(x_0)=\begin{pmatrix}10\\-10\\2\end{pmatrix}\\[0.6em] f(x_0)=2+2-4=0 \end{gathered}$$

La derivata direzionale lungo $d=(-1,1,0)^\top$ è il prodotto scalare di $\nabla f(x_0)$ con $d$, cioè un numero:

$$Df(x_0,d)=\nabla f(x_0)^\top d=-10-10+0=-20$$

La funzione affine che meglio approssima $f$ in $x_0$ è

$$\begin{aligned} L(x)&=f(x_0)+\nabla f(x_0)^\top(x-x_0)\\ &=10(x_1-1)-10(x_2-1)+2(x_3-2)\\ &=10x_1-10x_2+2x_3-4 \end{aligned}$$

Il piano tangente al grafico è $y=L(x)$. Le variabili sono $x_1,x_2,x_3,y$, quindi è un iperpiano di $\mathbb R^4$, non di $\mathbb R^3$.

Classificazione binaria e funzione logistica

Nella classificazione binaria supervisionata sono date $P$ coppie $(x_i,y_i)$: $x_i$ è un vettore e l'etichetta $y_i$ vale $0$ oppure $1$. Si cerca una funzione che, valutata in $x_i$, dia un valore vicino a $y_i$. Serve una funzione che prenda valori fra $0$ e $1$ e si avvicini a uno dei due estremi: la funzione logistica (sigmoide), di una variabile reale $t$,

$$f(t)=\frac1{1+e^{-t}}$$

I suoi valori stanno fra $0$ e $1$. Per $t$ molto grande e positivo $f(t)$ tende a $1$, per $t$ molto grande e negativo tende a $0$. La derivata si riscrive con $1-f(t)=e^{-t}/(1+e^{-t})$:

$$\begin{aligned} f'(t)&=\frac{e^{-t}}{(1+e^{-t})^2}\\ &=\frac1{1+e^{-t}}\cdot\frac{e^{-t}}{1+e^{-t}}\\ &=f(t)\bigl(1-f(t)\bigr) \end{aligned}$$

La derivata è positiva, tende a $0$ per $t\to\pm\infty$ e vale al più $1/4$: il massimo è in $t=0$, dove $f=1/2$ e la tangente ha la pendenza maggiore.

La funzione logistica e la sua derivata

$t$

• $f(t)$
• $f^{\prime }(t)$
• tangente a $f$ in $t_0$

$t_0$

−5

La funzione $f$ accetta un solo numero, mentre $x_i$ è un vettore. Serve un'unità di calcolo che, dato un vettore $x_i$, usi $f$ come funzione di attivazione: il percettrone, o neurone artificiale, unità elementare delle reti neurali multistrato.