Lezione 15 · Canale 1 · mercoledì 21 ottobre 2026

Differenziabilità e funzioni convesse

Programmazione Matematica

Teorema della media e formula di Taylor

Sia $D\subseteq\mathbb R^n$ aperto e convesso. La classe $C^0(D)$ è quella delle funzioni continue. Se $f\in C^1(D)$ , le derivate parziali esistono e sono continue, quindi il gradiente è definito. Se $f\in C^2(D)$ , esiste l'Hessiana ed è continua. Qui servono $C^1$ e $C^2$ .

I due teoremi scrivono $f(y)$ con i dati in $x$ e con un punto intermedio $z$ del segmento fra $x$ e $y$ . Per $f\in C^1(D)$ vale il teorema della media:

\begin{gathered} f(y)=f(x)+\nabla f(z)^\top(y-x)\\ z=x+\theta(y-x),\quad\theta\in(0,1) \end{gathered}

In una variabile dice che la pendenza della retta per $(x,f(x))$ e $(y,f(y))$ è $f'(z)$ per un certo $z$ fra $x$ e $y$ . Il punto $z$ esiste, ma non si sa dove sia, e dipende da $x$ e da $y$ .

Teorema della media in una variabile

x

y

z

x

$f$
tangente in $z$
retta per i due punti

y

La tangente in

z

è parallela alla retta per i due punti del grafico. Se

y

si sposta, si sposta anche

z

La convessità di $D$ serve perché $z$ stia in $D$ : se $D$ non è convesso, $z$ può cadere fuori e lì il gradiente non è definito.

Un dominio non convesso

x

y

z

x_{1}

x_{2}

$D$ aperto
segmento da $x$ a $y$

D

non è convesso, il punto

z

fra

x

y

può cadere fuori da

D

, dove

f

non è definita.

Per $f\in C^2(D)$ vale il teorema di Taylor, con l'Hessiana calcolata in $z$ :

\begin{aligned} f(y)&=f(x)+\nabla f(x)^\top(y-x)\\ &\quad+\tfrac12(y-x)^\top\nabla^2 f(z)(y-x) \end{aligned}

con $z=x+\theta(y-x)$ come sopra. Una funzione di $y$ è lineare o quadratica solo se i coefficienti non dipendono da $y$ . Qui $z$ dipende da $y$ , quindi con $x$ fissato il secondo membro del teorema della media non è in generale una funzione lineare di $y$ , e quello di Taylor non è in generale una funzione quadratica di $y$ .

Il polinomio di Taylor di grado 2 in un punto fissato $\bar x$ usa invece l'Hessiana in $\bar x$ :

\begin{aligned} &f(\bar x)+\nabla f(\bar x)^\top(y-\bar x)\\ &+\tfrac12(y-\bar x)^\top\nabla^2 f(\bar x)(y-\bar x) \end{aligned}

La matrice $\nabla^2 f(\bar x)$ non dipende da $y$ , quindi è una funzione quadratica di $y$ .

Gradiente e Hessiana di funzioni lineari e quadratiche

Calcolare derivate prime e seconde è meccanico. Conta saper scrivere subito gradiente e Hessiana delle funzioni lineari, quadratiche e dei minimi quadrati. Si guarda il caso di una variabile e lo si riporta in $\mathbb R^n$ controllando le dimensioni: il gradiente è un vettore con $n$ componenti, l'Hessiana una matrice $n\times n$ .

Funzione lineare. In una variabile $c$ è uno scalare; in $\mathbb R^n$ è $c\in\mathbb R^n$ . Il gradiente è un vettore, quindi è $c$ e non $c^\top$ ; l'Hessiana è la matrice nulla.

\begin{gathered} f(x)=cx,\quad f'(x)=c,\quad f''(x)=0\\ f(x)=c^\top x,\quad\nabla f(x)=c,\quad\nabla^2 f(x)=0_{n\times n} \end{gathered}

Funzione quadratica. In una variabile $a$ , $b$ e $c$ sono scalari; in $\mathbb R^n$ $A\in\mathbb R^{n\times n}$ è simmetrica, $b\in\mathbb R^n$ e $c\in\mathbb R$ :

\begin{gathered} f(x)=\tfrac12ax^2+bx+c\\ f'(x)=ax+b,\quad f''(x)=a\\[0.6em] f(x)=\tfrac12x^\top Ax+b^\top x+c\\ \nabla f(x)=Ax+b,\quad\nabla^2 f(x)=A \end{gathered}

$Ax$ ha $n$ componenti, come deve avere il gradiente. La simmetria non toglie generalità. Uno scalare coincide con il suo trasposto, quindi $x^\top Ax=x^\top A^\top x$ , e

\begin{gathered} x^\top Ax=x^\top Bx\\ B=\tfrac12(A+A^\top) \end{gathered}

dove $B$ è simmetrica.

Minimi quadrati. Qui $A$ e $b$ hanno un altro significato: $A$ è una matrice $m\times n$ qualsiasi (anche con $m>n$ ), $x\in\mathbb R^n$ e $b\in\mathbb R^m$ . Compare nella regressione lineare, quando si adattano dei dati con una funzione lineare.

\begin{gathered} f(x)=\tfrac12(ax-b)^2\\ f'(x)=a(ax-b),\quad f''(x)=a\cdot a\\[0.6em] f(x)=\tfrac12\|Ax-b\|_2^2\\ \nabla f(x)=A^\top(Ax-b),\quad\nabla^2 f(x)=A^\top A \end{gathered}

Il gradiente ha $n$ componenti. $A^\top$ ha $n$ righe e $m$ colonne e $Ax-b$ ha $m$ componenti, quindi il prodotto è definito e dà un vettore con $n$ componenti. L'Hessiana $A^\top A$ è $n\times n$ .

Matrici definite, semidefinite, indefinite

Per una matrice quadrata $A$ si guarda il segno della forma quadratica $x^\top Ax$ :

definita positiva se $x^\top Ax>0$ per ogni $x\neq0$ ; definita negativa se $x^\top Ax<0$ per ogni $x\neq0$ ;
semidefinita positiva se $x^\top Ax\ge0$ per ogni $x$ ; semidefinita negativa se $x^\top Ax\le0$ per ogni $x$ ;
indefinita se esistono $x,y\in\mathbb R^n$ con $x^\top Ax>0$ e $y^\top Ay<0$ .

Se $A$ è simmetrica, gli autovalori sono reali e il segno si legge su di essi. È definita positiva se e solo se tutti gli autovalori sono maggiori di zero e semidefinita positiva se e solo se sono tutti maggiori o uguali a zero. Per i casi negativi i segni si rovesciano: definita negativa se tutti sono minori di zero, semidefinita negativa se tutti sono minori o uguali a zero. È indefinita se e solo se ha un autovalore positivo e uno negativo.

Forma quadratica di $A = diag (1, μ)$

1

μ

angolo del vettore

x

$x^{⊤} A x$
zero

μ

−1

Sui vettori di norma 1 la forma quadratica varia fra gli autovalori

1

μ

. Muovendo

μ

: positivo, definita positiva; nullo, semidefinita positiva; negativo, indefinita.

Funzione lineare. La sua Hessiana è la matrice nulla, e $x^\top0\,x=0$ per ogni $x$ : è sia semidefinita positiva sia semidefinita negativa.

La matrice $A^\top A$ . Per ogni $y$ :

y^\top A^\top Ay=(Ay)^\top(Ay)=\|Ay\|_2^2\ge0

Quindi $A^\top A$ è semidefinita positiva. È definita positiva se e solo se $\|Ay\|_2=0$ implica $y=0$ , cioè se il sistema omogeneo $Ay=0$ ha la sola soluzione nulla, cioè se $\operatorname{rk}(A)=n$ , il numero delle variabili. Se $n>m$ il rango è al più $m<n$ , quindi $A^\top A$ è solo semidefinita positiva.

Funzioni convesse

Le funzioni convesse e concave si studiano solo su un insieme $S$ convesso, cioè tale che $(1-\lambda)x+\lambda y\in S$ per $x,y\in S$ e $\lambda\in[0,1]$ .

Per $f(x)=x^2$ , con dominio $\mathbb R$ , si prendono $x_1,x_2$ sull'asse e i punti $P_1=(x_1,f(x_1))$ e $P_2=(x_2,f(x_2))$ del grafico in $\mathbb R^2$ . Un punto del segmento che li unisce è $P=(1-\lambda)P_1+\lambda P_2$ , con $\lambda\in[0,1]$ . Ha ascissa $(1-\lambda)x_1+\lambda x_2$ e ordinata $(1-\lambda)f(x_1)+\lambda f(x_2)$ . Per la parabola quell'ordinata sta sopra il grafico, qualunque siano i due punti. Questa proprietà diventa la definizione.

Il segmento sopra il grafico

Funzione

P_{1}

P_{2}

P

x

$f$
segmento $P_{1} P_{2}$

λ

Per una funzione convessa il punto del segmento sta sopra il punto del grafico con la stessa ascissa. Per una lineare coincidono, per una concava si invertono.

Una funzione $f$ è convessa su $S$ convesso se per ogni $x,y\in S$ e $\lambda\in[0,1]$

\begin{aligned} &f\bigl((1-\lambda)x+\lambda y\bigr)\\ &\le(1-\lambda)f(x)+\lambda f(y) \end{aligned}

È strettamente convessa se la disuguaglianza è stretta per $x\neq y$ e $\lambda\in(0,1)$ . È concava se $-f$ è convessa, quindi i versi si rovesciano: $\ge$ e, per la stretta, $>$ .

Funzione lineare. Per $f(x)=c^\top x$ :

\begin{aligned} f\bigl((1-\lambda)x+\lambda y\bigr)&=(1-\lambda)c^\top x+\lambda c^\top y\\ &=(1-\lambda)f(x)+\lambda f(y) \end{aligned}

Vale l'uguaglianza, quindi $f$ è sia convessa sia concava.

Norma. Una norma qualsiasi è convessa. Si usano la disuguaglianza triangolare e l'omogeneità, e $1-\lambda$ e $\lambda$ escono dalla norma perché non sono negativi:

\begin{aligned} \|(1-\lambda)x+\lambda y\|&\le\|(1-\lambda)x\|+\|\lambda y\|\\ &=(1-\lambda)\|x\|+\lambda\|y\| \end{aligned}

Convessità e iperpiano tangente

Per una funzione convessa di una variabile il grafico sta sopra ogni retta tangente:

f(x)\ge f(x_0)+f'(x_0)(x-x_0)

La retta tangente in $x_0$ è l'insieme dei punti $(x,y)\in\mathbb R^2$ con $y=f(x_0)+f'(x_0)(x-x_0)$ . In $\mathbb R^n$ la derivata diventa il gradiente e la retta diventa l'iperpiano tangente, nello spazio $\mathbb R^{n+1}$ in cui sta il grafico, con $x\in\mathbb R^n$ e $y\in\mathbb R$ :

T=\bigl\{(x,y)\in\mathbb R^{n+1}:y=f(x_0)+\nabla f(x_0)^\top(x-x_0)\bigr\}

Il grafico sopra la tangente

Convessa

x

grafico
tangente in $x_{0}$

Non convessa

x

grafico
tangente in $x_{0}$

x_{0}

−1,2

Una funzione convessa sta sopra ogni sua tangente. Nella seconda, per

x_{0}

vicino a

0

, il grafico scende sotto la tangente.

Questa proprietà caratterizza la convessità. Sia $S$ aperto e convesso e $f\in C^1(S)$ . Allora $f$ è convessa su $S$ se e solo se per ogni $x,y\in S$

f(y)\ge f(x)+\nabla f(x)^\top(y-x)

Se $f$ è convessa. Per $\lambda\in(0,1]$ la definizione, con il punto $x+\lambda(y-x)$ , dà

f\bigl(x+\lambda(y-x)\bigr)\le(1-\lambda)f(x)+\lambda f(y)

Si porta $f(x)$ a sinistra e si divide per $\lambda>0$ :

\frac{f\bigl(x+\lambda(y-x)\bigr)-f(x)}{\lambda}\le f(y)-f(x)

Con $d=y-x$ il primo membro è il rapporto incrementale di $f$ in $x$ lungo $d$ . Per $\lambda\to0^+$ tende alla derivata direzionale, che esiste perché $f$ è differenziabile e vale $\nabla f(x)^\top d$ . Il secondo membro non dipende da $\lambda$ , quindi $\nabla f(x)^\top d\le f(y)-f(x)$ , che è la tesi.

Se vale la disuguaglianza. Siano $x,y\in S$ , $\lambda\in(0,1)$ e $z=(1-\lambda)x+\lambda y$ . Si applica l'ipotesi alle coppie $(z,x)$ e $(z,y)$ :

\begin{aligned} f(x)&\ge f(z)+\nabla f(z)^\top(x-z)\\ f(y)&\ge f(z)+\nabla f(z)^\top(y-z) \end{aligned}

Si moltiplicano per $1-\lambda$ e per $\lambda$ , che sono positivi, e si sommano. I termini con il gradiente si annullano, perché

\begin{aligned} (1-\lambda)(x-z)+\lambda(y-z)&=(1-\lambda)x+\lambda y-z\\ &=0 \end{aligned}

Resta

(1-\lambda)f(x)+\lambda f(y)\ge f(z)

con $f(z)=f\bigl((1-\lambda)x+\lambda y\bigr)$ : è la definizione di convessità. Per $\lambda=0$ e $\lambda=1$ vale l'uguaglianza.

Formulario

Teorema della media, $f\in C^1$

\begin{aligned} f(y)&=f(x)\\ &\quad+\nabla f(z)^\top(y-x) \end{aligned}

z=x+\theta(y-x),\ \theta\in(0,1)

Taylor, $f\in C^2$

\begin{aligned} f(y)&=f(x)\\ &\quad+\nabla f(x)^\top(y-x)\\ &\quad+\tfrac12(y-x)^\top\nabla^2 f(z)(y-x) \end{aligned}

Polinomio di grado 2 in $\bar x$

\begin{aligned} &f(\bar x)\\ &+\nabla f(\bar x)^\top(y-\bar x)\\ &+\tfrac12(y-\bar x)^\top\nabla^2 f(\bar x)(y-\bar x) \end{aligned}

Funzione lineare

\begin{gathered} f(x)=c^\top x\\ \nabla f(x)=c\\ \nabla^2 f(x)=0_{n\times n} \end{gathered}

Funzione quadratica

\begin{gathered} f(x)=\tfrac12x^\top Ax+b^\top x+c\\ \nabla f(x)=Ax+b\\ \nabla^2 f(x)=A \end{gathered}

Minimi quadrati

\begin{gathered} f(x)=\tfrac12\|Ax-b\|_2^2\\ \nabla f(x)=A^\top(Ax-b)\\ \nabla^2 f(x)=A^\top A \end{gathered}

Definita positiva

x^\top Ax>0\ \ \forall x\neq0

Definita negativa

x^\top Ax<0\ \ \forall x\neq0

Semidefinita positiva

x^\top Ax\ge0\ \ \forall x

Semidefinita negativa

x^\top Ax\le0\ \ \forall x

Indefinita, per certi $x,y$

x^\top Ax>0>y^\top Ay

Autovalori di $A$ simmetrica

definita positiva: tutti $>0$
semidefinita positiva: tutti $\ge0$
definita negativa: tutti $<0$
semidefinita negativa: tutti $\le0$
indefinita: uno $>0$ e uno $<0$

$A^\top A$ semidefinita positiva

y^\top A^\top Ay=\|Ay\|_2^2

$A^\top A$ è definita positiva se e solo se $\operatorname{rk}(A)=n$ .

Funzione convessa

\begin{aligned} &f\bigl((1-\lambda)x+\lambda y\bigr)\\ &\le(1-\lambda)f(x)+\lambda f(y) \end{aligned}

Stretta: $<$ per $x\neq y$ , $\lambda\in(0,1)$ . Concava: $-f$ convessa.

Lineare: convessa e concava. Ogni norma è convessa.

Criterio del gradiente

\begin{aligned} &f\text{ convessa su }S\iff\\ &f(y)\ge f(x)\\ &\quad+\nabla f(x)^\top(y-x) \end{aligned}

per ogni $x,y\in S$ , con $S$ aperto e convesso e $f\in C^1(S)$ .