$X=(X_1,X_2,\cdots ,X_n)\in {\mathbb{R}}^n$
Dove considereremo le $X_k$ indipendenti tra loro

Sono realizzazioni di $X$:
$x=(x_1,x_2,\cdots ,x_n)$
fatte su un certo campione

Calcolare la [[#Densità congiunta]] $f_X(x),x\in \mathbb{R}$ dato il [[#Vettori di Variabili Aleatorie]] $X=(X_1,X_2,...,X_n)$ nel caso in cui $X_k\sim \mathrm{Exp}(\lambda ),\lambda >0\mathrm{\forall }k$.

$\begin{array}{rl}{f}_X& =\prod _{k=1}^n{f}_{X_k}(x_k)=\\ & =\prod _{k=1}^n\lambda e^{-\lambda x_k}{1}_{(0,\mathrm{\infty })}(x_k)=\\ & ={\lambda }^n{e}^{-\lambda \sum _{k=1}^n{x}_k}{1}_{(0,\mathrm{\infty })}(x_k)\end{array}$

Parto da un campione o da alcune osservazioni

• $x=(x_1,x_2,\cdots ,x_n)$: Osservazioni in generale (variabile)
• $x_{OSS}=$ "$x$ osservato": La successione di numeri nota

$\bar{x}=\frac{1}{n}\sum _{k=1}^n{x}_k$
La media dei valori che ho osservato

$m_r=\frac{1}{n}\sum _{k=1}^n(x_k{)}^r$

$

M_{R} = EX^{r} = \begin{cases}
\int_\mathbb{R} x^{r}f_{X}(x) , dx \
\sum\limits_{k}(x_{k})^{r}p_{k}
\end{cases}
$

Date

• $f_X(x)=f_X(x,\theta )$ dove $\theta$ è il parametro che caratterizza $X$ continua
• $p_k=p_k(\theta )$ dove $\theta$ è il parametro che caratterizza $X$ discreta

Si dice famiglia di distribuzione:

• $\mathcal{F}\{f_X(x,\theta ),x\in \mathbb{R}:\theta \in {\mathbb{R}}^m\}$: $X$ continua
• $\mathcal{F}\{p_k(\theta ),k\in \mathbb{Z}:\theta \in {\mathbb{R}}^m\}$: $X$ discreta

$\{\frac{e^{\frac{(x-\mu {)}^2}{2}}}{\sqrt{2\pi }},x\in \mathbb{R}:\mu \in \mathbb{R}\}$
la famiglia delle densità $N(\mu ,{\sigma }^2=1)$ con $\theta =\left[\begin{array}{c}\mu \\ 1\end{array}\right]$, $\mu \in \mathbb{R}$.

$\{e^{\lambda }\frac{{\lambda }^k}{k!},k\in {\mathbb{N}}_{\mathbb{0}}:\lambda >0\}$

la famiglia delle densità $\mathrm{Pois}(\lambda )$ con $\theta =\lambda \in (0,\mathrm{\infty })$

$L(\theta ,x)=f_X(x,\theta )$
Dove $x$ è dato e $\theta$ è da "stimare". In questo caso $\theta$ è la variabile di interesse.
$L$ è continua rispetto alla variabile $\theta$.
Devo massimizzare. Cerco
${\hat{\theta }}_{MV}$, il punto di massimo per $L$.

$\frac{dL}{d\theta }(\theta ,x)\stackrel{!}{=}0$

Sia $\mathcal{P}\sim N(\mu ,1)$
$X=(X_1,\cdots ,X_n)$ dove $X_k\sim N(\mu ,1)\mathrm{\forall }k$

Dato il campione $x=(x_1,\cdots ,x_n)$, voglio determinare ${\hat{\mu }}_{MV}$, ossia la stima di $\mu$ ottenuta con il [[#Metodo della massima Verosimiglianza]]

Scrivo la [[#Funzione di verosimiglianza]]
$\begin{array}{rl}L(\mu ,x)& =f_X(x,\mu )=\\ & =\prod _{k=1}^n{f}_{X_k}(x,\mu )=\\ & =\prod _{k=1}^n\frac{e^{-\frac{(x_k-\mu {)}^2}{2}}}{\sqrt{2\pi }}=\\ & =\frac{1}{\sqrt{(2\pi {)}^n}}{e}^{-\frac{1}{2}\sum _{k=1}^n(x_k-\mu {)}^2}\end{array}$
Posso ora derivarla e imporre uguale a 0:

$\begin{array}{rl}\frac{dL}{d\mu }& =\frac{d}{d\mu }\frac{1}{(2\pi {)}^{\frac{n}{2}}}{e}^{-\frac{1}{2}\sum _{k=1}^n(x_k-\mu {)}^2}\\ & =\frac{1}{(2\pi {)}^{\frac{n}{2}}}\frac{d}{d\mu }{e}^{-\frac{1}{2}\sum _{k=1}^n(x_k-\mu {)}^2}=\\ & =\frac{1}{(2\pi {)}^{\frac{n}{2}}}{e}^{-\frac{1}{2}\sum _{k=1}^n(x_k-\mu {)}^2}(\frac{1}{\cancel{2}}\cancel{2}\sum _{k=1}^n(x_k-\mu ))=\\ & =\frac{1}{(2\pi {)}^{\frac{n}{2}}}(\sum _{k=1}^n(x_k-\mu ))e^{-\frac{1}{2}\sum _{k=1}^n(x_k-\mu {)}^2}\end{array}$

Impongo uguale a zero per trovare i massimi e ottengo:

${\hat{\mu }}_{MV}=\frac{1}{n}\sum _{k=1}^n{x}_k=\bar{x}$

Notiamo che lo stimatore di massima verosimiglianza è proprio la media campionaria.
La media campionaria è quindi la migliore stima per la media vera.

Sia $\mathcal{P}\sim \mathrm{Exp}(\lambda ),\lambda >0$
$X=(X_1,\cdots ,X_n)$ dove $X_k\sim \mathrm{Exp}(\lambda )$

Dato il campione $x=(x_1,\cdots ,x_n)$, voglio determinare ${\hat{\lambda }}_{MV}$, ossia la stima di $\lambda$ ottenuta con il [[#Metodo della massima Verosimiglianza]]

Scrivo la [[#Funzione di verosimiglianza]]
$\begin{array}{rl}L(\lambda ,x)& =f_{X_k}(x,\lambda )=\\ & ={\lambda }^n{e}^{-\lambda \sum _{k=1}^n{x}_k}\end{array}$
Per cui derivo e impongo uguale a 0.

$\begin{array}{r}\frac{d}{d\lambda }L=n{\lambda }^{n-1}{e}^{-\lambda \sum _{k=1}^n{x}_k}+{\lambda }^n\left(e^{-\lambda \sum _{k=1}^n{x}_k}\sum _{k=1}^n{x}_k\right)\stackrel{!}{=}0\end{array}$
Posso riscrivere $\sum _{k=1}^n{x}_k=n\bar{x}$.
$\begin{array}{rl}\frac{d}{d\lambda }L=n{\lambda }^{n-1}{e}^{-\lambda n\bar{x}}+{\lambda }^n\left(e^{-\lambda n\bar{x}}n\bar{x}\right)& \stackrel{!}{=}0\\ e^{-\lambda n\bar{x}}(n{\lambda }^{n-1}-{\lambda }^{n}n\bar{x})& \stackrel{!}{=}0\\ ⟺n{\lambda }^{n-1}& ={\lambda }^{n}n\bar{x}\\ \cancel{n}\frac{{\lambda }^{n-1}}{{\lambda }^n}& =\cancel{n}\bar{x}\\ {\lambda }^{-1}& =\bar{x}\end{array}$

per cui la stima di $\lambda$, ${\hat{\lambda }}_{MV}$ è
${\hat{\lambda }}_{MV}=\frac{1}{\bar{x}}$

Data una funzione monotona $h$, il punto di massimo per la [[#Funzione di verosimiglianza]] $L(\theta ,x)$ coincide con il punto di massimo di $h(L(\theta ,x))$

In particolare questa affermazione è vera se $h=\log$.

Ricalcoliamo ${\hat{\lambda }}_{MV}$ applicando il teorema appena enunciato

$L(\lambda ,x)={\lambda }^n{e}^{-\lambda n\bar{x}}$
calcolo
$\begin{array}{rl}\ln (L(\lambda ,x))& =\ln ({\lambda }^n)+\ln (e^{-\lambda n\bar{x}})\\ & =n\ln (\lambda )-\lambda n\bar{x}\end{array}$
Derivo e impongo uguale a zero

$\begin{array}{rl}\frac{d}{d\lambda }\ln (L(\lambda ,x))=\frac{n}{\lambda }-n\bar{x}& \stackrel{!}{=}0\\ n(\frac{1}{\lambda }-\bar{x})& =0\\ ⟺\\ \frac{1}{\lambda }=\bar{x}\end{array}$
Quindi lo stimatore di massima verosimiglianza è
${\hat{\lambda }}_{MV}=\frac{1}{\bar{x}}$

Metodo di stima parametrica dei momenti, dei parametri $\theta \in {\mathbb{R}}^n$. Devo risolvere il sistema:
$M_R=m_{r}r=1,2,\dots ,N$

Dove:

• $M_R$: [[#Momento teorico]] di ordine $R$
• $m_r$: [[#Momento campionario]] di ordine $r$

Data una popolazione distribuita come una normale fornire una stima del parametro $\mu$ con il [[#Metodo dei momenti]]:
$\mathcal{P}\sim N(\mu ,{\sigma }^2=2)$

Il parametro è a una sola dimensione, quindi basta un'equazione.
$\begin{array}{rl}{M}_1& =m_1\\ EX& =\bar{x}\\ {\int }_{\mathbb{R}}x{f}_X(x)dx& =\bar{x}\end{array}$

Essendo una normale, la media teorica è proprio $\mu$, per cui la stima è data dalla media campionaria:
${\hat{\mu }}_{MOM}=\bar{x}$

Le proprietà desiderabili della [[#Variabile aleatoria Stimatore]] sono la

• [[#Correttezza]]
• [[#Consistenza]]

$E\hat{\mathrm{\Theta }}=\theta$

$\underset{n\to \mathrm{\infty }}{lim}\mathrm{Var}(\hat{\mathrm{\Theta }})=0⟺\mathcal{P}(\hat{\mathrm{\Theta }}=\theta )=1$
Con $n=$ Numerosità campionaria