0517.tex

%%%%lezione 17 maggio%%%%

Lezione del 17/05, ultima modifica 21/06, Andrea Gadotti


\subsection{Teorema di Rao-Blackwell}

In questa sezione ci occuperemo del seguente teorema molto importante:

\begin{teo}[di Rao-Blackwell]

Sia $(X_1,...,X_n)$ un campione casuale da una distribuzione avente funzione di densità $f(x;\theta)$. Siano inoltre $V_n$ uno stimatore non distorto di $\theta$ e $T_n$ una statistica sufficiente per $\theta$. Allora
$$V_{n,T_n} = \mathbb{E}_{\theta}(V_n | T_n)$$
ha le seguenti proprietà:
\begin{enumerate}
\item[(1)] $\mathbb{E}_{\theta}(V_{n,T_n}) = \theta, \forall \theta \in \Theta$, ovvero $V_{n,T_n}$ è uno stimatore non distorto di $\theta$
\item[(2)] $\var_{\theta}(V_{n,T_n}) \leq \var_{\theta}(V_n)$
\item[(3)] $V_{n,T_n} = \phi(T_n)$, ovvero $V_{n,T_n}$ è funzione della statistica sufficiente $T_n$.
\end{enumerate}
Possiamo riassumere l'enunciato dicendo il condizionamento di uno stimatore rispetto a una statistica sufficiente preserva la non distorsione e migliora lo stimatore sotto il profilo della varianza.

\begin{proof}
~\begin{enumerate}
\item[(1)] Utilizziamo senza dimostrazione il seguente risultato:
$$\mathbb{E}[\mathbb{E}(X|Y)] = \mathbb{E}(X)$$
A questo punto il primo punto è subito dimostrato. Infatti
$$\mathbb{E}_{\theta}(V_{n,T_n}) = \mathbb{E}_{\theta}[\mathbb{E}_{\theta}(V_n|T_n)] = \theta$$
\item[(2)] Utilizziamo senza dimostrazione il seguente risultato:
$$\var(X)=\var[\mathbb{E}(X|Y)] + \mathbb{E}[\var(X|Y)]$$
A questo punto anche il secondo punto è subito dimostrato. Infatti
$$\var(V_n) = \var[\mathbb{E}(V_n|T_n)] + \mathbb{E}[\var(V_n|T_n)] = \var(V_{n,T_n}) + \mathbb{E}[\var(V_n|T_n)]$$
e si conclude osservando che $\mathbb{E}[\var(V_n|T_n)] \geq 0$ in quanto valore di aspettazione di una quantità sicuramente non negativa.
\item[(3)] $$V_{n,T_n} = \mathbb{E}_{\theta}(V_n | T_n) = \int_D v_n \cdot f_{v_n|t_n}(v_n,t_n) \, dv_n = \int_{D^n} v_n(x_1,...,x_n) \cdot f_{\underline{x}|t_n}(\underline{x},t_n) \, d\underline{x} = \phi(T_n)$$
dove l'ultima uguaglianza è giustificata dal fatto che $f_{\underline{x}|t_n}(\underline{x},t_n)$ non dipende da $\theta$ per definizione di statistica sufficiente.
\end{enumerate}
\end{proof}
\end{teo}

\begin{esempio}

Sia $(X_1,...,X_n)$ da $b(1,p), p \in (0,1)$. Sappiamo che $T_n=\sum_{i=1}^n X_i$ è statistica sufficiente minimale per $p$. Vogliamo applicare il teorema di Rao-Blackwell con lo stimatore $X_1$. Notiamo che lo stimatore scelto è estremamente ''grezzo'', dato che il primo risultato di $n$ prove non ci dice in realtà nulla su $p$, ma nonostante questo lo stimatore che otterremo grazie al teorema sarà molto buono.

\begin{enumerate}
\item[a)] Notiamo innanzitutto che $V_n:=X_1$ è stimatore non distorto per $p$. Infatti $\mathbb{E}(V_n) = \mathbb{E}(X_1) = p$
\item[b)] Vogliamo costruire ora $V_{n,T_n}$:

\begin{eqnarray*}
V_{n,T_n} := \mathbb{E}
&=& 0 \cdot \mathbb{P} (X_1=0|T_n) + 1 \cdot \mathbb{P}(X_1=1|T_n) = \mathbb{P}(X_1=1|T_n=t_n)\\
&=& \frac{\mathbb{P}(X_1=1|T_n=t_n)}{\mathbb{P}(T_n=t_n)}\\
&=& \frac{\mathbb{P}(X_1=1|T_{n-1}=t_n-1)}{\mathbb{P}(T_n=t_n)}\\
&=& \frac{\mathbb{P}(X_1=1) \mathbb{P}(\sum_{i=2}^n x_i = t_n-1)}{\mathbb{P}(T_n=t_n)}\\
&=& \frac{p \binom{n-1}{t_n-1} p^{t_n-1} (1-p)^{(n-1)-(t_n-1)}}{\binom{n}{t_n} p^{t_n} (1-p)^{n-t_n}}\\
&=& t_n/n\\
&=& \frac{1}{n} \displaystyle\sum_{i=1}^n x_i = \overline{x}_n\\
\end{eqnarray*}
dove abbiamo usato anche il fatto che $T_{n-1}=\sum_{i=2}^n x_i$ e $T_n \sim b(n,p)$.
\item[c)] Per il teorema di Rao-Blackwell siamo sicuri di aver trovato uno stimatore \emph{uguale o migliore} (in termini di varianza) di quello iniziale ($X_1$). Notiamo però che in realtà abbiamo ottenuto il migliore in assoluto, ovvero un UMVU di $p$. Infatti:
$$I(p)=-\mathbb{E} \left( \frac{d^2}{dp^2} l(p;\underline{x}) \right) = \frac{n}{p(1-p)} = \frac{1}{\var(\overline{X}_n)}$$
e poiché $b(1,p)$ appartiene alla famiglia regolare, possiamo applicare il teorema di Rao-Cramer, e quindi concludere che lo stimatore trovato, ovvero la media campionaria, è quello con varianza uniformemente minima, ovvero è un UMVU.
\end{enumerate}
\end{esempio}

\begin{oss}

~\begin{enumerate}
\item[1)] Nell'esempio precedente, per verificare che lo stimatore ha varianza minima abbiamo trovato $I(\theta)$ e $1/\var(T_n)$ e abbiamo mostrato che sono uguali. Grazie al lemma 1 di pagina 41, potevamo invece trovare $I(\theta)$ e la score function $S(\theta):= \frac{d}{d\theta} l(\theta,\underline{x})$ e mostrare che $S(\theta)=(V{n,T_n}-\theta) I(\theta)$ (sempre solo nel caso in cui abbiamo a che fare con una famiglia regolare)
\item[2)] Quanto detto nel punto 1) è utile nel caso in cui lo stimatore trovato sia effettivamente efficiente. Purtroppo però non tutti gli stimatori UMVU sono efficienti (ovvero: potrebbe non esistere uno stimatore non distorto che sia efficiente), anche se la distribuzione appartiene alla famiglia regolare.
\item[3)] Nel caso di famiglie non regolari, non possiamo utilizzare il teorema di Rao-Cramer. Dobbiamo quindi trovare trovare un altro modo per verificare se, una volta trovato uno stimatore non distorto, questo ha anche varianza uniformemente minima.
\item[4)] Il teorema di Rao-Blackwell (in particolare il punto 3) afferma che la ricerca di uno stimatore ottimale si può restringere alla classe degli stimatori non distorti che siano funzioni di statistiche sufficienti per il parametro su cui si vuole fare inferenza. Finora abbiamo trattato il concetto di sufficienza. Come vedremo, quest'ultima, unita alla \emph{completezza}, ci permetterà di risolvere il problema della ricerca di uno stimatore ottimale nel caso in cui il campione non provenga da una famiglia regolare.
\end{enumerate}
\end{oss}


\section{Completezza}

Esiste la possibilità di avere l'unicità dello stimatore UMVU, ovvero l'unicià dello stimatore di minima varianza, all'interno della classe degli stimatori non distorti. A tal fine, introduciamo il concetto di \emph{completezza}.

\begin{definizione}
Una statistica $T_n$ è detta \emph{completa} per la famiglia di distribuzioni da cui proviene se per qualunque funzione $\phi(T_n)$ vale la seguente implicazione:
$$\mathbb{E}_{\theta}[\phi(T_n)]=0 \; \; \forall \theta \in \Theta \Longrightarrow \mathbb{P}(\phi(T_n)=0)=1, \text{ ovvero } \phi(T_n) = 0 \text{ quasi ovunque}$$
\end{definizione}

\subsection{Teorema di Lehmann-Scheffé}

\begin{teo}[di Lehmann-Scheffé]

Sia $T_n$ una statistica sufficiente e completa per $\theta$ e sia $V_n(X_1,...,X_n)$ uno stimatore non distorto per $\theta$. Allora
$$\phi(T_n) = V{n,T_n} = \mathbb{E}_{\theta}(V_n|T_n)$$
è l'unica funzione della statistica sufficiente $T_n$ che risulta essere stimatore non distorto di $\theta$.

\begin{proof}
Sia $\phi^*(T_n)$ un'altra funzione di $T_n$, anch'essa non distorta per $\theta$. Allora $\mathbb{E}_{\theta}[\phi(T_n)-\phi^*(T_n)] = \mathbb{E}_{\theta}[\phi(T_n)]-\mathbb{E}_{\theta}[\phi^*(T_n)] = \theta - \theta = 0$.\\
Dalla completezza di $T_n$ si ha che 
$$\mathbb{E}_{\theta}[\phi(T_n)-\phi^*(T_n)]=0 \Longrightarrow \phi(T_n)-\phi^*(T_n)=0 \text{ q. o.} \Longrightarrow \phi(T_n)=\phi^*(T_n) \text{ q. o.}$$
\end{proof}
\end{teo}

\begin{oss}[importante]
Grazie al teorema di Rao-Blackwell sapevamo che possiamo restringere la ricerca di uno stimatore UMVU alle funzioni di statistiche sufficienti. Grazie al teorema di Lehmann-Scheffé possiamo ora dire che (se la statistica è completa), la funzione migliore da considerare è unica ed è proprio $\mathbb{E}_{\theta}(V_n|T_n)$.\\
Notiamo che se la statistica sufficiente è più di una, possiamo sempre ricondizionare alla statistica $T_n$ qualsiasi stimatore ottenuto usando le altre statistiche, ottenendo una funzione di $T_n$. Per questo possiamo dire che $\mathbb{E}_{\theta}(V_n|T_n)$ \underline{è l'unico stimatore UMVU} per $\theta$.
\end{oss}

\textbf{Problema:} abbiamo visto come la completezza di una statistica sufficiente ci aiuta nella ricerca di uno stimatore UMVU. Ma la completezza è una proprietà ricorrente?

\begin{teo}
Data una famiglia esponenziale a $k$ parametri, il vettore
$$\left( \sum_{i=1}^n B_1(x_i),...,\sum_{i=1}^n B_k(x_i) \right)$$
è statistica congiuntamente sufficiente (e minimale) per il vettore dei parametri $\underline{\theta}=(\theta_1,...,\theta_k)$, ed è anche statistica completa.
\end{teo}

\begin{esempio}[riassuntivo]

Sia $(X_1,...,X_n)$ un campione casuale da distribuzione avente densità esponenziale
$$f_X(x;\theta)=\theta e^{-\theta x} \mathbbm{1}_{\mathbb{R}^+}(x), \; \; \text{con } \theta>0$$
Vogliamo costruire uno stimatore UMVU per $\theta$.

\begin{enumerate}
\item[a)] Cerchiamo una statistica sufficiente per $\theta$:
$$L(	\theta,\underline{x}) = \prod_{i=1}^n \theta e^{-\theta x_i} \mathbbm{1}_{\mathbb{R}^+}(x_i) = \theta^n e^{-\theta \sum_{i=1}^n x_i} \prod_{i=1}^n \mathbbm{1}_{\mathbb{R}^+}(x_i)$$
Per il teorema di fattorizzazione di Neymann, $T_n:=\sum_{i=1}^n X_i$ è statistica sufficiente per $\theta$.\\
Notiamo che, poiché la distribuzione in questione appartiene alla famiglia esponenziale, la statistica trovata è anche completa.
\item[b)] Cerchiamo lo stimatore di massima verosimiglianza per $\theta$.
$$l(\theta, \underline{x}) = n \log(\theta) - \theta \sum_{i=1}^n x_i + \sum_{i=1}^n \log(x_i)$$
$$\frac{d}{d\theta} l(\theta,\underline{x}) = n/\theta - \sum_{i=1}^n x_i$$
Ponendo la derivata uguale a 0 si ottiene subito che $\hat{\theta}_n := \frac{n}{\sum_{i=1}^n X_i}$ è stimatore di massima verosimiglianza per $\theta$.
\item[c)] Vediamo se $\hat{\theta}_n$ è non distorto.\\
Osserviamo innanzitutto che $X_i \sim \gamma(\alpha=1, \beta=1/\theta)$. Dunque 
$$W:=\sum_{i=1}^n x_i \sim \gamma(\alpha=n, \beta=1/\theta)$$ Quindi:
$$\mathbb{E}(\hat{\theta}_n) = \mathbb{E}\left(\frac{n}{\sum_{i=1}^n X_i}\right) = n \mathbb{E}\left(\frac{1}{W}\right) = n \int_0^{+\infty} \frac{1}{w} f_W(w,\alpha,\beta) dw = ... = \frac{n}{n-1} \theta \neq \theta$$
Quindi $\hat{\theta}_n$ è stimatore distorto per $\theta$, ma è curabile facilmente.
\item[d)] Consideriamo la statistica di $S_n$ data da $S_n:=\frac{n-1}{n} \hat{\theta}_n$. Notiamo che si tratta di uno stimatore non distorto di $\theta$, funzione della statistica sufficiente e completa $\sum_{i=1}^n X_i$. Quindi per i teoremi di Rao-Blackwell e Lehmann-Scheffé, $S_n$ è \underline{lo} stimatore UMVU per $\theta$.
\end{enumerate}
\end{esempio}

\begin{esempio}
Sia $(X_1,...,X_n)$ da $U(0,\theta)$. Notiamo che la distribuzione in questione non appartiene alla famiglia esponenziale (perché il suo supporto dipende da $\theta$).
\begin{enumerate}
\item[a)] Sappiamo che $X_{(n)}=\max(X_1,...,X_n)$ è una statistica sufficiente per $\theta$. Si dimostra (esercizio) che è anche completa.
\item[b)] Abbiamo visto in precedenza che $\frac{n-1}{n}X_{(n)}$ è stimatore non distorto per $\theta$, ed è chiaramente anche funzione di $X_{(n)}$
\item[c)] Quindi per i teoremi di Rao-Blackwell e Lehmann-Scheffé, $\frac{n-1}{n} X_{n)}$ è \underline{lo} stimatore UMVU per $\theta$.
\\
\\
\end{enumerate}
\end{esempio}