Elementi di probabilità

In questa sezione sono riportate alcune relazioni di probabilità utili poi nella sezione successiva.

Nel caso discreto, definiamo la funzione massa di probabilità (probability mass function, PMF) come

$$p_X(x) = P(X=x)$$ (2.82)

mentre, nel caso continuo, $p_X(x)$ indica la funzione di densità di probabilità (probability density function, PDF).

Il teorema di Bayes (o formula di Bayes) è una relazione che si ottiene unendo il teorema della probabilità composta con il teorema della probabilità assoluta.

Partendo dalla definizione di probabilità condizionata $P(A,B)=P(A\vert B)P(B)$ (multiplication rule) si ottiene:

$$P(A\vert B) = \frac{P(A,B)}{P(B)}$$ (2.83)

e il viceversa

$$P(B\vert A) = \frac{P(B,A)}{P(A)}$$ (2.84)

con la considerazione che $P(A,B)=P(B,A)$ si ottiene

$$P(A\vert B) = \frac{P(B\vert A)P(A)}{P(B)}$$ (2.85)

Si può applicare lo stesso ragionamento nel caso di tre variabili:

$$P(A,B,C) = P(A\vert B,C)P(B,C)=P(B\vert A,C)P(A,C)=P(B,A,C)$$ (2.86)

si ottiene la formula di Bayes

$$P(A\vert B,C) = \frac{P(B\vert A,C)P(A\vert C)}{P(B\vert C)}$$ (2.87)

dove si vede come si propaga la dipendenza da una terza variabile $C$.

Un'altra formula importante che verrà usata nel prossimo capitolo è il teorema della probabilità assoluta (law of total probability):

$$P(B)=\sum P(A_i, B) = \sum P(A_i) P(B\vert A_i)$$ (2.88)

o nel caso continuo

$$p_X(x)=\int p_{X,Y}(X=x,Y=y) dy=\int p(x\vert Y=y) p(y) dy$$ (2.89)

densità marginale di $\mathbf{X}$.