Loi de mélange

Une combinaison linéaire générale de fonction de densité de probabilité n'est pas nécessairement une densité de probabilité, car il peut être négatif, ou il peut intégrer à autre chose qu'à 1. Toutefois, une combinaison convexe des fonctions de densité de probabilité préserve ces deux propriétés (non-négativité et l'intégration à 1), et donc des densités de mélange sont eux-mêmes des fonctions de densité de probabilité.

Soit X₁, ..., X_n  représentent des variables aléatoires à partir de n lois de composants, et soit X représentant une variable aléatoire de la loi de mélange. Ainsi, pour toute fonction H(·) pour lesquels ${\displaystyle \operatorname {E} [H(X_{i})]}$ existe, et en supposant que la composante densités p_i(x) existe,

${\displaystyle {\begin{aligned}\operatorname {E} [H(X)]&=\int _{-\infty }^{\infty }H(x)\sum _{i=1}^{n}w_{i}p_{i}(x)\,dx\\&=\sum _{i=1}^{n}w_{i}\int _{-\infty }^{\infty }p_{i}(x)H(x)\,dx=\sum _{i=1}^{n}w_{i}\operatorname {E} [H(X_{i})].\end{aligned}}}$

Notez que le j^ième  moment de zéro (c'est è dire le choix de H(x) = x^j) est simplement une moyenne pondérée du j^ième moment des composants. Les moments autour de la moyenne H(x) = (x − μ)^j implique une expansion binomiale[1]:

${\displaystyle {\begin{aligned}\operatorname {E} [(X-\mu )^{j}]&=\sum _{i=1}^{n}w_{i}\operatorname {E} [(X_{i}-\mu _{i}+\mu _{i}-\mu )^{j}]\\&=\sum _{i=1}^{n}\sum _{k=0}^{j}\left({\begin{array}{c}j\\k\end{array}}\right)(\mu _{i}-\mu )^{j-k}w_{i}\operatorname {E} [(X_{i}-\mu _{i})^{k}],\end{aligned}}}$

où μ_i désigne la moyenne du i^ième composant.

Dans le cas d'un mélange de lois unidimensionnelles avec des poids w_i, des moyennes μ_i et des variances σ_i², la moyenne et la variance totale sont:

${\displaystyle \operatorname {E} [X]=\mu =\sum _{i=1}^{n}w_{i}\mu _{i},}$

${\displaystyle \operatorname {E} [(X-\mu )^{2}]=\sigma ^{2}=\sum _{i=1}^{n}w_{i}(\mu _{i}^{2}+\sigma _{i}^{2})-\mu ^{2}.}$

Ces relations mettent en évidence le potentiel des lois de mélange pour afficher les moments non-trivials tels que l'asymétrie et l'aplatissement et multi-modalité[2].

La question de la multimodalité est simple pour certains cas, tels que des mélanges de lois exponentielles : tous ces mélanges sont uni-modaux[3]. Cependant, pour le cas des mélanges de lois normales, la question est complexe. Les conditions pour le nombre de modes dans un mélange normale multivariée ont été observés par Ray et Lindsay[4] étendant les travaux antérieurs sur l’uni-variété[5] - [6] et les lois multivariées (Carreira-Perpinan et Williams, 2003).

Ici, le problème de l'évaluation des modes d'un n mélange de composants dans un espace tridimensionnel D est réduite à l'identification des points critiques (les points minimum, maximum et selle) sur un collecteur appelée la surface crête, qui est l'image de la fonction 'crête'.

${\displaystyle x^{*}(\alpha )=\left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\right]^{-1}\times \left[\sum _{i=1}^{n}\alpha _{i}\Sigma _{i}^{-1}\mu _{i}\right],}$

où α appartient à la dimension simplexe n − 1${\displaystyle {\mathcal {S}}_{n}=\{\alpha \in \mathbb {R} ^{n}:\alpha _{i}\in [0,1],\sum _{i=1}^{n}\alpha _{i}=1\}}$ et Σ_i ∈ R^{D × D}, μ_i ∈ R^D correspondent à la moyenne et la covariance du i^ième composant. Ray et Lindsay ont considéré le cas où n − 1 < D montrant une correspondance entre les modes de mélange et la fonction d'élévation h(α) = q(x*(α)) ainsi, on peut identifier les modes en résolvant ${\displaystyle {\frac {dh(\alpha )}{d\alpha }}=0}$ par apport à α et déterminer la valeur x*(α).

loi de mélange univariée, montrant la loi bimodale

En utilisant les outils graphiques, la multi-modalité potentielle de n = {2, 3} mélanges est démontrée; il est en particulier montré que le nombre de modes peut être supérieur à n et que les modes ne peut pas être confondu avec les moyens qui le composent. Pour deux composants, ils développent un outil graphique pour l'analyse de la résolution du précité différentiel par rapport à w₁ et exprimer la solution sous forme de fonction Π(α), α ∈ [0, 1] de sorte que le nombre et l'emplacement des modes pour une valeur donnée de w₁ correspond au nombre d'intersections du graphe sur la ligne Π(α) = w₁. Cela peut être lié au nombre d'oscillations du graphe, et donc à des solutions de ${\displaystyle {\frac {d\Pi (\alpha )}{d\alpha }}=0}$ explicitse pour un mélange de deux composants homoscédastiques donné par

${\displaystyle 1-\alpha (1-\alpha )d_{M}(\mu _{1},\mu _{2},\Sigma )^{2}}$

où d_M(μ₁, μ₂, Σ) = (μ₂ − μ₁)^TΣ⁻¹(μ₂ − μ₁) est la distance de Mahalanobis.

Comme cette dernière est quadratique, il en resulte un nombre maximal de deux modes, indépendamment de la dimension ou le de la moyenne.

• Modèle graphique
• Réseau bayésien
• Réseau bayésien dynamique
• Modèle de mélange