Critère d'irréductibilité de Mackey

Notons (V,ρ)=Ind(θ) et déterminons la restriction Res_S(ρ) de ρ à un autre sous-groupe S de G.

Pour cela,

• choisissons un ensemble de représentants des doubles classes de G modulo (H,S), c'est-à-dire un sous-ensemble C de G tel que les ScH, quand c parcourt C, forment une partition de G (c'est l'analogue, pour les doubles classes, de la notion de transversale pour les classes suivant un sous-groupe), et
• généralisons la définition précédente des H_s et des θ^s (qui correspondait au cas S=H) : pour tout élément c de G – les seuls qui interviendront seront les éléments c du système C de représentants – H_c désigne à présent le sous-groupe de S${\displaystyle H_{c}=cHc^{-1}\cap S}$et θ^c est la représentation sur W de ce sous-groupe définie par la même formule que précédemment.

Ceci permet de formuler un lemme :

• La restriction à S de Ind(θ) est la somme directe des représentations Ind_Hc^S(θ^c) quand c parcourt un ensemble C de représentants des doubles classes de G modulo (H,S).

La démonstration est une application directe du lemme ci-dessus dans le cas S=H et de la formule de réciprocité de Frobenius, en notant, pour tout sous-groupe L de G, < | >_L la forme bilinéaire symétrique canonique sur les fonctions centrales sur L, et <ρ₁|ρ₂>_L le résultat de cette forme appliquée aux caractères de deux représentations ρ₁ et ρ₂ de L.

Comme la caractéristique de K est supposée nulle, la représentation (V, ρ) est irréductible si et seulement si <ρ|ρ>_G = 1. La formule de réciprocité de Frobenius s'exprime de la manière suivante :

${\displaystyle \langle \rho ~|~\rho \rangle _{G}=\langle \mathrm {Ind} _{H}^{G}\theta ~|~\rho \rangle _{G}=\langle \theta ~|~\mathrm {Res} _{H}^{G}\rho \rangle _{H}.}$

Or d'après le lemme ci-dessus, si C est un système de représentants des doubles classes modulo (H,H) :

${\displaystyle \langle \theta ~|~\mathrm {Res} _{H}^{G}\rho \rangle _{H}=\langle \theta ~|~\oplus _{c\in C}\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}=\sum _{c\in C}\langle \theta ~|~\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}.}$

En appliquant à nouveau la formule de Frobenius, le terme courant de cette somme est égal à :

${\displaystyle \langle \theta ~|~\mathrm {Ind} _{H_{c}}^{H}\theta ^{c}\rangle _{H}=\langle \mathrm {Ind} _{H_{c}}^{H}\theta ^{c}~|~\theta \rangle _{H}=\langle \theta ^{c}~|~\mathrm {Res} _{c}(\theta )\rangle _{H_{c}}}$

Ce terme est nul si θ^c est disjointe de Res_c(θ) et supérieur ou égal à 1 sinon. On peut toujours supposer que pour la double classe particulière H1H=H on a choisi comme représentant c=1. Or les représentations θ¹ et Res₁(θ) de H₁=H sont égales à θ donc non disjointes. Pour que <ρ|ρ>_G soit égal à 1, il est donc nécessaire et suffisant que <θ|θ>_H soit égal à 1 – c'est-à-dire que θ soit irréductible – et que pour tout élément c de C différent de 1, θ^c soit disjointe de Res_c(θ). Par équivalence, il en sera alors de même pour n'importe quel autre représentant de la même classe double, ce qui termine la démonstration.