Théorie des représentations d'un groupe fini

Le groupe symétrique S₃ est constitué des six permutations de l'ensemble E = {1, 2, 3}. Nous noterons (V, ρ) la représentation associée sur le corps ℚ des rationnels, et (e₁, e₂, e₃) la base canonique de V = ℚ^E ≃ ℚ³.

Pour tout élément s de S₃, ρ(s) envoie (e₁, e₂, e₃) sur (e_s(1), e_s(2), e_s(3)), donc fixe chaque élément de la droite vectorielle V₁ engendrée par le vecteur e₁ + e₂ + e₃ et laisse globalement stable le plan vectoriel supplémentaire V₂ constitué des vecteurs dont la somme des coordonnées est nulle. (V, ρ) est donc la somme directe de deux représentations (V₁, ρ₁) et (V₂, ρ₂).

Représentation de S₃ comme groupe des isométries du triangle

Puisque ρ₁ est triviale, la représentation ρ₂ est, tout comme ρ, fidèle. Toute représentation fidèle de S₃ est de degré supérieur ou égal à 2 (en effet S₃ est non abélien, alors que toute représentation de degré 0 ou 1 a pour image un groupe abélien). On démontre que toute représentation fidèle de S₃ de degré 2 est isomorphe à ρ₂.

Chacun des six éléments ρ(s) permute évidemment les trois vecteurs e₂ + e₃ – 2e₁, e₁ + e₃ – 2e₂ et e₁ + e₂ – 2e₃. Or ces trois vecteurs sont de somme nulle et deux quelconques d'entre eux forment une base de V₂. Il y a donc exactement six endomorphismes de ce plan qui permutent ces trois vecteurs, et ce sont les ρ₂(s).

Comme pour toute représentation d'un groupe fini ou même d'un groupe compact, il existe pour ρ au moins un produit scalaire sur V tel que tous les ρ(s) soient des isométries. Mais on peut se passer ici de ce résultat théorique : le produit scalaire canonique convient, puisque toute matrice de permutation est orthogonale.

Pour ce produit scalaire, les ρ₂(s) apparaissent alors comme les six isométries laissant invariant le triangle équilatéral suivant (choisi inscrit dans le cercle unité, ce qui nécessite d'étendre le corps de base) : u = (e₂ + e₃ – 2e₁)/√6, v = (e₁ + e₃ – 2e₂)/√6, w = (e₁ + e₂ – 2e₃)/√6.

La figure de droite illustre une interprétation graphique de la représentation (en prenant comme base orthonormée de V₂, par exemple : (u, (v – w)/√3)). Les lignes rouges représentent les trois axes de symétrie des trois transpositions.

1. Si G est un sous-groupe de GL_n(K), l'injection canonique associée est une représentation matricielle appelée la représentation standard.
2. Toute action de G sur un ensemble fini E fournit une représentation ρ de G sur l'espace vectoriel K^E des applications de E dans K : on considère dans cet espace la base canonique (δ_e)_e∈E, où δ désigne le symbole de Kronecker (δ_e(f) vaut 1 pour f = e et vaut 0 pour les autres f∈E), et pour tout s∈G, on définit l'automorphisme ρ(s) par son action sur cette base : il la permute par ρ(s)(δ_e) = δ_s.e. On en verra un exemple avec la représentation régulière, issue de l'action de G sur lui-même par multiplication à gauche.
3. Une représentation de degré 1 est naturellement irréductible. Elle est à valeurs dans un groupe de racines g-ièmes de l'unité dans K (ce résultat est conséquence d'un théorème de Lagrange). Un tel groupe est toujours cyclique. En conséquence, une représentation de degré 1 n'est fidèle que si le groupe G est cyclique. Une autre conséquence, démontrée dans l'analyse des caractères, est qu'un groupe fini est abélien si et seulement si toute représentation irréductible est de degré 1.

Heinrich Maschke (1853 1908)

L'objectif est la classification de toutes les représentations d'un groupe fini sur un corps K. Cette démarche, analogue à celle de la réduction d'endomorphisme par Jordan, se fonde sur le lemme suivant, sous l'hypothèse que la caractéristique de K ne divise pas l'ordre du groupe :

• Tout sous-espace stable d'une représentation admet un supplémentaire stable.

Cette propriété est illustrée dans l'exemple de la représentation standard du groupe S₃. La droite fixe engendrée par le vecteur e₁ + e₂ + e₃ possède un plan supplémentaire stable. C'est une propriété remarquable car dans le contexte général de l'algèbre linéaire, un sous-espace stable par un endomorphisme ne possède pas toujours de supplémentaire stable.

La classification, sous l'hypothèse du lemme ci-dessus, est le théorème de Maschke :

• Toute représentation d'un groupe fini est somme directe de représentations irréductibles.

Connaître toutes les représentations d'un groupe fini revient donc à connaître ses représentations irréductibles, les autres s'obtiennent par somme directe.

Il existe une décomposition canonique, elle se fonde sur la définition suivante :

• Une représentation est dite isotypique si elle est somme directe d'une famille de représentations irréductibles deux à deux équivalentes.

La décomposition d'une représentation en sous-espaces isotypiques maximaux est unique, ou encore: il n'existe qu'une seule sous-représentation isotypique maximale par représentation irréductible.

Si K est un sous-corps de ℂ, alors il existe sur V un produit hermitien G-invariant, c'est-à-dire tel que tous les ρ_s (quand s parcourt G) soient des isométries.

C'est un cas particulier du lemme d'unitarisation pour les groupes compacts (tout groupe discret fini est compact, et sa mesure de Haar est la mesure de comptage).

Preuve directe

V isomorphe à Kⁿ, lui-même inclus dans ℂⁿ qui est muni d'un produit hermitien canonique. On dispose donc sur V d'un produit hermitien ⟨ | ⟩, à partir duquel on en définit un autre, ( | ) — qui, lui, est G-invariant — en posant, pour tous vecteurs v et w de V :

${\displaystyle (v|w)={\frac {1}{g}}\sum _{s\in G}\langle \rho _{s}(v)|\rho _{s}(w)\rangle .}$

Si K est même inclus dans le sous-corps ℝ des réels, ce produit hermitien est en fait un produit scalaire car la conjugaison est l'identité sur K.

• Le caractère d'une représentation (V, ρ) de G est l'application χ_ρ qui à tout élément s de G associe la trace de ρ_s.
  C'est donc un élément de l'espace vectoriel K^G des applications de G dans K.
• Si deux représentations sont équivalentes, alors elles ont même caractère.
  La réciproque est vraie si K est de caractéristique 0.
• Un caractère associé à une représentation irréductible est dit caractère irréductible.
• L'ensemble des caractères irréductibles est orthonormal pour la forme bilinéaire symétrique canonique sur K^G.

• Une application définie sur G est dite centrale si elle est constante sur chaque classe de conjugaison.
• L'ensemble des fonctions centrales sur G à valeurs dans K est un sous-espace vectoriel de l'espace K^G des applications de G dans K. Sa base canonique est la famille (1_c)_c∊C des fonctions indicatrices des classes de conjugaison.

L'indicatrice d'une classe de conjugaison c se décompose dans la base canonique (δ_s)_s∊G de K^G en : 1_c=∑_s∊cδ_s.

Les propriétés des traces montrent que le caractère d'une représentation est une fonction centrale, de plus :

• La famille orthonormale des caractères irréductibles forme une base de l'espace des fonctions centrales à valeurs dans K.

On en déduit que le nombre de représentations irréductibles est égal au nombre h de classes de conjugaison du groupe.

La théorie des représentations se fonde sur deux approches qui, sous des angles différents, permettent l'analyse des représentations d'un groupe. La première est couverte par le paragraphe précédent, les caractères, la deuxième se fonde sur des structures : celles d'algèbre et de module. Une des raisons de la richesse de la théorie est la complémentarité de ces deux points de vue dont le second fournit un cadre théorique général au premier.

On associe à G une K-algèbre associative, appelée la K-algèbre du groupe fini G et notée K[G], de la manière suivante. Sur l'espace vectoriel K^G on choisit, comme multiplication interne, la convolution, qui s'exprime dans la base canonique (δ_s)_s∊G par :

${\displaystyle \forall (a_{s})_{s\in G},\;(b_{t})_{t\in G}\in K^{G}\quad {\Big (}\sum _{s\in G}a_{s}\delta _{s}{\Big )}*{\Big (}\sum _{t\in G}b_{t}\delta _{t}{\Big )}=\sum _{s\in G}\sum _{t\in G}a_{s}b_{t}\delta _{st}}$

On obtient alors un dictionnaire complet entre représentations de G et K[G]-modules. En particulier les représentations irréductibles correspondent aux modules simples et leurs sommes directes aux modules semi-simples.

Dans ce contexte, le théorème de Maschke se reformule en disant que K[G] est un anneau semi-simple.

Grâce aux résultats précédents, on démontre directement :

• L'algèbre K[G] est isomorphe à la somme directe des algèbres L_K(S_i) d'endomorphismes des K-espaces vectoriels S_i sous-jacents aux h représentations irréductibles de G :

${\displaystyle K[G]\;\simeq \;\bigoplus _{i=1}^{h}\mathrm {L} _{K}(S_{i}).}$

(Sous l'hypothèse supplémentaire que K est algébriquement clos, une manière plus savante d'arriver au même résultat est d'utiliser le théorème d'Artin-Wedderburn pour les algèbres semi-simples de dimension finie.)

L'égalité des dimensions des deux membres de cet isomorphisme fournit une identité remarquable : g=∑d_i², où d_i désigne la dimension de S_i. On démontre par ailleurs que tous les d_i divisent g[1].

Il résulte directement de la définition du produit de convolution que :

• Le centre de K[G] coïncide avec le sous-espace vectoriel des fonctions centrales.

Par ailleurs, un élément de K[G] appartient au centre si et seulement si, via l'isomorphisme ci-dessus, chacune de ses composantes est une homothétie. L'algèbre commutative des fonctions centrales (munie du produit de convolution) est donc isomorphe à l'algèbre produit K^h. On peut préciser cet isomorphisme :

• Pour toute fonction centrale ${\displaystyle f}$, le rapport de l'homothétie correspondante sur S_i vaut :${\displaystyle {\frac {1}{d_{i}}}\sum _{s\in G}f(s)\chi _{i}(s).}$

La représentation régulière de G est définie sur l'espace K^G comme cas particulier du deuxième exemple général : un élément u de G agit linéairement en permutant la base canonique :

${\displaystyle u.\delta _{s}=\delta _{u.s}.~}$

Cette représentation correspond donc, via le « dictionnaire » mentionné précédemment, à la structure naturelle de K[G]-module à gauche de l'algèbre K[G]. Grâce à la décomposition ci-dessus de cette algèbre on a par conséquent :

• La représentation régulière est équivalente à la somme directe des h représentations irréductibles ρ_i répétées chacune un nombre de fois égal à son degré d_i.

et comme corollaire :

• Toute représentation irréductible de G est équivalente à une sous-représentation de la régulière.

Un objectif important de la théorie des groupes finis est la classification. Elle se fonde sur deux concepts : un ensemble de briques élémentaires correspondant à des groupes finis facilement analysable et une extension qui permet, à l'aide des briques élémentaires de construire les groupes de la famille.

Dans le cas des groupes abéliens, les briques élémentaires sont constituées par les groupes cycliques, l'extension est celle du produit direct. Ainsi tout groupe abélien fini est produit direct de groupes cycliques.

Dans le cas général, les briques élémentaires sont les groupes simples et l'extension les produits directs et semi-directs.

Il est donc naturel de traduire en termes de représentations les deux grandes méthodes d'extension.

Le produit tensoriel de deux représentations est une représentation. Plus précisément : le produit tensoriel d'une représentation d'un groupe G₁ et d'une représentation d'un groupe G₂ est une représentation du groupe produit G₁×G₂. Le caractère de la représentation obtenue est le produit tensoriel des caractères des deux représentations. On obtient de plus une bijection entre les couples de représentations irréductibles des deux groupes et les représentations irréductibles de leur produit.

Dans le cas particulier où les deux groupes sont égaux à un même groupe G, ce produit tensoriel de deux représentations de G fournit aussi, par composition avec le morphisme diagonal, une représentation de G. Son caractère est le produit des deux caractères, et elle possède deux sous-représentations naturelles, sur le sous-espace des tenseurs symétriques et celui des tenseurs antisymétriques.

L'induction est un mode de construction d'une représentation d'un groupe G à l'aide d'une représentation d'un de ses sous-groupes H. Soit (W, θ) une représentation de H. Une représentation (V, ρ) de G est équivalente à la représentation induite par (W, θ) si et seulement si W est un sous-H-module de V et les différents sous-espaces ρ_cW, quand c parcourt un système de représentants des classes à gauche de G/H, sont en somme directe, et de somme égale à V.

En termes de G-module, la représentation induite s'exprime simplement :

${\displaystyle V\simeq K[G]\otimes _{K[H]}W.}$

Elle correspond à une extension des scalaires K[H] à l'anneau K[G] sur le H-module W.

La technique de la représentation induite est largement utilisée en théorie des groupes finis, par exemple pour l'étude des représentations de certains produits semi-directs (Serre, p. II - 18) et pour la caractérisation des groupes simples.

Les représentations induites sont le cadre de nombreux théorèmes. On peut citer l'un des plus anciens : la formule de réciprocité de Frobenius. Si ψ désigne le caractère de la représentation θ de H et χ celui d'une représentation σ de G, si Ind(ψ) désigne le caractère de la représentation induite par θ et Res(χ) le caractère de la restriction de σ à H, alors :

${\displaystyle \langle \mathrm {Ind} _{H}^{G}\,\psi \mid \chi \rangle _{G}=\langle \psi \mid \mathrm {Res} _{H}^{G}\,\chi \rangle _{H}}$.

Série de Molien (en)

• Vincent Beck, « TD Représentation des groupes finis », 2005-2006 du cours de M2 de Michel Broué (Université Paris VII - Diderot), et corrigé
• Pierre Colmez, « Éléments d'analyse et d'algèbre », sur IMJ-PRG, 2010
• Daniel Ferrand, « Représentation linéaire des groupes finis, une introduction », sur IMJ-PRG, 2005
• Gabriel Peyré, « Représentation linéaire des groupes finis », sur dyna.maths.free.fr

• N. Bourbaki, Éléments de mathématique, Algèbre, chap. VIII, Paris, Hermann, 1958
• (en) Marshall Hall, Jr., The Theory of Groups [détail des éditions]
• Yvette Kosmann-Schwarzbach, Groupes et symétries, École polytechnique, 2005, 193 p. (ISBN 978-2-7302-1257-1, lire en ligne)
• Serge Lang, Algèbre [détail des éditions]
• Jean-Pierre Serre, Représentations linéaires des groupes finis [détail des éditions]