Analyse harmonique non commutative

Soit G un groupe et ${\displaystyle m_{G}}$ une mesure de Haar sur G (invariante à gauche et à droite, puisque G est unimodulaire). Une représentation unitaire de G dans un espace de Hilbert H est un morphisme de groupes ${\displaystyle U:G\rightarrow Aut(H)}$ tel que l'application ${\displaystyle G\ni x\mapsto U(x)f\in H}$ est continue pour tout ${\displaystyle f\in H}$. La dimension de H (finie ou infinie) est appelée le degré de U. Toutes les représentations sont unitaires dans ce qui suit. Une représentation U est dite irréductible si tout sous-espace fermé non réduit à 0 de H et stable par U est nécessairement égal à H. Deux représentations ${\displaystyle U_{1}:G\rightarrow H_{1}}$ et ${\displaystyle U_{2}:G\rightarrow H_{2}}$ sont équivalentes s'il existe un isomorphisme d'espace de Hilbert ${\displaystyle T:H_{1}\rightarrow H_{2}}$ tel que ${\displaystyle U_{2}(x)=TU_{1}(x)T^{-1}}$ pour tout ${\displaystyle x\in G}$. La représentation triviale de G dans H est l'application constante ${\displaystyle g\mapsto Id_{H}}$. Une représentation scalaire U est un multiple scalaire de la représentation triviale, c'est-à-dire telle que ${\displaystyle U(x)=u(x)Id_{H}}$, où ${\displaystyle u(x)\in \mathbb {C} ,\forall x\in G}$. Les représentations régulières à gauche U de G sont celles pour lesquelles ${\displaystyle H=L^{2}\left(G\right)}$, l'espace de Hilbert des classes (modulo l'égalité ${\displaystyle m_{G}}$-presque partout) de fonctions à valeurs complexes de carré intégrable sur G par rapport à ${\displaystyle m_{G}}$, et ${\displaystyle U(x)}$ est la translation à gauche ${\displaystyle \gamma (x)}$ où ${\displaystyle (\gamma (x)f)(y)=f(x^{-1}y)}$ (${\displaystyle f\in H,x,y\in G}$) ; cette représentation est évidemment unitaire. On définit de même la représentation régulière à droite ${\displaystyle \delta (x)}$, où ${\displaystyle (\delta (x)f)(y)=f(yx)}$ (${\displaystyle f\in H,x,y\in G}$), et on peut raisonner sur l'une ou l'autre. Dans ce qui suit, « représentation régulière » signifie représentation régulière à gauche. Le problème central de l'analyse harmonique sur un groupe G (commutatif ou non) est, comme on va le voir, l'étude de la décomposition en composantes irréductibles de la représentation régulière de G. Le lemme de Schur ci-dessous est un résultat classique d'algèbre lorsque l'espace de Hilbert H est de dimension finie ; lorsque H est de dimension infinie, c'est une conséquence de la théorie spectrale de Hilbert[28] :

On conviendra dans ce qui suit de ne pas distinguer deux représentations équivalentes, pour ne pas compliquer la terminologie.

Un théorème dû à Gelfand et Raïkov montre que tout groupe G (localement compact) possède un système complet de représentations irréductibles, c'est-à-dire que pour tout élément ${\displaystyle x\neq e}$, il existe un espace de Hilbert H et une représentation irréductible ${\displaystyle U:G\rightarrow Aut(H)}$ telle que ${\displaystyle U(x)\neq Id_{H}}$.

Soit Z un espace topologique, ${\displaystyle \pi }$ une mesure sur Z[29], ${\displaystyle (H_{z})_{z\in Z}}$ une famille d'espaces de Hilbert, et ${\displaystyle V=\prod \nolimits _{z\in Z}H_{z}}$ ; la famille ${\displaystyle (H_{z})_{z\in Z}}$ est appelée un champ d'espaces de Hilbert, un élément ${\displaystyle f=(f_{z})_{z\in Z}}$ où ${\displaystyle f_{z}\in H_{z},\forall z\in Z}$ est appelé un champ de vecteurs, un élément ${\displaystyle u=(u_{z})_{z\in Z}}$ où ${\displaystyle u_{z}\in End(H_{z}),\forall z\in Z}$ est appelé un champ d'opérateurs. Le champ ${\displaystyle (H_{z})_{z\in Z}}$ est dit ${\displaystyle \pi }$-mesurable s'il existe un sous-espace S de V tel que (i) pour tout champ de vecteurs ${\displaystyle \varepsilon =(\varepsilon _{z})\in S}$, la fonction à valeurs réelles ${\displaystyle z\mapsto \left\Vert \varepsilon _{z}\right\Vert }$ est ${\displaystyle \pi }$-mesurable, (ii) si ${\displaystyle f\in V}$ est tel que pour tout ${\displaystyle \varepsilon \in S}$, la fonction ${\displaystyle z\mapsto \left\langle f_{z},\varepsilon _{z}\right\rangle _{H_{z}}}$ est ${\displaystyle \pi }$-mesurable, alors ${\displaystyle f\in S}$, (iii) il existe dans V une suite ${\displaystyle (\varepsilon ^{i})}$ de champs de vecteurs telle que pour tout ${\displaystyle z\in Z}$, la suite ${\displaystyle (\varepsilon _{z}^{i})}$ soit totale dans ${\displaystyle H_{z}}$. S'il en est ainsi, un champ de vecteurs f est dit ${\displaystyle \pi }$-mesurable si pour tout i, la fonction ${\displaystyle z\mapsto \left\langle f_{z},\varepsilon _{z}^{i}\right\rangle _{H_{z}}}$ est ${\displaystyle \pi }$-mesurable ; il est dit de carré intégrable (par rapport à ${\displaystyle \pi }$) s'il est ${\displaystyle \pi }$-mesurable et si

${\displaystyle \int _{Z}\left\Vert f_{z}\right\Vert ^{2}d\pi \left(z\right)<\infty }$.

Les champs de vecteurs de carré intégrable forment un espace préhilbertien complexe K ; en quotientant par le sous-espace formé par les champs de vecteurs ${\displaystyle \pi }$-négligeables, on obtient un espace préhilbertien séparé H, et on peut montrer que H est complet, donc est un espace de Hilbert. C'est cet espace qui est appelé la somme continue du champ d'espaces de Hilbert ${\displaystyle (H_{z})_{z\in Z}}$[30] - [28]. Il est noté

${\displaystyle H=\int _{Z}H_{z}d\pi (z)}$.

Si Z est discret, cette somme continue est une somme hilbertienne et les ${\displaystyle H_{z}}$ s'identifient canoniquement à des sous-espaces hilbertiens de H (ce qui est inexact, en général, si Z n'est pas discret).

Soit maintenant G un groupe et ${\displaystyle (U_{z})_{z\in Z}}$ une famille, chaque ${\displaystyle U_{z}}$ étant une représentation unitaire de G dans l'espace de Hilbert ${\displaystyle H_{z}}$ ; ${\displaystyle (U_{z})_{z\in Z}}$ est appelée un champ de représentations unitaires. Si les fonctions ${\displaystyle z\mapsto H_{z}\varepsilon ^{i}}$ sont toutes mesurables, il existe une représentation unitaire unique U de G dans H telle que la relation ${\displaystyle g=Uf}$ équivaut à ${\displaystyle g_{z}=U_{z}f_{z},\forall z\in Z}$. On dit alors que U est la somme continue des ${\displaystyle U_{z}}$ et on écrit

${\displaystyle U=\int _{Z}U_{z}d\pi (z)}$.

Si les ${\displaystyle U_{z}}$ sont irréductibles, on a donc une décomposition de U en somme continue de représentations irréductibles. C'est le cas de la décomposition en série de Fourier et la transformée de Fourier, que nous allons rappeler maintenant, ces représentations irréductibles étant alors « scalaires ».

Soit ${\displaystyle G=\mathbb {T} }$ le tore défini plus haut, ${\displaystyle H=L^{2}\left(\mathbb {T} \right)}$, et considérons la représentation régulière ${\displaystyle \gamma }$. On peut décomposer une fonction ${\displaystyle f\in H}$ en série de Fourier :

${\displaystyle f=\sum _{n}{\overline {\mathcal {F}}}[f]_{n}\chi _{n}^{\ast }}$

où ${\displaystyle \chi _{n}}$ est le « caractère » ${\displaystyle y\mapsto e^{i2\pi ny}}$ (${\displaystyle y\in \mathbb {T} }$), ${\displaystyle \chi _{n}^{\ast }\left(y\right)={\overline {\chi _{n}\left(y\right)}}}$, les coefficients de Fourier ${\displaystyle {\overline {\mathcal {F}}}[f]_{n}}$ sont donnés par

${\displaystyle {\overline {\mathcal {F}}}[f]_{n}=\int _{\mathbb {T} }\chi _{n}\left(x\right)f(x)dx}$

et la série converge dans H. En notant ${\displaystyle {\overline {\mathcal {F}}}[f]}$ la suite ${\displaystyle ({\overline {\mathcal {F}}}[f]_{n})}$, on a ${\displaystyle {\overline {\mathcal {F}}}[f]\in l^{2}}$, et il vient

${\displaystyle \gamma (x)f=\sum _{n}\chi _{n}^{\ast }\left(x\right){\overline {\mathcal {F}}}[f]_{n}\chi _{n}}$.

On a ${\displaystyle \left(f\star \chi _{n}^{\ast }\right)\left(x\right)=\int _{\mathbb {T} }f(y)\chi _{n}^{\ast }\left(x-y\right)dy=\chi _{n}^{\ast }\left(x\right){\overline {\mathcal {F}}}[f]_{n}}$, et par conséquent, en posant ${\displaystyle \Theta _{n}\left(f\right)={\overline {\mathcal {F}}}[f]_{n}}$[31], on obtient la « formule de Plancherel »

${\displaystyle f(x)=\sum _{n}(f\star \chi _{n}^{\ast })=\sum _{n}\Theta _{n}\left(\gamma (-x)f\right)}$.

L'espace de Hilbert H se décompose en la somme hilbertienne ${\displaystyle \oplus _{n}\mathbb {C} \chi _{n}^{\ast }}$ et ${\displaystyle (\chi _{n}^{\ast })}$ est une base hilbertienne de H. Soit ${\displaystyle H_{n}=\mathbb {C} \chi _{n}^{\ast }}$ ; c'est un sous-espace hilbertien de dimension 1 de H (avec le produit scalaire habituel dans ${\displaystyle \mathbb {C} }$), et si ${\displaystyle f\in H_{n}}$, on a ${\displaystyle \gamma (x)f=\chi _{n}\left(x\right)f}$. La restriction de ${\displaystyle \gamma }$ à ${\displaystyle H_{n}}$ est donc une représentation irréductible de degré 1, dite « scalaire », à savoir la multiplication par ${\displaystyle \chi _{n}}$. On écrira donc ${\displaystyle \gamma =\oplus _{n}\chi _{n}}$. On peut encore noter H et ${\displaystyle \gamma }$ par les intégrales respectives ${\displaystyle \int _{\mathbb {Z} }H_{n}dm_{\mathbb {Z} }\left(n\right)}$ et ${\displaystyle \int _{\mathbb {Z} }\chi _{n}dm_{\mathbb {Z} }\left(n\right)}$ où ${\displaystyle m_{\mathbb {Z} }}$ est la mesure définie par ${\displaystyle m_{\mathbb {Z} }(n)=1}$ (c'est-à-dire la mesure de Haar normalisée sur ${\displaystyle \mathbb {Z} }$). Le groupe ${\displaystyle {\hat {G}}}$ des caractères est isomorphe à ${\displaystyle \mathbb {Z} }$ et peut donc lui être identifié. Comme on va le voir plus loin, ${\displaystyle \mathbb {Z} }$ est le « dual » du groupe ${\displaystyle \mathbb {T} }$ ; on peut récrire ce qui précède en notant ${\displaystyle {\hat {x}}}$ au lieu de n l'élément générique de ${\displaystyle \mathbb {T} }$. En notant ${\displaystyle \left\Vert f\right\Vert _{2}}$ la norme de f dans ${\displaystyle L^{2}\left(\mathbb {T} \right)}$ et ${\displaystyle \left\Vert {\overline {\mathcal {F}}}[f]\right\Vert _{2}}$ la norme de la suite ${\displaystyle {\overline {\mathcal {F}}}[f]}$ dans ${\displaystyle l^{2}}$, l'égalité de Parseval (ou de Bessel-Parseval)[32] s'écrit ${\displaystyle {\left\Vert f\right\Vert _{2}}^{2}={\left\Vert {\overline {\mathcal {F}}}[f]\right\Vert _{2}}^{2}}$.

On appelle cotransformation de Fourier la correspondance ${\displaystyle {\overline {\mathcal {F}}}:f\mapsto {\overline {\mathcal {F}}}[f]}$.

Soit ${\displaystyle G=\mathbb {R} }$, ${\displaystyle H=L^{2}\left(\mathbb {R} \right)}$, et U la représentation régulière de G. Soit ${\displaystyle f\in L^{2}}$ une fonction suffisamment régulière (ce qui sera précisé plus loin). Sa transformée de Fourier est donnée par

${\displaystyle {\mathcal {F}}[f]:\nu \mapsto \int _{\mathbb {R} }\chi _{\nu }^{\ast }(x)f\left(x\right)dx}$

où ${\displaystyle dx}$ est la mesure de Lebesgue, ${\displaystyle \chi _{\nu }}$ est le « caractère » ${\displaystyle y\mapsto e^{i2\pi \nu y}}$, ${\displaystyle \chi _{\nu }^{\ast }(x)={\overline {\chi _{\nu }(x)}}}$ et l'intégrale converge dans H. On a cette fois

${\displaystyle {\mathcal {F}}\left[\gamma \left(x\right)f\right]\left(\nu \right)=\chi _{\nu }^{\ast }(x){\mathcal {F}}[f]\left(\nu \right)}$

et par transformée de Fourier inverse

${\displaystyle f\left(x\right)=\int _{\mathbb {R} }\chi _{\nu }(y){\mathcal {F}}\left[f\right]\left(\nu \right)d\nu }$.

En posant ${\displaystyle \Theta _{\nu }^{\ast }\left(f\right)={\mathcal {F}}[f](\nu )}$, on appellera formule de Plancherel l'expression équivalente

${\displaystyle f(x)=\int _{\mathbb {R} }\Theta _{\nu }^{\ast }\left(\gamma \left(-x\right)f\right)d\nu }$.

Soit ${\displaystyle H_{\nu }=\mathbb {C} \chi _{\nu }}$ l'espace de Hilbert de dimension 1 engendré par ${\displaystyle \chi _{\nu }}$. Alors H s'identifie à l'ensemble des fonctions (ou, plus exactement, des classes de fonctions modulo l'égalité presque partout) ${\displaystyle {\hat {f}}}$ de carré intégrable telles que ${\displaystyle {\hat {f}}(\nu )\in H_{\nu },\forall \nu \in \mathbb {R} }$. Si ${\displaystyle f\in H_{\nu }}$, on a ${\displaystyle \gamma (x)f=\chi _{\nu }^{\ast }(x)f}$. La situation est donc semblable à la précédente (si ce n'est qu'au lieu de la cotransformation de Fourier on a considéré cette fois la transformation de Fourier) : la représentation régulière ${\displaystyle \gamma }$ se décompose en représentations irréductibles ${\displaystyle U_{\nu }^{\ast }}$ dans les espaces ${\displaystyle H_{\nu }}$, et ${\displaystyle U_{\nu }^{\ast }(x)f=\chi _{\nu }^{\ast }(x)f}$. L'espace de Hilbert H est la somme continue des espaces de Hilbert ${\displaystyle H_{\nu }}$ et ${\displaystyle \gamma }$ est la somme continue des « représentations scalaires » (évidemment irréductibles) ${\displaystyle U_{\nu }^{\ast }}$ relativement à la mesure de Lebesque. À la différence de ce qui précède, les ${\displaystyle H_{\nu }}$ ne sont pas des sous-espaces de H. On écrit donc ${\displaystyle H=\int _{\mathbb {R} }H_{\nu }d\nu }$ et ${\displaystyle \gamma =\int _{\mathbb {R} }U_{\nu }^{\ast }d\nu }$. L'égalité de Parseval s'écrit ${\displaystyle {\left\Vert f\right\Vert _{2}}^{2}={\left\Vert {\mathcal {F}}[f]\right\Vert _{2}}^{2}}$.

Considérons un groupe commutatif G noté multiplicativement, dont l'élément unité est noté e, et sur lequel on a défini une mesure de Haar ${\displaystyle m_{G}}$[28]. Soit ${\displaystyle \mathbf {U} }$ le groupe multiplicatif des nombres complexes de module unitaire. Un caractère unitaire de G est un morphisme de groupes topologiques de G dans ${\displaystyle \mathbf {U} }$. Dans ce qui suit, « caractère » signifie caractère unitaire. L'ensemble des caractères de G forme un groupe multiplicatif et commutatif, noté ${\displaystyle {\hat {G}}}$ et appelé le groupe dual de G. Ce groupe est muni de la topologie de la convergence compacte (en), ce qui en fait un groupe topologique localement compact ; il est muni d'une mesure de Haar ${\displaystyle m_{\hat {G}}}$, unique à la multiplication près par un réel positif. On a ${\displaystyle \chi (x^{-1})={\overline {\chi (x)}}}$ pour tout ${\displaystyle x\in G}$ car ${\displaystyle \chi (x^{-1})\chi (x)=1}$ et ${\displaystyle \left\vert \chi \left(x\right)\right\vert =1}$.

Pour ${\displaystyle x\in G}$ et ${\displaystyle {\hat {x}}\in {\hat {G}}}$, notons ${\displaystyle \left\langle {\hat {x}},x\right\rangle }$ le nombre complexe ${\displaystyle {\hat {x}}(x)}$. La transformée de Fourier d'une fonction ${\displaystyle f\in L^{1}(G)}$ (où ${\displaystyle L^{1}(G)}$ désigne l'espace de Banach des fonctions intégrables sur G) est donnée par

${\displaystyle {\mathcal {F}}\left[f\right]\left({\hat {x}}\right)=\int _{G}{\overline {\left\langle {\hat {x}},x\right\rangle }}f\left(x\right)dm_{G}\left(x\right)}$.

Les propriétés suivantes découlent de calculs simples et vont être utiles : soit de nouveau, pour ${\displaystyle f\in L^{2}\left(G\right)}$, ${\displaystyle \gamma (x)f}$ (${\displaystyle x\in G}$) la translatée à gauche${\displaystyle y\mapsto f(x^{-1}y)}$ ; puisque la mesure de Haar ${\displaystyle dm_{G}}$ est invariante par translation, on a, si ${\displaystyle f\in L^{1}\left(G\right)\cap L^{2}\left(G\right)}$

${\displaystyle {\mathcal {F}}\left[\gamma (x)f\right]\left({\hat {x}}\right)={\overline {\left\langle {\hat {x}},x\right\rangle }}{\mathcal {F}}\left[f\right]\left({\hat {x}}\right)}$.

Par ailleurs, si ${\displaystyle f,g\in L^{1}(G)}$, alors leur convolée ${\displaystyle f\star g:x\mapsto \int _{G}f\left(y\right)g\left(y^{-1}x\right)dm_{G}\left(y\right)}$ est encore dans ${\displaystyle L^{1}(G)}$, et on a

${\displaystyle {\mathcal {F}}\left[f\star g\right]={\mathcal {F}}\left[f\right]{\mathcal {F}}\left[g\right]}$.

En désignant par ${\displaystyle {\tilde {f}}}$ la fonction ${\displaystyle x\mapsto {\overline {f(x^{-1})}}}$, on a ${\displaystyle {\mathcal {F}}\left[{\tilde {f}}\right]={\overline {{\mathcal {F}}\left[f\right]}}}$.

Le théorème de Plancherel montre que si ${\displaystyle f\in L^{1}\left(G\right)\cap L^{2}\left(G\right)}$, alors ${\displaystyle {\mathcal {F}}\left[f\right]\in L^{2}\left({\hat {G}}\right)}$. On peut choisir de manière unique la mesure de Haar ${\displaystyle dm_{\hat {G}}}$ de façon que la transformée de Fourier se prolonge en une isométrie de ${\displaystyle L^{2}(G)}$ sur ${\displaystyle L^{2}({\hat {G}})}$. Cette mesure de Haar ${\displaystyle dm_{\hat {G}}}$ est dite associée à la mesure de Haar ${\displaystyle dm_{G}}$. En conséquence :

Soit alors ${\displaystyle f,g\in L^{1}\left(G\right)\cap L^{2}\left(G\right)}$ et ${\displaystyle h=\gamma (x)(f\star {\tilde {g}})}$, d'où ${\displaystyle h(x)=(f\star {\tilde {g}})(e)}$ et ${\displaystyle {\mathcal {F}}\left[h\right]({\hat {x}})={\overline {\left\langle {\hat {x}},x\right\rangle }}{\mathcal {F}}\left[f\star {\tilde {g}}\right]\left({\hat {x}}\right)}$, soit encore ${\displaystyle {\mathcal {F}}\left[f\star {\tilde {g}}\right]\left({\hat {x}}\right)=\left\langle {\hat {x}},x\right\rangle {\mathcal {F}}\left[h\right]({\hat {x}})}$. On peut écrire l'égalité de Parseval sous la forme

${\displaystyle \left(f\star {\tilde {g}}\right)\left(e\right)=\int _{\hat {G}}{\mathcal {F}}\left[f\right]\left({\hat {x}}\right){\overline {{\mathcal {F}}\left[g\right]\left({\hat {x}}\right)}}dm_{\hat {G}}\left({\hat {x}}\right)}$ ;

de plus, on a

${\displaystyle {\mathcal {F}}[f\star {\tilde {g}}]({\hat {x}})={\mathcal {F}}[f]({\hat {x}}){\mathcal {F}}[{\tilde {g}}]({\hat {x}})={\mathcal {F}}\left[f\right]\left({\hat {x}}\right){\overline {{\mathcal {F}}\left[g\right]\left({\hat {x}}\right)}}}$.

On obtient de la sorte le résultat suivant, où ${\displaystyle A(G)}$ désigne le sous-espace vectoriel de ${\displaystyle L^{1}(G)}$ engendré par les fonctions ${\displaystyle f\star {\tilde {g}}}$ ${\displaystyle (f,g\in L^{1}\left(G\right)\cap L^{2}\left(G\right))}$ :

On peut maintenant énoncer l'un des résultats les plus importants de l'analyse harmonique sur un groupe commutatif[33] :

Posons alors, comme plus haut, ${\displaystyle \Theta _{\hat {x}}^{\ast }\left(f\right)={\mathcal {F}}[f]({\hat {x}})}$ ; avec ces identifications on obtient la formule de Plancherel, valide pour toute fonction ${\displaystyle f\in A(G)}$ :

${\displaystyle f(x)=\int _{\hat {G}}\Theta _{\hat {x}}^{\ast }\left(\gamma \left(x^{-1}\right)f\right)dm_{\hat {G}}\left({\hat {x}}\right)}$.

On a montré plus haut comment cette formule se déduit de l'égalité de Parseval. Inversement, l'égalité de Parseval de déduit de cette formule en posant ${\displaystyle f=g\star {\tilde {h}}\left(g,h\in L^{1}\left(G\right)\cap L^{2}\left(G\right)\right)}$ et ${\displaystyle x=e}$. La formule de Plancherel est donc essentiellement équivalente à l'égalité de Parseval.

Soit ${\displaystyle H=L^{2}(G)}$, ${\displaystyle \gamma }$ la représentation régulière de G, ${\displaystyle H_{\hat {x}}}$ l'espace de Hilbert de dimension 1 engendré par le caractère ${\displaystyle {\hat {x}}}$, et ${\displaystyle U_{\hat {x}}}$ la représentation « scalaire » de G dans ${\displaystyle H_{\hat {x}}}$ définie par ${\displaystyle U_{\hat {x}}f={\overline {\left\langle {\hat {x}},x\right\rangle }}f}$ puisque pour ${\displaystyle x,y\in G,{\hat {x}}\in {\hat {G}}}$,

${\displaystyle \left\langle {\hat {x}},x^{-1}y\right\rangle =\left\langle {\hat {x}},x^{-1}\right\rangle \left\langle {\hat {x}},y\right\rangle ={\overline {\left\langle {\hat {x}},x\right\rangle }}\left\langle {\hat {x}},y\right\rangle }$.

L'espace de Hilbert H s'identifie (via la transformation de Fourier) à l'ensemble des fonctions ${\displaystyle {\hat {f}}\in L^{2}({\hat {G}})}$ telles que ${\displaystyle {\hat {f}}({\hat {x}})\in H_{\hat {x}},\forall {\hat {x}}\in {\hat {G}}}$. Par conséquent, H s'identifie à la somme continue d'espaces de Hilbert ${\displaystyle \int _{\hat {G}}H_{\hat {x}}dm_{\hat {G}}\left({\hat {x}}\right)}$, et ${\displaystyle \gamma }$ s'identifie à la somme continue de représentations scalaires ${\displaystyle \int _{\hat {G}}U_{\hat {x}}dm_{\hat {G}}\left({\hat {x}}\right)}$. Le résultat suivant, qu'on peut déduire directement du lemme de Schur, reformule partiellement le théorème de dualité de Pontryagin-van Kampen :

Une algèbre hilbertienne H est une algèbre involutive (i.e. munie d'une involution ${\displaystyle f\mapsto {\tilde {f}}}$) et d'un produit scalaire vérifiant (ainsi que d'autres propriétés) ${\displaystyle \left\langle f,g\right\rangle =\left\langle {\tilde {g}},{\tilde {f}}\right\rangle ,\forall f,g\in H}$. Une telle algèbre, quand elle est complète, est la somme hilbertienne d'un ensemble dénombrable de sous-algèbres ${\displaystyle {\mathfrak {a}}_{n}}$:

${\displaystyle H=\bigoplus \nolimits _{n}{\mathfrak {a}}_{n}}$

où chaque ${\displaystyle {\mathfrak {a}}_{n}}$ est simple (i.e. ses seuls idéaux bilatères fermés sont 0 et ${\displaystyle {\mathfrak {a}}_{n}}$) et est un idéal bilatère minimal de H (i.e. tout idéal bilatère de H, inclus dans ${\displaystyle {\mathfrak {a}}_{n}}$, est égal à ${\displaystyle {\mathfrak {a}}_{n}}$). Les ${\displaystyle {\mathfrak {a}}_{n}}$ s'annulent mutuellement (i.e. si ${\displaystyle f\in {\mathfrak {a}}_{n}}$, ${\displaystyle f^{\prime }\in {\mathfrak {a}}_{n^{\prime }}}$, ${\displaystyle n\neq n^{\prime }}$, alors ${\displaystyle f\star f^{\prime }=0}$, en dénotant par ${\displaystyle \star }$ le produit dans H). Chaque ${\displaystyle {\mathfrak {a}}_{n}}$ est la somme hibertienne d'idéaux à gauche minimaux ${\displaystyle {\mathfrak {I}}_{j}^{(n)}}$ (${\displaystyle j\in J_{n}}$, où ${\displaystyle J_{n}}$ est un ensemble dénombrable d'indices) deux à deux isomorphes et orthogonaux, et ${\displaystyle {\mathfrak {I}}_{j}^{(n)}={\mathfrak {a}}_{n}\star e_{j}^{(n)}}$ où les ${\displaystyle e_{j}^{(n)}}$ sont des idempotents (i.e. ${\displaystyle e_{j}^{(n)}\star e_{k}^{(n)}=\delta _{jk}e_{j}^{(n)}}$) autoadjoints (i.e. stables par l'involution) minimaux.

Soit ${\displaystyle \left(a_{j}^{(n)}\right)_{1\leq j\leq p(n)}}$ une base hilbertienne de ${\displaystyle {\mathfrak {I}}_{1}^{\left(n\right)}}$ telle que ${\displaystyle a_{j}^{(n)}\in e_{j}^{(n)}\star {\mathfrak {a}}_{n}\star e_{1}^{(n)}}$ et ${\displaystyle m_{jk}^{(n)}=\gamma _{n}a_{j}^{(n)}\star {\widetilde {a_{k}^{(n)}}}}$ où ${\displaystyle \gamma _{n}}$ est un coefficient normalisateur. Les ${\displaystyle m_{jk}^{(n)}}$ sont les coefficients de ${\displaystyle M_{n}}$ ; ils sont autoadjoints et, pour j fixé, forment une base orthonormale de ${\displaystyle {\mathfrak {I}}_{j}^{(n)}}$. Quand j, k et n varient, les ${\displaystyle m_{jk}^{(n)}}$ forment une base hilbertienne de ${\displaystyle L^{2}(G)}$. On a les relations

${\displaystyle M_{n}(xy)=M_{n}(x)M_{n}(y),M_{n}(x^{-1})=(M_{n}(x))^{\ast }}$

(où ${\displaystyle (.)^{\ast }}$ est la transposée-conjuguée) qui entraînent que ${\displaystyle M_{n}(x)}$ est unitaire. De plus, l'application ${\displaystyle x\mapsto M_{n}(x)}$ est continue et est donc une représentation (unitaire continue) de G dans ${\displaystyle \mathbb {C} ^{d(n)}}$ (muni du produit hermitien habituel). Les représentions ${\displaystyle M_{n}}$ sont donc les représentations irréductibles ; leur ensemble, qui est dénombrable, est noté ${\displaystyle {\hat {G}}}$, et l'élément générique de ${\displaystyle {\hat {G}}}$ est noté ${\displaystyle {\hat {x}}}$. On écrira dans ce qui suit ${\displaystyle ({\hat {x}}(x))^{\ast }={\hat {x}}^{\ast }(x)}$. Le caractère associé à ${\displaystyle {\hat {x}}}$ est ${\displaystyle \Theta _{\hat {x}}=Tr({\hat {x}})}$, où ${\displaystyle Tr}$ désigne la trace ; ceci généralise la notion de caractère d'une représentation d'un groupe fini. Soit ${\displaystyle F({\hat {G}})=\prod \nolimits _{{\hat {x}}\in {\hat {G}}}\mathbb {C} ^{d({\hat {x}})\times d({\hat {x}})}}$ (où ${\displaystyle d({\hat {x}})}$ est l'ordre de la matrice ${\displaystyle {\hat {x}}}$).

Les deux égalités suivantes sont immédiates :

${\displaystyle {\overline {\mathcal {F}}}[f\star g]={\overline {\mathcal {F}}}[f].{\overline {\mathcal {F}}}[G]}$, et ${\displaystyle {\overline {\mathcal {F}}}[\gamma (x)f]_{\hat {x}}={\hat {x}}(x){\overline {\mathcal {F}}}[f]_{\hat {x}}}$.

Soit ${\displaystyle L^{2}({\hat {G}})}$ la somme hilbertienne des espaces de Hilbert ${\displaystyle \mathbb {C} ^{d({\hat {x}})\times d({\hat {x}})}}$ : ${\displaystyle L^{2}({\hat {G}})}$ est l'espace des familles ${\displaystyle \Phi =(\Phi _{\hat {x}})\in F({\hat {G}})}$ telles que ${\displaystyle \sum _{{\hat {x}}\in {\hat {G}}}\left\Vert \Phi _{\hat {x}}\right\Vert _{2}^{2}<\infty }$, muni du produit scalaire