Analyse harmonique non commutative — Wikipédia

L'analyse harmonique non commutative est une branche des mathématiques qui est parvenue à maturité vers la fin des années 1970 ; elle généralise l'analyse harmonique classique et consiste, comme cette dernière (qui remonte au XVIII^e siècle), à développer une fonction en composantes fondamentales. Elle a des applications dans de nombreux domaines : les équations aux dérivées partielles qui, avec leurs problèmes aux bords, ont des groupes de symétrie non commutatifs^[1] ; la Mécanique quantique^[2] ; récemment, les sciences de l'ingénieur (traitement d'images, robotique, chimie, théorie des systèmes dynamiques non linéaires, etc.)^[3] ; la théorie des nombres (théorie non abélienne des corps de classes (en), groupes adéliques)^[4],[5].

L'analyse harmonique, à ses débuts, considérait des fonctions périodiques et en réalisait la décomposition en série de Fourier. Une fonction périodique (de période 1, après normalisation) peut être considérée comme définie sur le tore ${\displaystyle \mathbb {T} =\mathbb {R} /\mathbb {Z} }$, et la théorie des groupes commutatifs localement compacts montre que l'« espace dual » du tore, sur lequel dont définis les coefficients de Fourier, est l'ensemble ${\displaystyle \mathbb {Z} }$ des entiers relatifs, qui est de nouveau un groupe abélien ; aussi les coefficients de Fourier d'une fonction périodique forment-ils une suite de nombres complexes. Réciproquement, quand on réalise la synthèse de Fourier, on passe par la « formule de Plancherel » des coefficients de Fourier, définis sur ${\displaystyle \mathbb {Z} }$, à la fonction périodique dont ils sont issus, définie sur ${\displaystyle \mathbb {T} }$ qui est le « dual » de ${\displaystyle \mathbb {Z} }$.

Ceci est un cas particulier du théorème de dualité de Lev Pontryagin et Egbert van Kampen, qui montre que le « bidual » d'un groupe localement compact commutatif G s'identifie à G. D'autre part, on peut associer à une fonction définie sur la droite réelle ${\displaystyle \mathbb {R} }$ sa transformée de Fourier, elle aussi définie sur ${\displaystyle \mathbb {R} }$, qui est son propre dual ; puis on peut faire l'opération inverse, par la formule de Plancherel. L'analyse harmonique consiste donc à associer à une fonction, définie sur un groupe topologique G (qu'on supposera être un groupe de Lie quand on voudra définir sur ce groupe, par exemple, la notion de dérivée), une autre fonction, définie sur l'« espace dual » ${\displaystyle {\hat {G}}}$ de ce groupe.

Celui-ci est défini comme étant l'ensemble des classes d'équivalence des représentations unitaires irréductibles de G ; lorsque G est un groupe « apprivoisé », par exemple un groupe de Lie semi-simple, cet espace est muni d'une « topologie naturelle » et d'une mesure « canonique », la mesure de Plancherel. Lorsque le groupe G est commutatif, ces représentations irréductibles s'identifient aux caractères de G ; ${\displaystyle {\hat {G}}}$ est alors de nouveau un groupe commutatif localement compact, et la mesure de Plancherel est la mesure de Haar sur ${\displaystyle {\hat {G}}}$ : ceci est lié au fait que, dans ce cas, toutes les représentations unitaires irréductibles de G sont de dimension (ou « degré ») 1.

Sur un groupe non commutatif, ce n'est plus le cas, et déjà sur un groupe fini ou compact non commutatif, les « coefficients de Fourier » d'une fonction, qui constituent la « cotransformée de Fourier » de cette fonction, sont des matrices. On peut encore définir les caractères comme étant les traces des représentations irréductibles : dans le cas d'un groupe compact, ce sont des traces au sens usuel (traces de matrices) ; dans le cas d'un groupe non compact, ce sont des traces dans un sens généralisé qui est fondé à la fois sur la notion d'opérateur à trace et sur celle de distribution (« caractères de Harish-Chandra »).

La « décomposition de Fourier » sur un groupe non commutatif non compact comporte une partie discrète, analogue aux coefficients de Fourier d'une fonction périodique : c'est la « série discrète » ; et une partie continue, analogue à la transformée de Fourier d'une fonction sur la droite réelle : c'est la « série principale ». La partie purement formelle de l'analyse harmonique non commutative peut être présentée assez simplement, par généralisations successives, en partant des développements en série de Fourier et de la transformation de Fourier sur la droite réelle puis sur un groupe commutatif, en envisageant ensuite le cas d'un groupe compact, enfin en montrant comment le « formalisme de Peter-Weyl » peut s'étendre au cas d'un groupe non compact.

En revanche, dès qu'on veut, comme l'a fait Harish-Chandra, dépasser le cadre purement formel et expliciter dans le cas général la formule de Plancherel, qui permet de réaliser la synthèse de Fourier à partir des caractères, l'analyse harmonique non commutative est « hérissée de difficultés conceptuelles » et « nécessite des moyens techniques considérables », suivant les expressions de Jean Dieudonné^[6]. Le groupe ${\displaystyle SL_{2}(\mathbb {R} )}$ des matrices carrées d'ordre 2 à coefficients réels et de déterminant 1 est le groupe non compact semi-simple de la plus petite dimension possible ; tout en restant relativement simple, il a une structure suffisamment riche pour donner un bon aperçu des points fondamentaux de la théorie générale^[7].

Frigyes Riesz et Ernst Sigismund Fischer en 1907 pour les séries de Fourier, Michel Plancherel en 1910 pour la transformation de Fourier, ont démontré les théorèmes qui portent leur nom (théorème de Riesz-Fischer et théorème de Plancherel) et qui sont au cœur de l'analyse harmonique commutative, respectivement sur le tore et sur la droite réelle. Leur extension sur un groupe commutatif a été réalisée par Pontryagin et van Kampen dans les années 1934-1935^[8]. L'analyse harmonique sur un groupe compact non commutatif a été établie par Hermann Weyl et son étudiant Fritz Peter en 1927^[9]. Ces théories ont été réunies et simplifiées dans le livre d'André Weil publié en 1940^[10], le théorème de Plancherel sur un groupe commutatif y trouvant sa forme générale.

Le passage aux groupes non compacts non commutatifs s'est effectué sur la base de nombreux travaux dont un thème commun est la théorie des représentations : il faut citer en premier lieu les travaux portant sur les représentations des groupes finis : ceux de Ferdinand Georg Frobenius qui a introduit la notion de caractère d'un groupe non commutatif fini en 1896 et a démontré l'orthogonalité de deux caractères irréductibles ; le livre classique de William Burnside sur les groupes finis, paru en 1911 ; les relations d'orthogonalité d'Issai Schur (1924). Il convient de mentionner aussi les nombreux travaux portant sur les groupes et algèbres de Lie, dont Élie Cartan, Hermann Weyl, Claude Chevalley comptent parmi les protagonistes les plus notoires. Datant des années 1940, les travaux d'Israel Gelfand et ses collaborateurs Mark Aronovitch Naïmark et Dmitrii Abramovich Raikov (algèbres stellaires, représentations unitaires irréductibles), de John von Neumann et Francis Joseph Murray (algèbres de von Neumann, sommes continues d'espaces de Hilbert) ; plus tard, vers la fin des années 1950 et le début des années 1960, ceux de François Bruhat (distributions sur un groupe localement compact et représentations des groupes p-adiques)^[11],[12] et Jacques Dixmier (algèbres stellaires, algèbres de von Neumann, mesure de Plancherel)^[13]. S'appuyant sur le notions créées par Claude Chevalley, Emil Artin et George William Whaples, les travaux d'André Weil et John Tate ont montré à partir des années 1950 que toute la théorie algébrique des nombres peut se présenter comme une application de l'analyse harmonique sur les groupes d'adèles et d'idèles de corps de nombres ^[4],[14].

On peut faire remonter les débuts de l'analyse harmonique non commutative proprement dite à 1947, lorsque Gelfand et Naïmark, étudiant le groupe ${\displaystyle SL_{2}(\mathbb {C} )}$, ont déterminé deux types de représentations irréductibles : celles constituant la « série principale (en) », associées aux sous-groupes diagonaux, et dont les caractères s'expriment grâce aux « fonctions sphériques (en) », et celles constituant la « série complémentaire », ces dernières n'entrant pas dans la formule de Plancherel car elles y ont un poids nul. Toutes les représentations irréductibles sont de l'un ou l'autre de ces types. Ils ont généralisé ce résultat en 1950 à tous les groupes classiques complexes.

Mais en 1947 encore, Valentine Bargmann a mis en évidence dans le cas de ${\displaystyle SL_{2}(\mathbb {R} )}$ un phénomène qui n'intervenait pas dans le cas complexe : l'existence d'une « série discrète », analogue à la « série de Fourier généralisée » de Peter-Weyl dans le cas d'un groupe compact, ainsi que des relations d'orthogonalité semblables à celles des caractères des séries de Fourier, de ceux de Frobenius-Schur et de ceux de Peter-Weyl. Entre 1950 et 1955, Irving Segal et Friedrich Mautner (de) ont établi le cadre formel général^{[15],[16],[17]}. Mautner a montré en 1950 que le groupe ${\displaystyle SL_{2}(\mathbb {R} )}$ est « apprivoisé » (on dit aussi « de type I ») et a émis la conjecture qu'il en est de même de tous les groupes de Lie semi-simples. Cette conjecture a été démontrée par Harish-Chandra l'année suivante (1951).

La théorie s'est ensuite orientée vers les calculs effectifs avec divers mathématiciens, dont Roger Godement, Atle Selberg (et sa formule des traces qui, obtenue en 1956, généralise la formule sommatoire de Poisson), et surtout Harish-Chandra. Ce dernier a explicité la formule de Plancherel pour ${\displaystyle SL_{2}(\mathbb {R} )}$ en 1952 ; puis il s'est lancé dans un programme colossal, dont la réalisation a demandé un quart de siècle, visant à expliciter la formule de Plancherel des groupes semi-simples, puis des groupes réductifs généraux. Un passage obligé était l'étude approfondie de la série discrète^[18], travail qui à lui seul était considérable ; cette étude a été reformulée, selon un point de vue différent, par Michael Atiyah et Wilfried Schmid en 1977 dans un article de synthèse^[19]. L'aboutissement des travaux de Harish-Chandra a été publié entre 1970 et 1975^[20],[21]. Le cas des groupes nilpotents a été étudié à partir des idées d'Alexandre Kirillov (« méthode des orbites ») qui ont mûri vers la même période^[22]. Parmi les groupes résolubles non nilpotents, certains sont « apprivoisés », donc susceptibles de donner lieu à une analyse harmonique, d'autres non ; un critère obtenu par Louis Auslander et Bertram Kostant en 1967 permet de les distinguer.

Pour résumer en une courte phrase les travaux ci-dessus, on peut dire que la cotransformation de Fourier et la transformation de Fourier sont des opérations inverses l'une de l'autre de ${\displaystyle L^{2}(G)}$ sur ${\displaystyle L^{2}({\hat {G}})}$, G étant le groupe considéré, ${\displaystyle {\hat {G}}}$ son dual, et ces transformations étant in fine explicites ; c'est une généralisation du théorème de Plancherel. Parallèlement, Laurent Schwartz a généralisé ce théorème en 1948, dans une autre direction, celle de la transformation de Fourier des distributions tempérées : dans le cas où ${\displaystyle G={\hat {G}}=\mathbb {R} ^{n}}$, le théorème de Plancherel reste valide si l'on remplace ${\displaystyle L^{2}}$ par ${\displaystyle {\mathcal {S}}}$, l'espace de Schwartz, ou son dual ${\displaystyle {\mathcal {S}}^{\prime }}$, l'espace des distributions tempérées. Leon Ehrenpreis (en) et Friedrich Mautner, dans trois articles publiés entre 1955 et 1965, ont introduit la notion d'espace de Schwartz sur ${\displaystyle SL_{2}(\mathbb {R} )}$ ; cette approche a ensuite été généralisée par Harish-Chandra entre 1966 et 1976 au cas où G est un groupe de Lie semi-simple réel, puis au cas où G est un groupe réductif réel ou p-adique^[23],[24], faisant de l'« espace de Schwartz-Harish-Chandra (en) » et son dual le cadre naturel de l'analyse harmonique non commutative. Néanmoins, la formule de Plancherel pour les groupes p-adiques est moins explicite que pour les groupes réels^[25] ; la classification des séries discrètes dans le cas p-adique reste un problème ouvert qui fait partie du programme de Langlands, et les applications de l'analyse harmonique non commutative à la théorie des nombres, qui ont commencé à se développer avec notamment Harish-Chandra, Armand Borel, Hervé Jacquet et Robert Langlands^{[26],[5],[27]}, restent un domaine dont l'exploration est loin d'être terminée.

Dans tout ce qui suit, sauf mention du contraire, espace topologique signifie espace topologique séparé, localement compact et séparable, groupe signifie groupe topologique métrisable, séparable, connexe, localement compact et unimodulaire, groupe de Lie signifie groupe de Lie réel métrisable, séparable, localement compact, connexe et unimodulaire, fonction signifie fonction à valeurs complexes ; les espaces de Hilbert sont tous complexes et séparables. Un opérateur dans un espace de Hilbert H est un endomorphisme continu de H dans lui-même ; l'ensemble de ces opérateurs est une algèbre (sur le corps des complexes) notée ${\displaystyle End(H)}$. Un automorphisme de H (pour la structure d'espaces de Hilbert) est un élément ${\displaystyle u\in End(H)}$ tel que ${\displaystyle \left\langle u\left(\alpha \right),u\left(\beta \right)\right\rangle =\left\langle \alpha ,\beta \right\rangle }$ pour tous ${\displaystyle \alpha ,\beta \in H}$ ; l'ensemble de ces automorphismes est l'algèbre notée ${\displaystyle Aut(H)}$. Soit X un espace topologique muni d'une mesure de Radon ${\displaystyle \mu }$ (ou soit ${\displaystyle (X,{\mathfrak {T}})}$ un espace mesurable et ${\displaystyle \mu }$ une mesure « abstraite » sur ${\displaystyle {\mathfrak {T}}}$) ; quand il n'y a pas d'ambiguïté, et sauf mention du contraire, deux fonctions ${\displaystyle \mu }$-mesurable sur X et égales ${\displaystyle \mu }$-presque partout ne sont pas distinguées. L'espace vectoriel des fonctions continues sur X est noté ${\displaystyle {\mathcal {C}}(X)}$.

Soit G un groupe et ${\displaystyle m_{G}}$ une mesure de Haar sur G (invariante à gauche et à droite, puisque G est unimodulaire). Une représentation unitaire de G dans un espace de Hilbert H est un morphisme de groupes ${\displaystyle U:G\rightarrow Aut(H)}$ tel que l'application ${\displaystyle G\ni x\mapsto U(x)f\in H}$ est continue pour tout ${\displaystyle f\in H}$. La dimension de H (finie ou infinie) est appelée le degré de U. Toutes les représentations sont unitaires dans ce qui suit. Une représentation U est dite irréductible si tout sous-espace fermé non réduit à 0 de H et stable par U est nécessairement égal à H. Deux représentations ${\displaystyle U_{1}:G\rightarrow H_{1}}$ et ${\displaystyle U_{2}:G\rightarrow H_{2}}$ sont équivalentes s'il existe un isomorphisme d'espace de Hilbert ${\displaystyle T:H_{1}\rightarrow H_{2}}$ tel que ${\displaystyle U_{2}(x)=TU_{1}(x)T^{-1}}$ pour tout ${\displaystyle x\in G}$. La représentation triviale de G dans H est l'application constante ${\displaystyle g\mapsto Id_{H}}$. Une représentation scalaire U est un multiple scalaire de la représentation triviale, c'est-à-dire telle que ${\displaystyle U(x)=u(x)Id_{H}}$, où ${\displaystyle u(x)\in \mathbb {C} ,\forall x\in G}$. Les représentations régulières à gauche U de G sont celles pour lesquelles ${\displaystyle H=L^{2}\left(G\right)}$, l'espace de Hilbert des classes (modulo l'égalité ${\displaystyle m_{G}}$-presque partout) de fonctions à valeurs complexes de carré intégrable sur G par rapport à ${\displaystyle m_{G}}$, et ${\displaystyle U(x)}$ est la translation à gauche ${\displaystyle \gamma (x)}$ où ${\displaystyle (\gamma (x)f)(y)=f(x^{-1}y)}$ (${\displaystyle f\in H,x,y\in G}$) ; cette représentation est évidemment unitaire. On définit de même la représentation régulière à droite ${\displaystyle \delta (x)}$, où ${\displaystyle (\delta (x)f)(y)=f(yx)}$ (${\displaystyle f\in H,x,y\in G}$), et on peut raisonner sur l'une ou l'autre. Dans ce qui suit, « représentation régulière » signifie représentation régulière à gauche. Le problème central de l'analyse harmonique sur un groupe G (commutatif ou non) est, comme on va le voir, l'étude de la décomposition en composantes irréductibles de la représentation régulière de G. Le lemme de Schur ci-dessous est un résultat classique d'algèbre lorsque l'espace de Hilbert H est de dimension finie ; lorsque H est de dimension infinie, c'est une conséquence de la théorie spectrale de Hilbert^[28] :

On conviendra dans ce qui suit de ne pas distinguer deux représentations équivalentes, pour ne pas compliquer la terminologie.

Un théorème dû à Gelfand et Raïkov montre que tout groupe G (localement compact) possède un système complet de représentations irréductibles, c'est-à-dire que pour tout élément ${\displaystyle x\neq e}$, il existe un espace de Hilbert H et une représentation irréductible ${\displaystyle U:G\rightarrow Aut(H)}$ telle que ${\displaystyle U(x)\neq Id_{H}}$.

Soit Z un espace topologique, ${\displaystyle \pi }$ une mesure sur Z^[29], ${\displaystyle (H_{z})_{z\in Z}}$ une famille d'espaces de Hilbert, et ${\displaystyle V=\prod \nolimits _{z\in Z}H_{z}}$ ; la famille ${\displaystyle (H_{z})_{z\in Z}}$ est appelée un champ d'espaces de Hilbert, un élément ${\displaystyle f=(f_{z})_{z\in Z}}$ où ${\displaystyle f_{z}\in H_{z},\forall z\in Z}$ est appelé un champ de vecteurs, un élément ${\displaystyle u=(u_{z})_{z\in Z}}$ où ${\displaystyle u_{z}\in End(H_{z}),\forall z\in Z}$ est appelé un champ d'opérateurs. Le champ ${\displaystyle (H_{z})_{z\in Z}}$ est dit ${\displaystyle \pi }$-mesurable s'il existe un sous-espace S de V tel que (i) pour tout champ de vecteurs ${\displaystyle \varepsilon =(\varepsilon _{z})\in S}$, la fonction à valeurs réelles ${\displaystyle z\mapsto \left\Vert \varepsilon _{z}\right\Vert }$ est ${\displaystyle \pi }$-mesurable, (ii) si ${\displaystyle f\in V}$ est tel que pour tout ${\displaystyle \varepsilon \in S}$, la fonction ${\displaystyle z\mapsto \left\langle f_{z},\varepsilon _{z}\right\rangle _{H_{z}}}$ est ${\displaystyle \pi }$-mesurable, alors ${\displaystyle f\in S}$, (iii) il existe dans V une suite ${\displaystyle (\varepsilon ^{i})}$ de champs de vecteurs telle que pour tout ${\displaystyle z\in Z}$, la suite ${\displaystyle (\varepsilon _{z}^{i})}$ soit totale dans ${\displaystyle H_{z}}$. S'il en est ainsi, un champ de vecteurs f est dit ${\displaystyle \pi }$-mesurable si pour tout i, la fonction ${\displaystyle z\mapsto \left\langle f_{z},\varepsilon _{z}^{i}\right\rangle _{H_{z}}}$ est ${\displaystyle \pi }$-mesurable ; il est dit de carré intégrable (par rapport à ${\displaystyle \pi }$) s'il est ${\displaystyle \pi }$-mesurable et si

${\displaystyle \int _{Z}\left\Vert f_{z}\right\Vert ^{2}d\pi \left(z\right)<\infty }$.

Les champs de vecteurs de carré intégrable forment un espace préhilbertien complexe K ; en quotientant par le sous-espace formé par les champs de vecteurs ${\displaystyle \pi }$-négligeables, on obtient un espace préhilbertien séparé H, et on peut montrer que H est complet, donc est un espace de Hilbert. C'est cet espace qui est appelé la somme continue du champ d'espaces de Hilbert ${\displaystyle (H_{z})_{z\in Z}}$^[30],[28]. Il est noté

${\displaystyle H=\int _{Z}H_{z}d\pi (z)}$.

Si Z est discret, cette somme continue est une somme hilbertienne et les ${\displaystyle H_{z}}$ s'identifient canoniquement à des sous-espaces hilbertiens de H (ce qui est inexact, en général, si Z n'est pas discret).

Soit maintenant G un groupe et ${\displaystyle (U_{z})_{z\in Z}}$ une famille, chaque ${\displaystyle U_{z}}$ étant une représentation unitaire de G dans l'espace de Hilbert ${\displaystyle H_{z}}$ ; ${\displaystyle (U_{z})_{z\in Z}}$ est appelée un champ de représentations unitaires. Si les fonctions ${\displaystyle z\mapsto H_{z}\varepsilon ^{i}}$ sont toutes mesurables, il existe une représentation unitaire unique U de G dans H telle que la relation ${\displaystyle g=Uf}$ équivaut à ${\displaystyle g_{z}=U_{z}f_{z},\forall z\in Z}$. On dit alors que U est la somme continue des ${\displaystyle U_{z}}$ et on écrit

${\displaystyle U=\int _{Z}U_{z}d\pi (z)}$.

Si les ${\displaystyle U_{z}}$ sont irréductibles, on a donc une décomposition de U en somme continue de représentations irréductibles. C'est le cas de la décomposition en série de Fourier et la transformée de Fourier, que nous allons rappeler maintenant, ces représentations irréductibles étant alors « scalaires ».

Soit ${\displaystyle G=\mathbb {T} }$ le tore défini plus haut, ${\displaystyle H=L^{2}\left(\mathbb {T} \right)}$, et considérons la représentation régulière ${\displaystyle \gamma }$. On peut décomposer une fonction ${\displaystyle f\in H}$ en série de Fourier :

${\displaystyle f=\sum _{n}{\overline {\mathcal {F}}}[f]_{n}\chi _{n}^{\ast }}$

où ${\displaystyle \chi _{n}}$ est le « caractère » ${\displaystyle y\mapsto e^{i2\pi ny}}$ (${\displaystyle y\in \mathbb {T} }$), ${\displaystyle \chi _{n}^{\ast }\left(y\right)={\overline {\chi _{n}\left(y\right)}}}$, les coefficients de Fourier ${\displaystyle {\overline {\mathcal {F}}}[f]_{n}}$ sont donnés par

${\displaystyle {\overline {\mathcal {F}}}[f]_{n}=\int _{\mathbb {T} }\chi _{n}\left(x\right)f(x)dx}$

et la série converge dans H. En notant ${\displaystyle {\overline {\mathcal {F}}}[f]}$ la suite ${\displaystyle ({\overline {\mathcal {F}}}[f]_{n})}$, on a ${\displaystyle {\overline {\mathcal {F}}}[f]\in l^{2}}$, et il vient

${\displaystyle \gamma (x)f=\sum _{n}\chi _{n}^{\ast }\left(x\right){\overline {\mathcal {F}}}[f]_{n}\chi _{n}}$.

On a ${\displaystyle \left(f\star \chi _{n}^{\ast }\right)\left(x\right)=\int _{\mathbb {T} }f(y)\chi _{n}^{\ast }\left(x-y\right)dy=\chi _{n}^{\ast }\left(x\right){\overline {\mathcal {F}}}[f]_{n}}$, et par conséquent, en posant ${\displaystyle \Theta _{n}\left(f\right)={\overline {\mathcal {F}}}[f]_{n}}$^[31], on obtient la « formule de Plancherel »

${\displaystyle f(x)=\sum _{n}(f\star \chi _{n}^{\ast })=\sum _{n}\Theta _{n}\left(\gamma (-x)f\right)}$.

L'espace de Hilbert H se décompose en la somme hilbertienne ${\displaystyle \oplus _{n}\mathbb {C} \chi _{n}^{\ast }}$ et ${\displaystyle (\chi _{n}^{\ast })}$ est une base hilbertienne de H. Soit ${\displaystyle H_{n}=\mathbb {C} \chi _{n}^{\ast }}$ ; c'est un sous-espace hilbertien de dimension 1 de H (avec le produit scalaire habituel dans ${\displaystyle \mathbb {C} }$), et si ${\displaystyle f\in H_{n}}$, on a ${\displaystyle \gamma (x)f=\chi _{n}\left(x\right)f}$. La restriction de ${\displaystyle \gamma }$ à ${\displaystyle H_{n}}$ est donc une représentation irréductible de degré 1, dite « scalaire », à savoir la multiplication par ${\displaystyle \chi _{n}}$. On écrira donc ${\displaystyle \gamma =\oplus _{n}\chi _{n}}$. On peut encore noter H et ${\displaystyle \gamma }$ par les intégrales respectives ${\displaystyle \int _{\mathbb {Z} }H_{n}dm_{\mathbb {Z} }\left(n\right)}$ et ${\displaystyle \int _{\mathbb {Z} }\chi _{n}dm_{\mathbb {Z} }\left(n\right)}$ où ${\displaystyle m_{\mathbb {Z} }}$ est la mesure définie par ${\displaystyle m_{\mathbb {Z} }(n)=1}$ (c'est-à-dire la mesure de Haar normalisée sur ${\displaystyle \mathbb {Z} }$). Le groupe ${\displaystyle {\hat {G}}}$ des caractères est isomorphe à ${\displaystyle \mathbb {Z} }$ et peut donc lui être identifié. Comme on va le voir plus loin, ${\displaystyle \mathbb {Z} }$ est le « dual » du groupe ${\displaystyle \mathbb {T} }$ ; on peut récrire ce qui précède en notant ${\displaystyle {\hat {x}}}$ au lieu de n l'élément générique de ${\displaystyle \mathbb {T} }$. En notant ${\displaystyle \left\Vert f\right\Vert _{2}}$ la norme de f dans ${\displaystyle L^{2}\left(\mathbb {T} \right)}$ et ${\displaystyle \left\Vert {\overline {\mathcal {F}}}[f]\right\Vert _{2}}$ la norme de la suite ${\displaystyle {\overline {\mathcal {F}}}[f]}$ dans ${\displaystyle l^{2}}$, l'égalité de Parseval (ou de Bessel-Parseval)^[32] s'écrit ${\displaystyle {\left\Vert f\right\Vert _{2}}^{2}={\left\Vert {\overline {\mathcal {F}}}[f]\right\Vert _{2}}^{2}}$.

On appelle cotransformation de Fourier la correspondance ${\displaystyle {\overline {\mathcal {F}}}:f\mapsto {\overline {\mathcal {F}}}[f]}$.

Soit ${\displaystyle G=\mathbb {R} }$, ${\displaystyle H=L^{2}\left(\mathbb {R} \right)}$, et U la représentation régulière de G. Soit ${\displaystyle f\in L^{2}}$ une fonction suffisamment régulière (ce qui sera précisé plus loin). Sa transformée de Fourier est donnée par

${\displaystyle {\mathcal {F}}[f]:\nu \mapsto \int _{\mathbb {R} }\chi _{\nu }^{\ast }(x)f\left(x\right)dx}$

où ${\displaystyle dx}$ est la mesure de Lebesgue, ${\displaystyle \chi _{\nu }}$ est le « caractère » ${\displaystyle y\mapsto e^{i2\pi \nu y}}$, ${\displaystyle \chi _{\nu }^{\ast }(x)={\overline {\chi _{\nu }(x)}}}$ et l'intégrale converge dans H. On a cette fois

${\displaystyle {\mathcal {F}}\left[\gamma \left(x\right)f\right]\left(\nu \right)=\chi _{\nu }^{\ast }(x){\mathcal {F}}[f]\left(\nu \right)}$

et par transformée de Fourier inverse

${\displaystyle f\left(x\right)=\int _{\mathbb {R} }\chi _{\nu }(y){\mathcal {F}}\left[f\right]\left(\nu \right)d\nu }$.

En posant ${\displaystyle \Theta _{\nu }^{\ast }\left(f\right)={\mathcal {F}}[f](\nu )}$, on appellera formule de Plancherel l'expression équivalente

${\displaystyle f(x)=\int _{\mathbb {R} }\Theta _{\nu }^{\ast }\left(\gamma \left(-x\right)f\right)d\nu }$.

Soit ${\displaystyle H_{\nu }=\mathbb {C} \chi _{\nu }}$ l'espace de Hilbert de dimension 1 engendré par ${\displaystyle \chi _{\nu }}$. Alors H s'identifie à l'ensemble des fonctions (ou, plus exactement, des classes de fonctions modulo l'égalité presque partout) ${\displaystyle {\hat {f}}}$ de carré intégrable telles que ${\displaystyle {\hat {f}}(\nu )\in H_{\nu },\forall \nu \in \mathbb {R} }$. Si ${\displaystyle f\in H_{\nu }}$, on a ${\displaystyle \gamma (x)f=\chi _{\nu }^{\ast }(x)f}$. La situation est donc semblable à la précédente (si ce n'est qu'au lieu de la cotransformation de Fourier on a considéré cette fois la transformation de Fourier) : la représentation régulière ${\displaystyle \gamma }$ se décompose en représentations irréductibles ${\displaystyle U_{\nu }^{\ast }}$ dans les espaces ${\displaystyle H_{\nu }}$, et ${\displaystyle U_{\nu }^{\ast }(x)f=\chi _{\nu }^{\ast }(x)f}$. L'espace de Hilbert H est la somme continue des espaces de Hilbert ${\displaystyle H_{\nu }}$ et ${\displaystyle \gamma }$ est la somme continue des « représentations scalaires » (évidemment irréductibles) ${\displaystyle U_{\nu }^{\ast }}$ relativement à la mesure de Lebesque. À la différence de ce qui précède, les ${\displaystyle H_{\nu }}$ ne sont pas des sous-espaces de H. On écrit donc ${\displaystyle H=\int _{\mathbb {R} }H_{\nu }d\nu }$ et ${\displaystyle \gamma =\int _{\mathbb {R} }U_{\nu }^{\ast }d\nu }$. L'égalité de Parseval s'écrit ${\displaystyle {\left\Vert f\right\Vert _{2}}^{2}={\left\Vert {\mathcal {F}}[f]\right\Vert _{2}}^{2}}$.

Considérons un groupe commutatif G noté multiplicativement, dont l'élément unité est noté e, et sur lequel on a défini une mesure de Haar ${\displaystyle m_{G}}$^[28]. Soit ${\displaystyle \mathbf {U} }$ le groupe multiplicatif des nombres complexes de module unitaire. Un caractère unitaire de G est un morphisme de groupes topologiques de G dans ${\displaystyle \mathbf {U} }$. Dans ce qui suit, « caractère » signifie caractère unitaire. L'ensemble des caractères de G forme un groupe multiplicatif et commutatif, noté ${\displaystyle {\hat {G}}}$ et appelé le groupe dual de G. Ce groupe est muni de la topologie de la convergence compacte (en), ce qui en fait un groupe topologique localement compact ; il est muni d'une mesure de Haar ${\displaystyle m_{\hat {G}}}$, unique à la multiplication près par un réel positif. On a ${\displaystyle \chi (x^{-1})={\overline {\chi (x)}}}$ pour tout ${\displaystyle x\in G}$ car ${\displaystyle \chi (x^{-1})\chi (x)=1}$ et ${\displaystyle \left\vert \chi \left(x\right)\right\vert =1}$.

Pour ${\displaystyle x\in G}$ et ${\displaystyle {\hat {x}}\in {\hat {G}}}$, notons ${\displaystyle \left\langle {\hat {x}},x\right\rangle }$ le nombre complexe ${\displaystyle {\hat {x}}(x)}$. La transformée de Fourier d'une fonction ${\displaystyle f\in L^{1}(G)}$ (où ${\displaystyle L^{1}(G)}$ désigne l'espace de Banach des fonctions intégrables sur G) est donnée par

${\displaystyle {\mathcal {F}}\left[f\right]\left({\hat {x}}\right)=\int _{G}{\overline {\left\langle {\hat {x}},x\right\rangle }}f\left(x\right)dm_{G}\left(x\right)}$.

Les propriétés suivantes découlent de calculs simples et vont être utiles : soit de nouveau, pour ${\displaystyle f\in L^{2}\left(G\right)}$, ${\displaystyle \gamma (x)f}$ (${\displaystyle x\in G}$) la translatée à gauche${\displaystyle y\mapsto f(x^{-1}y)}$ ; puisque la mesure de Haar ${\displaystyle dm_{G}}$ est invariante par translation, on a, si ${\displaystyle f\in L^{1}\left(G\right)\cap L^{2}\left(G\right)}$

${\displaystyle {\mathcal {F}}\left[\gamma (x)f\right]\left({\hat {x}}\right)={\overline {\left\langle {\hat {x}},x\right\rangle }}{\mathcal {F}}\left[f\right]\left({\hat {x}}\right)}$.

Par ailleurs, si ${\displaystyle f,g\in L^{1}(G)}$, alors leur convolée ${\displaystyle f\star g:x\mapsto \int _{G}f\left(y\right)g\left(y^{-1}x\right)dm_{G}\left(y\right)}$ est encore dans ${\displaystyle L^{1}(G)}$, et on a

${\displaystyle {\mathcal {F}}\left[f\star g\right]={\mathcal {F}}\left[f\right]{\mathcal {F}}\left[g\right]}$.

En désignant par ${\displaystyle {\tilde {f}}}$ la fonction ${\displaystyle x\mapsto {\overline {f(x^{-1})}}}$, on a ${\displaystyle {\mathcal {F}}\left[{\tilde {f}}\right]={\overline {{\mathcal {F}}\left[f\right]}}}$.

Le théorème de Plancherel montre que si ${\displaystyle f\in L^{1}\left(G\right)\cap L^{2}\left(G\right)}$, alors ${\displaystyle {\mathcal {F}}\left[f\right]\in L^{2}\left({\hat {G}}\right)}$. On peut choisir de manière unique la mesure de Haar ${\displaystyle dm_{\hat {G}}}$ de façon que la transformée de Fourier se prolonge en une isométrie de ${\displaystyle L^{2}(G)}$ sur ${\displaystyle L^{2}({\hat {G}})}$. Cette mesure de Haar ${\displaystyle dm_{\hat {G}}}$ est dite associée à la mesure de Haar ${\displaystyle dm_{G}}$. En conséquence :

Soit alors ${\displaystyle f,g\in L^{1}\left(G\right)\cap L^{2}\left(G\right)}$ et ${\displaystyle h=\gamma (x)(f\star {\tilde {g}})}$, d'où ${\displaystyle h(x)=(f\star {\tilde {g}})(e)}$ et ${\displaystyle {\mathcal {F}}\left[h\right]({\hat {x}})={\overline {\left\langle {\hat {x}},x\right\rangle }}{\mathcal {F}}\left[f\star {\tilde {g}}\right]\left({\hat {x}}\right)}$, soit encore ${\displaystyle {\mathcal {F}}\left[f\star {\tilde {g}}\right]\left({\hat {x}}\right)=\left\langle {\hat {x}},x\right\rangle {\mathcal {F}}\left[h\right]({\hat {x}})}$. On peut écrire l'égalité de Parseval sous la forme

${\displaystyle \left(f\star {\tilde {g}}\right)\left(e\right)=\int _{\hat {G}}{\mathcal {F}}\left[f\right]\left({\hat {x}}\right){\overline {{\mathcal {F}}\left[g\right]\left({\hat {x}}\right)}}dm_{\hat {G}}\left({\hat {x}}\right)}$ ;

de plus, on a

${\displaystyle {\mathcal {F}}[f\star {\tilde {g}}]({\hat {x}})={\mathcal {F}}[f]({\hat {x}}){\mathcal {F}}[{\tilde {g}}]({\hat {x}})={\mathcal {F}}\left[f\right]\left({\hat {x}}\right){\overline {{\mathcal {F}}\left[g\right]\left({\hat {x}}\right)}}}$.

On obtient de la sorte le résultat suivant, où ${\displaystyle A(G)}$ désigne le sous-espace vectoriel de ${\displaystyle L^{1}(G)}$ engendré par les fonctions ${\displaystyle f\star {\tilde {g}}}$ ${\displaystyle (f,g\in L^{1}\left(G\right)\cap L^{2}\left(G\right))}$ :

On peut maintenant énoncer l'un des résultats les plus importants de l'analyse harmonique sur un groupe commutatif^[33] :

Posons alors, comme plus haut, ${\displaystyle \Theta _{\hat {x}}^{\ast }\left(f\right)={\mathcal {F}}[f]({\hat {x}})}$ ; avec ces identifications on obtient la formule de Plancherel, valide pour toute fonction ${\displaystyle f\in A(G)}$ :

${\displaystyle f(x)=\int _{\hat {G}}\Theta _{\hat {x}}^{\ast }\left(\gamma \left(x^{-1}\right)f\right)dm_{\hat {G}}\left({\hat {x}}\right)}$.

On a montré plus haut comment cette formule se déduit de l'égalité de Parseval. Inversement, l'égalité de Parseval de déduit de cette formule en posant ${\displaystyle f=g\star {\tilde {h}}\left(g,h\in L^{1}\left(G\right)\cap L^{2}\left(G\right)\right)}$ et ${\displaystyle x=e}$. La formule de Plancherel est donc essentiellement équivalente à l'égalité de Parseval.

Soit ${\displaystyle H=L^{2}(G)}$, ${\displaystyle \gamma }$ la représentation régulière de G, ${\displaystyle H_{\hat {x}}}$ l'espace de Hilbert de dimension 1 engendré par le caractère ${\displaystyle {\hat {x}}}$, et ${\displaystyle U_{\hat {x}}}$ la représentation « scalaire » de G dans ${\displaystyle H_{\hat {x}}}$ définie par ${\displaystyle U_{\hat {x}}f={\overline {\left\langle {\hat {x}},x\right\rangle }}f}$ puisque pour ${\displaystyle x,y\in G,{\hat {x}}\in {\hat {G}}}$,

${\displaystyle \left\langle {\hat {x}},x^{-1}y\right\rangle =\left\langle {\hat {x}},x^{-1}\right\rangle \left\langle {\hat {x}},y\right\rangle ={\overline {\left\langle {\hat {x}},x\right\rangle }}\left\langle {\hat {x}},y\right\rangle }$.

L'espace de Hilbert H s'identifie (via la transformation de Fourier) à l'ensemble des fonctions ${\displaystyle {\hat {f}}\in L^{2}({\hat {G}})}$ telles que ${\displaystyle {\hat {f}}({\hat {x}})\in H_{\hat {x}},\forall {\hat {x}}\in {\hat {G}}}$. Par conséquent, H s'identifie à la somme continue d'espaces de Hilbert ${\displaystyle \int _{\hat {G}}H_{\hat {x}}dm_{\hat {G}}\left({\hat {x}}\right)}$, et ${\displaystyle \gamma }$ s'identifie à la somme continue de représentations scalaires ${\displaystyle \int _{\hat {G}}U_{\hat {x}}dm_{\hat {G}}\left({\hat {x}}\right)}$. Le résultat suivant, qu'on peut déduire directement du lemme de Schur, reformule partiellement le théorème de dualité de Pontryagin-van Kampen :

L'analyse harmonique sur un groupe compact G généralise le développement en série de Fourier d'une fonction périodique, lequel correspond au cas où G est le tore ${\displaystyle \mathbb {T} }$. Tout groupe compact est unimodulaire ; la mesure de Haar ${\displaystyle m_{G}}$ est normalisée, de sorte que ${\displaystyle m_{G}(G)=1}$. Si ${\displaystyle f,g\in L^{2}(G)}$, alors ${\displaystyle f\star g}$ est une fonction continue sur G ; et puisque ${\displaystyle {\mathcal {C}}(G)\subset L^{2}(G)}$, l'espace de Hilbert ${\displaystyle H=L^{2}(G)}$ est une algèbre de convolution ; c'est donc une algèbre hilbertienne (voir ci-dessous) munie de l'involution ${\displaystyle f\mapsto {\tilde {f}}:x\mapsto {\overline {{\check {f}}(x)}}}$ où ${\displaystyle {\check {f}}:x\mapsto f\left(x^{-1}\right)}$.

Une algèbre hilbertienne H est une algèbre involutive (i.e. munie d'une involution ${\displaystyle f\mapsto {\tilde {f}}}$) et d'un produit scalaire vérifiant (ainsi que d'autres propriétés) ${\displaystyle \left\langle f,g\right\rangle =\left\langle {\tilde {g}},{\tilde {f}}\right\rangle ,\forall f,g\in H}$. Une telle algèbre, quand elle est complète, est la somme hilbertienne d'un ensemble dénombrable de sous-algèbres ${\displaystyle {\mathfrak {a}}_{n}}$:

${\displaystyle H=\bigoplus \nolimits _{n}{\mathfrak {a}}_{n}}$

où chaque ${\displaystyle {\mathfrak {a}}_{n}}$ est simple (i.e. ses seuls idéaux bilatères fermés sont 0 et ${\displaystyle {\mathfrak {a}}_{n}}$) et est un idéal bilatère minimal de H (i.e. tout idéal bilatère de H, inclus dans ${\displaystyle {\mathfrak {a}}_{n}}$, est égal à ${\displaystyle {\mathfrak {a}}_{n}}$). Les ${\displaystyle {\mathfrak {a}}_{n}}$ s'annulent mutuellement (i.e. si ${\displaystyle f\in {\mathfrak {a}}_{n}}$, ${\displaystyle f^{\prime }\in {\mathfrak {a}}_{n^{\prime }}}$, ${\displaystyle n\neq n^{\prime }}$, alors ${\displaystyle f\star f^{\prime }=0}$, en dénotant par ${\displaystyle \star }$ le produit dans H). Chaque ${\displaystyle {\mathfrak {a}}_{n}}$ est la somme hibertienne d'idéaux à gauche minimaux ${\displaystyle {\mathfrak {I}}_{j}^{(n)}}$ (${\displaystyle j\in J_{n}}$, où ${\displaystyle J_{n}}$ est un ensemble dénombrable d'indices) deux à deux isomorphes et orthogonaux, et ${\displaystyle {\mathfrak {I}}_{j}^{(n)}={\mathfrak {a}}_{n}\star e_{j}^{(n)}}$ où les ${\displaystyle e_{j}^{(n)}}$ sont des idempotents (i.e. ${\displaystyle e_{j}^{(n)}\star e_{k}^{(n)}=\delta _{jk}e_{j}^{(n)}}$) autoadjoints (i.e. stables par l'involution) minimaux.

Soit ${\displaystyle \left(a_{j}^{(n)}\right)_{1\leq j\leq p(n)}}$ une base hilbertienne de ${\displaystyle {\mathfrak {I}}_{1}^{\left(n\right)}}$ telle que ${\displaystyle a_{j}^{(n)}\in e_{j}^{(n)}\star {\mathfrak {a}}_{n}\star e_{1}^{(n)}}$ et ${\displaystyle m_{jk}^{(n)}=\gamma _{n}a_{j}^{(n)}\star {\widetilde {a_{k}^{(n)}}}}$ où ${\displaystyle \gamma _{n}}$ est un coefficient normalisateur. Les ${\displaystyle m_{jk}^{(n)}}$ sont les coefficients de ${\displaystyle M_{n}}$ ; ils sont autoadjoints et, pour j fixé, forment une base orthonormale de ${\displaystyle {\mathfrak {I}}_{j}^{(n)}}$. Quand j, k et n varient, les ${\displaystyle m_{jk}^{(n)}}$ forment une base hilbertienne de ${\displaystyle L^{2}(G)}$. On a les relations

${\displaystyle M_{n}(xy)=M_{n}(x)M_{n}(y),M_{n}(x^{-1})=(M_{n}(x))^{\ast }}$

(où ${\displaystyle (.)^{\ast }}$ est la transposée-conjuguée) qui entraînent que ${\displaystyle M_{n}(x)}$ est unitaire. De plus, l'application ${\displaystyle x\mapsto M_{n}(x)}$ est continue et est donc une représentation (unitaire continue) de G dans ${\displaystyle \mathbb {C} ^{d(n)}}$ (muni du produit hermitien habituel). Les représentions ${\displaystyle M_{n}}$ sont donc les représentations irréductibles ; leur ensemble, qui est dénombrable, est noté ${\displaystyle {\hat {G}}}$, et l'élément générique de ${\displaystyle {\hat {G}}}$ est noté ${\displaystyle {\hat {x}}}$. On écrira dans ce qui suit ${\displaystyle ({\hat {x}}(x))^{\ast }={\hat {x}}^{\ast }(x)}$. Le caractère associé à ${\displaystyle {\hat {x}}}$ est ${\displaystyle \Theta _{\hat {x}}=Tr({\hat {x}})}$, où ${\displaystyle Tr}$ désigne la trace ; ceci généralise la notion de caractère d'une représentation d'un groupe fini. Soit ${\displaystyle F({\hat {G}})=\prod \nolimits _{{\hat {x}}\in {\hat {G}}}\mathbb {C} ^{d({\hat {x}})\times d({\hat {x}})}}$ (où ${\displaystyle d({\hat {x}})}$ est l'ordre de la matrice ${\displaystyle {\hat {x}}}$).

Les deux égalités suivantes sont immédiates :

${\displaystyle {\overline {\mathcal {F}}}[f\star g]={\overline {\mathcal {F}}}[f].{\overline {\mathcal {F}}}[G]}$, et ${\displaystyle {\overline {\mathcal {F}}}[\gamma (x)f]_{\hat {x}}={\hat {x}}(x){\overline {\mathcal {F}}}[f]_{\hat {x}}}$.

Soit ${\displaystyle L^{2}({\hat {G}})}$ la somme hilbertienne des espaces de Hilbert ${\displaystyle \mathbb {C} ^{d({\hat {x}})\times d({\hat {x}})}}$ : ${\displaystyle L^{2}({\hat {G}})}$ est l'espace des familles ${\displaystyle \Phi =(\Phi _{\hat {x}})\in F({\hat {G}})}$ telles que ${\displaystyle \sum _{{\hat {x}}\in {\hat {G}}}\left\Vert \Phi _{\hat {x}}\right\Vert _{2}^{2}<\infty }$, muni du produit scalaire

${\displaystyle \left\langle \Phi ,\Psi \right\rangle _{L^{2}\left({\hat {G}}\right)}=\sum \nolimits _{\hat {x}}d({\hat {x}})Tr\left\{\Phi _{\hat {x}}^{\ast }\Psi _{\hat {x}}\right\}}$.

Ci-dessous, on notera une famille comme une fonction. Le produit scalaire dans ${\displaystyle L^{2}(G)}$ est dans ce qui suit

${\displaystyle \left\langle f,g\right\rangle _{L^{2}\left(G\right)}=\int _{G}{\overline {f(x)}}g(x)dm_{G}\left(x\right)}$.

On inverse la cotransformation de Fourier à partir de l'égalité de Parseval en procédant comme dans le cas commutatif, mutatis mutandis, c'est-à-dire en posant ${\displaystyle f=\gamma (x)({\tilde {g}}\star h)}$, ${\displaystyle g,h\in L^{2}\left(G\right)}$. En définissant ${\displaystyle A(G)}$ comme plus haut, on obtient de cette façon, pour toute fonction ${\displaystyle f\in A(G)}$ et tout ${\displaystyle x\in G}$

${\displaystyle f(x)=\sum \nolimits _{{\hat {x}}\in {\hat {G}}}d({\hat {x}})Tr\left\{{\hat {x}}^{\ast }(x){\overline {\mathcal {F}}}\left[f\right]({\hat {x}})\right\}}$.