Théorie des représentations

Il y a deux façons d'expliquer ce qu'est une représentation[13].

• La première utilise la notion d'action, généralisant la façon dont les matrices agissent par produit sur les vecteurs colonnes. Une représentation d'un groupe G ou d'une algèbre A (associative ou de Lie) sur un espace vectoriel V est une application${\displaystyle \Phi \colon G\times V\to V\quad {\text{ou}}\quad \Phi \colon A\times V\to V}$possédant deux propriétés. Premièrement, pour tout g dans G (idem pour A), l'application${\displaystyle {\begin{aligned}\varphi (g)\colon V&\to V\\v&\mapsto \Phi (g,v)\end{aligned}}}$est K-linéaire. Deuxièmement, en introduisant la notation g ∙ v pour Φ(g, v), on a, pour tous g₁, g₂ dans G et tout v dans V :${\displaystyle {\begin{matrix}(1)&e\cdot v&=&v\\(2)&g_{1}\cdot (g_{2}\cdot v)&=&(g_{1}g_{2})\cdot v\end{matrix}}}$où e est l'élément neutre de G et g₁g₂ est le produit dans G. La condition pour une algèbre associative A est analogue, excepté que A peut ne pas avoir d'élément unité, auquel cas l'équation (1) est omise. L'équation (2) est une expression abstraite de l'associativité du produit matriciel. Elle n'est pas vérifiée par les commutateurs de matrices et pour ces commutateurs, il n'y a pas d'élément neutre, si bien que pour les algèbres de Lie, la seule condition est que pour tous x₁, x₂ dans A et tout v dans V :${\displaystyle (2')\quad x_{1}\cdot (x_{2}\cdot v)-x_{2}\cdot (x_{1}\cdot v)=[x_{1},x_{2}]\cdot v}$où [x₁, x₂] est le crochet de Lie, qui généralise le commutateur MN – NM de deux matrices.
• La seconde façon, plus concise et plus abstraite, met l'accent sur l'application φ qui à tout x de G ou A associe φ(x) : V → V, qui doit vérifier, pour tous x₁, x₂ dans le groupe G ou l'algèbre associative A :${\displaystyle (2)\quad \varphi (x_{1}x_{2})=\varphi (x_{1})\circ \varphi (x_{2}).}$
  • Une représentation d'un groupe G sur un espace vectoriel V est un morphisme de groupes φ : G → GL(V).
  • Une représentation d'une algèbre associative A sur V est un morphisme d'algèbres φ : A → End(V).
  • Une représentation d'une algèbre de Lie a sur V est un morphisme d'algèbres de Lie φ : a → gl(V).

La représentation est notée (V, φ), ou simplement V si le morphisme φ est clair d'après le contexte. L'espace vectoriel V est appelé l'espace de la représentation (V, φ) et la dimension n de V est appelée le degré[14] de (V, φ).

Si ce degré n est fini, le choix d'une base de V permet d'identifier V à Kⁿ et l'on retrouve une représentation par des matrices à coefficients dans K.

La représentation (V, φ) est dite fidèle si le morphisme φ est injectif. Pour une algèbre associative, cette notion équivaut à celle de module fidèle. Pour toute représentation d'un groupe G sur un K-espace vectoriel, si la représentation associée de l'algèbre K[G] est fidèle alors la représentation de G l'est aussi, mais la réciproque est fausse, comme le montre l'exemple de la représentation régulière du groupe symétrique S₄.

Si (V, φ) et (W, ψ) sont deux représentations d'un groupe G, on appelle opérateur d'entrelacement, ou morphisme de représentations de la première vers la seconde toute application linéaire α : V → W équivariante, c'est-à-dire telle que pour tout g dans G et tout v dans V,

${\displaystyle \alpha (g\cdot v)=g\cdot \alpha (v)}$

ce qui, en termes des morphismes φ : G → GL(V) et ψ : G → GL(W), s'écrit :

${\displaystyle \forall g\in G,\quad \alpha \circ \varphi (g)=\psi (g)\circ \alpha .}$

On définit de même les morphismes de représentations d'une algèbre associative ou de Lie.

Si α est inversible, on dit que c'est un isomorphisme de représentations et que les deux représentations sont isomorphes. Elles sont alors, d'un point de vue pratique, « identiques » : elles fournissent la même information sur le groupe ou l'algèbre qu'elles représentent. C'est pourquoi la théorie des représentations cherche à classifier les représentations « à isomorphisme près ».

Les morphismes d'une représentation vers elle-même sont appelés ses endomorphismes. Ils forment une algèbre associative sur le corps de base K.

Si (W, ψ) est une représentation, par exemple d'un groupe G, et si V est un sous-espace de W « stable »[14] par l'action de G, c'est-à-dire tel que pour tous g dans G et v dans V, le vecteur g ∙ v appartienne à V, alors V est l'espace d'une sous-représentation : en définissant φ(g) comme la restriction de ψ(g) à V, (V, φ) est une représentation de G et l'inclusion de V dans W est un morphisme de représentations. L'espace vectoriel quotient W/V est alors, lui aussi, muni naturellement d'une représentation de G.

La représentation est dite irréductible si W possède exactement deux sous-espaces stables (qui sont alors l'espace nul et W lui-même).

Le lemme de Schur indique que tout morphisme non nul entre deux représentations irréductibles est un isomorphisme, puisque son noyau et son image sont des sous-représentations. En particulier, la K-algèbre des endomorphismes d'une représentation irréductible est un corps gauche. Si K est algébriquement clos, cette algèbre à division est isomorphe à K car réduite aux homothéties de l'espace.

Les représentations irréductibles sont les briques élémentaires de la théorie des représentations : si une représentation non nulle W n'est pas irréductible, alors elle se décompose en une sous-représentation et une représentation quotient qui sont toutes deux plus simples, en un certain sens ; par exemple si W est de dimension finie, elles sont plus simples au sens où elles sont de degré plus petit.

Si (V, φ) et (W, ψ) sont deux représentations, par exemple d'un groupe G, alors la somme directe de V et W est canoniquement l'espace d'une représentation, via l'équation :

${\displaystyle g\cdot (v,w)=(g\cdot v,g\cdot w).}$

Cette somme directe de deux représentations contient en général plus d'information sur le groupe G que chacune des deux.

Une représentation est dite indécomposable si elle n'est ni nulle, ni somme directe de deux sous-représentations non nulles.

Elle est dite semi-simple, ou complètement réductible, si elle est somme directe de représentations irréductibles. Dans les bons cas où toute représentation est semi-simple, l'étude des représentations se ramène à celle des représentations irréductibles. Dans le cas général, il faut comprendre comment les représentations indécomposables peuvent être reconstituées à partir de représentations irréductibles, comme extensions d'un quotient par une sous-représentation.

Dans l'étude des groupes finis, leurs représentations sont un outil très important[15]. Elles apparaissent aussi dans les applications de la théorie des groupes finis à la géométrie et à la cristallographie[16]. Elles présentent beaucoup des caractéristiques de la théorie générale et guident les développements des autres branches et sujets de la théorie des représentations.

Elles font appel à la théorie des caractères : le caractère d'une représentation φ : G → GL(V) d'un groupe fini G est la fonction centrale χ_φ : G → K définie par χ_φ(g) = Tr(φ(g)). Si la caractéristique du corps K est nulle, chaque représentation irréductible de G est entièrement déterminée par son caractère.

De plus, si la caractéristique de K est nulle ou plus généralement si elle ne divise pas l'ordre |G| du groupe, alors toutes les représentations de G sont semi-simples : c'est le théorème de Maschke, qui se démontre essentiellement en prenant une moyenne (le cas où la caractéristique est un nombre premier qui divise |G| est l'objet de la sous-théorie, plus élaborée, des représentations modulaires).

Dans le cas particulier où K est égal à ℝ ou ℂ, ce même procédé de moyenne permet de construire, sur l'espace d'une représentation de G, un produit scalaire G-invariant, et d'en déduire que la représentation est isomorphe à une représentation unitaire. On retrouve ainsi qu'elle est semi-simple car pour une représentation unitaire, le supplémentaire orthogonal de toute sous-représentation est stable. Dans l'étude des représentations de groupes infinis, les représentations unitaires sont une bonne généralisation des représentations réelles et complexes des groupes finis.

Les résultats comme le théorème de Maschke et la propriété d'unitarisation s'étendent à des groupes plus généraux en remplaçant la moyenne par une intégrale, à condition qu'il existe une mesure de Haar, ce qui est le cas pour les groupes compacts ou même seulement localement compacts ; la théorie qui en résulte est l'analyse harmonique.

Sur un corps arbitraire, une autre classe de groupes finis possédant une « bonne » théorie des représentations est celle des groupes finis de type de Lie. Des exemples importants en sont les groupes algébriques linéaires sur les corps finis. La théorie des représentations des groupes algébriques linéaires et des groupes de Lie étend ces exemples à des groupes de dimension infinie. Les représentations des groupes de Lie sont intimement reliées à celles des algèbres de Lie. L'importance de la théorie des caractères des groupes finis a un analogue dans la théorie des poids pour les représentations de groupes de Lie et d'algèbres de Lie.

Les représentations d'un groupe fini G sont aussi directement liées à celles de son algèbre K[G], qui est un K-espace vectoriel de base G, muni d'une multiplication qui prolonge bilinéairement celle du groupe.

Les représentations modulaires d'un groupe fini G sont ses représentations sur un corps dont la caractéristique divise |G|. Pour elles, on n'a pas d'analogue du théorème de Maschke (parce qu'on ne peut plus diviser par |G|, qui n'est pas inversible dans K)[17]. Cependant, Richard Brauer a étendu à ces représentations une grande partie de la théorie des caractères, ce qui a joué un rôle important au début des travaux de classification des groupes finis simples, en particulier ceux que les méthodes de pure théorie des groupes ne suffisaient pas à caractériser, parce que leurs 2-Sylow étaient « trop petits »[18].

Les représentations modulaires ont non seulement des applications en théorie des groupes, mais apparaissent naturellement dans d'autres branches des mathématiques, comme la géométrie algébrique, la théorie des codes, la combinatoire et la théorie des nombres.

Une représentation (V, φ) d'un groupe G est dite unitaire si V est un espace de Hilbert (réel ou, le plus souvent, complexe) et si, pour tout élément g de G, φ(g) est un opérateur unitaire. Ce type de représentations a été largement utilisé en mécanique quantique depuis les années 1920, en particulier grâce à l'influence de Hermann Weyl[19], ce inspiré le développement de la théorie. Une étape remarquable fut l'analyse par Wigner (en) des représentations (en) du groupe de Poincaré[20]. L'un des pionniers dans l'élaboration d'une théorie générale des représentations unitaires (pour tout groupe G, au lieu de se limiter à des groupes particuliers utiles dans des applications) fut George Mackey, et une théorie complète fut développée par Harish-Chandra et d'autres dans les années 1950 et 1960[21].

L'un des principaux objectifs est de décrire le dual unitaire de G, c'est-à-dire l'espace de ses représentations unitaires irréductibles[22]. La théorie est bien développée surtout pour les représentations fortement continues d'un groupe localement compact[7]. Pour un groupe abélien, le dual unitaire est simplement l'espace des caractères du groupe et pour un groupe compact, le théorème de Peter-Weyl montre que les représentations unitaires irréductibles sont de dimension finie et que le dual unitaire est discret[23]. Par exemple pour le cercle S¹ vu comme groupe, le dual unitaire est ℤ.

Pour un groupe de Lie réductif G non compact, la question de déterminer, parmi ses représentations, lesquelles sont unitarisables, est subtile, bien que (le module de Harish-Chandra (en) de) toute représentation unitaire irréductible soit admissible et qu'il soit facile de détecter si une représentation admissible possède une forme sesquilinéaire non dégénérée invariante ; la difficulté est en effet de déterminer quand cette forme est définie positive. L'important problème général de décrire effectivement le dual unitaire d'un tel G reste donc ouvert, bien que résolu pour beaucoup de groupes particuliers, comme pour le groupe spécial linéaire (en) SL(2, ℝ) ou pour le groupe de Lorentz (en) SO(3,1)[24].

La dualité entre le groupe T = S¹ du cercle et celui, ℤ, des entiers, ou plus généralement entre le n-tore Tⁿ et ℤⁿ, est classique en analyse : c'est la théorie des séries de Fourier ; de même, la transformation de Fourier exprime que l'espace des caractères de l'espace vectoriel ℝⁿ est son espace dual ℝⁿ. Ainsi, la théorie des représentations unitaires et l'analyse harmonique sont intimement liées, et l'analyse harmonique abstraite exploite cette relation, en développant l'analyse des fonctions sur des groupes localement compacts et en étudiant les espaces associés[7].

Un problème essentiel est de trouver une forme générale pour la transformation de Fourier et le théorème de Plancherel. On le résout, pour certains groupes G, en construisant une mesure sur le dual unitaire et un isomorphisme entre la représentation régulière de G (sur l'espace L²(G) des fonctions sur G de carré intégrable) et sa représentation sur l'espace L² du dual unitaire : la dualité de Pontryagin réalise ceci pour G localement compact abélien et le théorème de Peter-Weyl pour G compact[23] - [25].

Une autre approche fait intervenir toutes les représentations unitaires (au lieu de seulement celles qui sont irréductibles). Elles forment une catégorie à partir de laquelle, si G est compact, la dualité de Tannaka-Krein (en) fournit un moyen de reconstruire G.

Si G n'est ni abélien, ni compact, on ne connait pas de théorie générale avec un analogue du théorème de Plancherel ou de l'inversion de Fourier, mais Grothendieck a étendu la dualité de Tannaka-Krein en une relation entre groupes algébriques linéaires et catégories tannakiennes (en).

L'analyse harmonique a aussi été étendue, de l'analyse des fonctions sur un groupe G à celle des fonctions sur un espace homogène pour G. La théorie est particulièrement développée dans le cas des espaces symétriques et fournit une théorie des formes automorphes.

Un groupe de Lie est à la fois un groupe et une variété différentielle. Beaucoup de groupes usuels de matrices à coefficients réels ou complexes sont des groupes de Lie[26]. De nombreux groupes importants en physique et en chimie sont des groupes de Lie, et la théorie de leurs représentations est cruciale pour les applications de la théorie des groupes dans ces domaines[5].

On peut développer la théorie des représentations des groupes de Lie en commençant par considérer ceux qui sont compacts, auxquels les résultats généraux sur les groupes compacts s'appliquent[22]. Cette théorie peut s'étendre aux représentations de dimension finie des groupes de Lie semi-simples grâce au procédé d'unitarisation (en) de Weyl : le complexifié d'un groupe de Lie réel semi-simple est un groupe de Lie complexe, dont les représentations de dimension finie correspondent de façon étroite à celles de « son » sous-groupe compact maximal.

Tout groupe de Lie est produit semi-direct d'un groupe de Lie résoluble et d'un groupe de Lie semi-simple (c'est la décomposition de Levi (en))[27]. La classification des représentations des groupes de Lie résolubles est irréalisable en général, mais souvent facile dans les cas pratiques. On peut alors analyser les représentations des produits semi-directs au moyen de la théorie de Mackey, qui est une généralisation des méthodes utilisées dans la classification de Wigner des représentations du groupe de Poincaré.

Une algèbre de Lie sur un corps K est un K-espace vectoriel muni d'une opération bilinéaire antisymétrique appelée son crochet de Lie, qui vérifie l'identité de Jacobi. Ces algèbres apparaissent en particulier comme espaces tangents au neutre à un groupe de Lie, ce qui conduit à interpréter leurs éléments comme des « symétries infinitésimales »[27]. Une approche importante de la théorie des représentations des groupes de Lie est d'étudier les celles des algèbres de Lie qui leur correspondent, mais la théorie des représentations des algèbres de Lie a aussi un intérêt intrinsèque[28].

Comme les groupes de Lie, les algèbres de Lie admettent une décomposition en parties semi-simple et résoluble, et la classification des représentations d'algèbres de Lie résolubles est irréalisable en général. À l'inverse, les représentations de dimension finie d'une algèbre de Lie semi-simple g sont entièrement connues, depuis les travaux d'Élie Cartan. Pour analyser une telle représentation, on choisit une sous-algèbre de Cartan (en) h de g, c'est-à-dire essentiellement une sous-algèbre de Lie abélienne maximale générique. La représentation de g se décompose en espaces de poids, qui sont des sous-espaces propres pour l'action de h et un analogue infinitésimal des caractères. L'analyse de la structure de g via ses représentations se ramène alors à une simple étude combinatoire des poids qui peuvent intervenir[27].

Parmi les nombreuses classes d'algèbres de Lie de dimension infinie dont les représentations ont été étudiées, une classe importante est celle des algèbres de Kac-Moody[29], découvertes indépendamment par Victor Kac et Robert Moody. Elles généralisent les algèbres de Lie semi-simples de dimension finie et partagent beaucoup de leurs propriétés combinatoires, ce qui permet d'appréhender leurs représentations de la même manière.

La sous-classe des algèbres de Lie affines a une importance spéciale en mathématiques et en physique théorique, en particulier en théorie conforme des champs et en théorie des systèmes complètement intégrables. Kac a découvert une preuve élégante de certaines identités combinatoires, les identités de Macdonald (en), en se basant sur la théorie des représentations des algèbres de Lie affines.

Les superalgèbres de Lie sont des généralisations des algèbres de Lie dans lesquelles l'espace vectoriel sous-jacent est muni d'une ℤ₂-graduation, qui modifie les signes dans les propriétés du crochet de Lie et dans l'identité de Jacobi. La théorie de leurs représentations est similaire[30].

Les groupes algébriques linéaires (ou, plus généralement, les schémas affines en groupes (en)) sont des analogues en géométrie algébrique des groupes de Lie, mais sur des corps plus généraux que ℝ ou ℂ. En particulier, sur des corps finis, ils donnent naissance aux groupes finis de type de Lie. Bien que la classification des groupes algébriques linéaires soit très similaire à celle des groupes de Lie, la théorie de leurs représentations est assez différente (et beaucoup moins bien comprise) et nécessite des techniques différentes, du fait que la topologie de Zariski est relativement grossière, ce qui rend inutilisables les outils de l'analyse classique[31].

La théorie des invariants étudie les actions d'un groupe sur des variétés algébriques du point de vue de l'effet de ces actions sur des fonctions. La théorie classique a d'abord porté sur la question de décrire explicitement les fonctions polynomiales invariantes par les transformations d'un groupe de matrices donné. L'approche moderne analyse la décomposition de ces représentations en irréductibles[32].

La théorie des invariants des groupes infinis est liée de façon indissociable au développement de l'algèbre linéaire, en particulier aux théories des formes quadratiques et des déterminants. Un autre sujet avec lequel elle a une forte influence mutuelle est la géométrie projective, que la théorie des invariants peut servir à organiser ; au cours des années 1960, David Mumford a insufflé un renouveau dans ce domaine, sous la forme de sa théorie géométrique des invariants (en)[33].

La théorie des représentations des groupes de Lie semi-simples a ses racines dans la théorie des invariants[26] et la forte corrélation entre théorie des représentations et géométrie algébrique a de nombreux parallèles en géométrie différentielle, à commencer par le programme d'Erlangen de Felix Klein et les connexions d'Élie Cartan, qui placent les groupes et la symétrie au cœur de la géométrie[34]. Des développements modernes relient l'étude des représentations et des invariants à des théories aussi variées que celles de l'holonomie, des opérateurs différentiels et de l'analyse complexe à plusieurs variables.

Les formes automorphes sont une généralisation des formes modulaires par des fonctions analytiques, éventuellement de plusieurs variables complexes, ayant des propriétés similaires de transformation[35]. La généralisation met en jeu le remplacement du groupe projectif spécial linéaire PSL₂(ℝ) et d'un sous-groupe de congruences (en) donné, par un groupe de Lie semi-simple G et un sous-groupe discret Γ. De même que les formes modulaires peuvent être vues comme des formes différentielles sur un quotient du demi-espace supérieur H = PSL₂(ℝ)/SO(2), les formes automorphes peuvent être vues comme des formes différentielles (ou des objets similaires) sur Γ\G/K, où K est (typiquement) un sous-groupe compact maximal de G. Il faut cependant prendre en compte l'existence, en général, de singularités du quotient. Le quotient d'un groupe de Lie semi-simple par un groupe compact étant un espace symétrique, la théorie des formes automorphes est intimement liée à l'analyse harmonique sur les espaces symétriques.

Avant le développement de la théorie générale, beaucoup de cas particuliers importants ont été étudiés en détail, comme les formes modulaires de Hilbert et celles de (en) Siegel. Parmi les résultats importants de la théorie figurent la formule des traces de Selberg et l'application du théorème de Riemann-Roch, par Robert Langlands, au calcul de la dimension de l'espace des formes automorphes. La notion de « représentation automorphe » qui en a résulté s'est avérée très utile techniquement pour traiter le cas où G est un groupe algébrique, traité comme un groupe algébrique adélique. Une philosophie entière est née de là : le programme de Langlands s'est développé autour de la relation entre la représentation des formes automorphes et leurs propriétés liées à la théorie des nombres[36].

En un certain sens, les représentations d'algèbres associatives généralisent à la fois celles des groupes et celles des algèbres de Lie. Une représentation de groupe induit une représentation correspondante de son algèbre de groupe ou de son algèbre de groupe topologique (en), tandis que les représentations d'une algèbre de Lie sont en bijection avec celles de son algèbre enveloppante. Cependant, la théorie des représentations des algèbres associatives quelconques ne possède pas toutes les propriétés agréables de celles des représentations des groupes et des algèbres de Lie.

Lorsqu'on considère les représentations d'une algèbre associative, on peut oublier le corps de base et voir l'algèbre comme un simple anneau, et ses représentations comme des modules sur cet anneau. Cette approche est étonnamment fructueuse : beaucoup de résultats de la théorie des représentations peuvent s'interpréter comme des cas particuliers de résultats de la théorie des modules.

Se restreindre des algèbres associatives aux algèbres de Hopf est une façon d'obtenir une meilleure théorie des représentations, tout en continuant d'inclure les groupes et les algèbres de Lie comme cas particuliers. Entre autres, le produit tensoriel de deux représentations est une représentation, de même que l'espace vectoriel dual.

Les algèbres de Hopf associées à des groupes sont commutatives, c'est pourquoi les algèbres de Hopf générales sont connues sous le nom de groupes quantiques, bien que ce terme désigne souvent des algèbres de Hopf particulières, obtenues par déformations de groupes ou de leurs algèbres enveloppantes. La théorie des représentations des groupes quantiques a apporté des éclairages surprenants dans celle des groupes et algèbres de Lie, par exemple via les cristaux de (en) Kashiwara.

Une représentation « ensembliste », ou représentation « par permutations » d'un groupe G (par opposition aux représentations évoquées plus haut, dites « linéaires ») est une action de G sur un ensemble X, c'est-à-dire la donnée d'une application ρ, de G dans l'ensemble X^X de toutes les applications de X dans X, telle que pour tous g₁, g₂ dans G et x dans X :

${\displaystyle \rho (1)(x)=x\quad {\text{et}}\quad \rho (g_{1}g_{2})(x)=\rho (g_{1})(\rho (g_{2})(x)),}$

où 1 désigne l'élément neutre du groupe G.

Ces conditions, jointes à la définition d'un groupe, entraînent que les ρ(g) (pour tout g dans G) sont des bijections, si bien qu'une définition équivalente d'une représentation de G par permutation est la donnée d'un morphisme de groupes de G dans le groupe symétrique S_X de X.

Tout groupe G peut être vu comme une catégorie, avec un seul objet, et dont les morphismes sont simplement les éléments de G. Une représentation de G dans une catégorie arbitraire C est un foncteur de G dans C, c'est-à-dire la donnée d'un objet particulier X de C et d'un morphisme de G dans le groupe des automorphismes de X[37].

Par exemple, sur un corps K fixé, une représentation linéaire de G est une représentation de G dans la catégorie des K-espaces vectoriels (en) ; une représentation ensembliste de G est une représentation de G dans la catégorie des ensembles, c'est-à-dire une action de G ; une représentation de G dans la catégorie des espaces topologiques est un morphisme de G dans le groupe des homéomorphismes d'un espace topologique, c'est-à-dire une action continue de G (vu comme groupe discret) ; une représentation de G dans la catégorie des groupes[38] est une action de G sur un groupe par automorphismes.

Deux autres types de représentations sont fortement liées à celui des représentations linéaires :

• les représentations projectives, que l'on peut décrire comme les représentations « linéaires à transformations scalaires près » : dans la catégorie des espaces projectifs
• les représentations affines (en) : dans la catégorie des espaces affines.

Puisqu'on a étudié les représentations de groupes, et que ces derniers sont des cas particuliers de catégories, il est naturel de chercher à définir la notion de représentation pour d'autres types de catégories. La classe de catégories la plus simple qui généralise celle des groupes est celle des monoïdes, qui sont des catégories à un seul objet mais où les morphismes ne sont plus nécessairement des isomorphismes. De même que pour un groupe, on peut étudier les représentations d'un monoïde dans n'importe quelle catégorie. Dans celle des ensembles, il s'agit des actions de ce monoïde (en) sur un ensemble.

Si l'on ne suppose plus que la catégorie a un seul objet, on aboutit à la théorie des foncteurs, sur laquelle on peut dire peu de choses en toute généralité.

Un cas particulier a eu un impact significatif dans la théorie des représentations : celui des représentations de carquois[11]. Un carquois est simplement un graphe orienté (où l'on autorise des boucles et des arêtes multiples), mais on peut lui associer une catégorie (et aussi une algèbre) en considérant ses chemins. La théorie des représentations de catégories ou d'algèbres de carquois a jeté un nouvel éclairage sur plusieurs aspects de la théorie des représentations, par exemple en permettant parfois de réduire des questions sur les représentations semi-simples d'un groupe à des questions analogues pour un carquois.

• (en) J. L. Alperin, Local Representation Theory : Modular Representations as an Introduction to the Local Representation Theory of Finite Groups, CUP, 1986, 178 p. (ISBN 978-0-521-44926-7, lire en ligne)
• (en) Armand Borel, Essays in the History of Lie Groups and Algebraic Groups, AMS, 2001, 184 p. (ISBN 978-0-8218-0288-5, lire en ligne)
• (en) Armand Borel et W. Casselman, Automorphic Forms, Representations, and L-functions, AMS, 1979 (ISBN 978-0-8218-1435-2, lire en ligne)
• (en) Charles W. Curtis et Irving Reiner, Representation Theory of Finite Groups and Associative Algebras, John Wiley & Sons, 1962, 689 p. (ISBN 978-0-8218-4066-5, lire en ligne) (rééd. 2006 par AMS Bookstore)
• (en) William Fulton et Joe Harris, Representation Theory : A First Course [détail des éditions]
• (en) Stephen Gelbart, « An Elementary Introduction to the Langlands Program », Bull. Amer. Math. Soc., vol. 10, n^o 2,‎ 1984, p. 177-219 (lire en ligne)
• (en) Roe Goodman et Nolan R. Wallach, Representations and Invariants of the Classical Groups, CUP, 1998, 685 p. (ISBN 978-0-521-66348-9, lire en ligne)
• (en) James Gordon et Martin Liebeck, Representations and Characters of Groups, CUP, 1993, 419 p. (ISBN 978-0-521-44590-0)
• (en) James E. Humphreys (de), Introduction to Lie Algebras and Representation Theory, Birkhäuser, 1972, 173 p. (ISBN 978-0-387-90053-7, lire en ligne)
• (en) James E. Humphreys, Linear Algebraic Groups, Springer, coll. « GTM » (n^o 21), 1975, 276 p. (ISBN 978-0-387-90108-4)
• (en) Jens Carsten Jantzen (en), Representations of Algebraic Groups, AMS, 2003, 576 p. (ISBN 978-0-8218-3527-2)
• (en) Anthony W. Knapp, Representation Theory of Semisimple Groups : An Overview Based on Examples, PUP, 2001, 773 p. (ISBN 978-0-691-09089-4, lire en ligne)
• (en) T. Y. Lam, « Representations of Finite Groups: A Hundred Years », Notices Amer. Math. Soc., vol. 45, n^os 3 et 4,‎ 1998, 361-372 (Part I), 465-474 (Part II)
• (en) Peter J. Olver, Classical Invariant Theory, CUP, 1999, 280 p. (ISBN 978-0-521-55821-1, lire en ligne)
• (en) Jean-Pierre Serre, Linear Representations of Finite Groups [détail des éditions], 1977
• (en) R. W. Sharpe, Differential Geometry : Cartan's Generalization of Klein's Erlangen Program, Springer, coll. « GTM » (n^o 166), 1997, 426 p. (ISBN 978-0-387-94732-7, lire en ligne)
• (en) Daniel Simson, Andrzej Skowronski et Ibrahim Assem, Elements of the Representation Theory of Associative Algebras, Cambridge, CUP, 2007, 456 p. (ISBN 978-0-521-88218-7, lire en ligne)
• (en) S. Sternberg, Group Theory and Physics, CUP, 1994, 429 p. (ISBN 978-0-521-55885-3, lire en ligne)