Linguistique informatique

Les modèles statistiques sont très fréquemment utilisés pour l'étude des langues. Les calculs de fréquences, de moyenne, de dispersion donnent des résultats parfois étonnants. Les modèles de Markov sont les plus utilisés pour l'analyse de la parole comme pour des analyses lexicales et syntaxiques. Les tentatives pour utiliser les réseaux de neurones sont plus rares.

Dans les années 1930, un scientifique de l'université de Harvard, G.K. Zipf, a montré qu'en classant les mots d'un texte par fréquence décroissante, alors, on observe que la fréquence d'utilisation d'un mot est inversement proportionnelle à son rang. La loi de Zipf stipule que la fréquence du second mot le plus fréquent est la moitié de celle du premier, la fréquence du troisième mot le plus fréquent, son tiers, etc. Cette loi peut s'exprimer de la manière suivante : Fréquence d'un mot de rang N = (Fréquence du mot de rang 1) / N Si l'on dresse une table de l'ensemble des mots différents d'un texte quelconque, classés par ordre de fréquences décroissantes, on constate que la fréquence d'un mot est inversement proportionnelle à son rang dans la liste, ou, autrement dit, que le produit de la fréquence de n'importe quel mot par son rang est constant : ce que traduit la formule f * r = C, où f est la fréquence et r le rang. Cette égalité, qui n'est vraie qu'en approximation, est indépendante des locuteurs, des types de textes et des langues. Il semble ainsi qu'il s'agisse véritablement d'un trait général des énoncés linguistiques. Cette constatation n'est pas isolée, mais n'est que la première de toute une série d'autres que l'on peut résumer ainsi :

• La fréquence relative des catégories grammaticales, bien que variant d'un individu ou d'un texte à l'autre, est stable. C'est ainsi qu'en français les mots outils (articles, pronoms, conjonctions, prépositions) représentent 50/100 de n'importe quel texte, l'autre moitié étant constituée par les mots pleins (substantifs, verbes, adjectifs, adverbes). On peut noter que dans le dictionnaire cette proportion est tout autre, les mots outils ne représentant que 0,5/100 du lexique total.
• La fréquence des mots d'une langue dans le discours est liée à leur structure phonique ; en particulier, le nombre de phonèmes d'un mot dépend de son rang. On peut ainsi observer une tendance générale de toutes les langues, selon laquelle plus un mot est fréquent, plus il est court (c'est-à-dire moins son « coût de production » est élevé). Cela apparaît bien dans le phénomène général d'abrègement des mots longs dont la fréquence a tendance à augmenter dans le discours : tronquements ("cinématographe" devient « cinéma » et « ciné »), sigles (S.N.C.F., U.R.S.S.), auxquels on peut rattacher certains phénomènes de substitution ("contremaître" devient « singe », etc.).

En traçant pour chaque mot le couple rang/effectif dans un repère logarithmique, alors le nuage de points paraît linéaire. Il est d'ailleurs possible de calculer l'équation de la droite de régression linéaire sur ce nuage. La répartition des points autour de cette droite montre que la linéarité n'est qu'approximative. En étudiant la liste des fréquences, on peut noter que les mots les plus fréquents sont les mots grammaticaux, et que leur ordre d'apparition dans la liste est stable d'un texte à l'autre à partir du moment où le texte est de longueur significative (c’est une loi tendancielle). Les mots lexicaux apparaissent ensuite, en commençant par les mots thématisant le document.

Une phrase ou un texte peut être vu comme une séquence de mots. Supposons qu’on ait un vocabulaire exhaustif où les mots sont numérotés de 1 à M et ajoutons un mot n^o 0 noté # comme séparateur. Le petit chat est mort. va être récrit w0 w42 w817 w67 w76 w543 w0 (par exemple) en remplaçant chaque mot par son entrée dans le vocabulaire. Appelons W1 le fait d’observer le premier mot et en général Wi le fait d’observer le ième mot.

P (# le petit chat est mort #) = P (W0=0, W1=42, W2=817…)

Un modèle de Markov cherche à prédire l’apparition d’un mot en fonction du mot qui le précède (modèle bigramme) ou des deux mots qui le précèdent (modèle trigramme). Le modèle bigramme suppose que le modèle de Markov sous-jacent au langage est stationnaire. Un modèle de Markov est dit stationnaire si l’observation de l’état actuel permet de prédire les états suivants. Il y a un lien direct entre l'état où se trouve le processus et les probabilités des états suivants. La reconnaissance automatique de la parole fait un grand usage des modèles de Markov pour aider la reconnaissance des mots dans un signal de parole continu. Pour apprendre les probabilités conditionnelles des bigrammes ou de trigrammes, il faut une grande quantité de corpus annoté. Le même principe peut être utilisé pour d’autres tâches, comme l'étiquetage (attribution des parties du discours aux mots). Dans ce cas, on observe les mots, pas leur étiquette, et on parle de modèle de Markov caché. L'étiqueteur de Brill (en) est basé sur ce principe. Il s’agit d’attribuer des tags aux mots de façon à maximiser la probabilité de bonne réponse sur l’ensemble des tags.

Les réseaux de neurones formels ont été utilisés pour modéliser la sémantique des langues et permettre la construction dynamique du sens des phrases[10].

Les traités de Noam Chomsky sur la syntaxe des langues naturelles furent une source d'inspiration pour traiter les phrases comme des expressions d'un langage formel. Mais alors que le modèle de Chomsky est génératif, les modèles de grammaires formelles doivent comporter les deux volets de l'analyse et de la génération.

Mais la compétence linguistique est peu de chose pour un système ne sachant pas de quoi on lui parle. En 1972, SHRDLU de Terry Winograd, s'appuie sur une modélisation d'un micro-monde parfaitement circonscrit (quelques cubes et pyramides de couleurs diverses, entassés sur une table) en vue de réaliser une conversation à propos des situations concrètes que l'on peut rencontrer dans cet univers restreint. Munis de deux clés : grammaire formelle pour la morpho-syntaxe et réseaux d'associations sémantiques pour le sens, les expérimentateurs du milieu et de la fin des années 1960 réalisèrent une foule de systèmes. Pour passer du dialogue dans un micro-monde au monde humain, la grande question des années 1970 fut celle de la représentation des connaissances. En 1974, dans un recueil sur la vision artificielle, Marvin Minsky, un des fondateurs de l'IA, exposa la notion de stéréotypes (en anglais : frames). Un stéréotype est une description des caractéristiques d'un élément du monde associé aux mots correspondants. les stéréotypes fonctionnent en réseaux, appelés réseaux sémantiques. Les liens de ce réseau sont les relations généralisation spécialisation et les relations tout parties. Mais il ne suffit pas de décrire le monde pour comprendre les histoires, Roger Schank pose la question des comportements en termes de scénarios prédéfinis.

Le cours de Jean Véronis répertorie les modèles morpho-syntaxiques et sémantiques courants. Pour aller plus loin, un bilan a été fait en 1991 montrant les forces et les faiblesses de cette approche[11].

Le dialogue est la matrice de nos langues, de notre pensée, de notre mémoire et du dialogue lui-même. Il est la matrice de nos institutions et de nos sociétés. Il nous constitue en tant qu’humains. Le dialogue est un état premier de l'activité langagière, si on le compare à l'écrit bien sûr, mais aussi à d'autres formes de langage oral, comme raconter une histoire ou faire un discours. Le petit enfant apprend à parler par la parole et le dialogue[12]. Les approches interactives de la modélisation du langage ont été développées pour le dialogue entre les humains et les machines[13], pour le dialogue entre agents logiciels[14] ou pour améliorer les interfaces graphiques[15].

Entre humains, l’interaction passe principalement par l’action conjointe (jouer au foot), les mouvements, les gestes, les expressions du corps et du visage, la voix (cris, parole) et secondairement par l’écriture. Elle s’inscrit dans un monde partagé et construit un monde social. Elle met en jeu des objets intermédiaires comme ressources, comme enjeux ou comme manifestation d’un accord. Dans les dialogues, chaque participant prend tour à tour les rôles de locuteur, d’interlocuteur ou d’observateur. L’interaction entre humains est donc symétrique du point de vue des modalités comme du point de vue des rôles.

L’interaction des usagers avec les ordinateurs est seulement une interaction par signes. Elle n’est pas symétrique ni du point de vue des modalités, ni du point de vue des rôles. La plupart du temps, la machine présente des pages sur un écran comportant des textes et des images et envoie des messages auditifs (mode visuel et auditif). L’usager agit principalement par l’écriture (mode textuel) et avec la souris (mode gestuel). Cette interaction ne met en jeu que le monde de l’ordinateur, son monde interne et les flux arrivants par ses capteurs, pas celui de son interlocuteur. Pour toutes les applications informatiques simples, où l’ensemble des ordres à donner à la machine est facile à énumérer et à mémoriser, les interfaces à boutons ou à menus déroulants, qui restent dans le paradigme compositionnel et exhaustif sont certainement supérieures au dialogue en langue naturelle. Mais les limites à leurs usages, les appréhensions et difficultés des usagers, tiennent souvent aux difficultés de l’interaction. On peut par exemple observer les difficultés des usagers à comprendre les messages d’erreur, ou à utiliser des formules logiques d’interrogation de bases de données documentaires.

C’est à suite de tentatives infructueuses pour formaliser les langues, comme on l’avait fait efficacement pour les langages de programmation dans les années 1960, qu’un autre point de vue a pu être développé, le point de vue de l'interaction comme source et enjeu de la constitution des langues. Les humains peuvent interagir entre eux par des signes selon plusieurs modes. Ils peuvent par exemple communiquer par des signaux routiers ou de navigation dont le sens n’est pas négociable. Ils peuvent aussi utiliser des codes, analysables terme à terme de manière compositionnelle, comme les notations mathématiques et les langages de programmation. Ces codes ont une sémantique compositionnelle et non ambiguë qui fixe le sens des messages indépendamment du contexte dans lequel il a lieu. Un code nécessite un accord préalable entre les parties sur le sens des éléments et le sens de leurs combinaisons. Les humains utilisent principalement pour communiquer les langues naturelles qui ne fonctionnent pas selon le modèle du code mais selon le modèle du transfert[16]. Les langues sont un préalable pour créer les systèmes de signaux, de formules et de codes et pour les faire évoluer.

La sémantique interprétative de François Rastier[17] décrit comment le sens est construit de manière rhétorique et herméneutique, c'est-à-dire dans un processus d'interprétation dans le contexte et dans l'histoire des interactions. Elle s'attache à décrire les textes (ou les dialogues) dans leur entier. Elle sert de base pour des études et projets informatiques[18].

Jean-Louis Dessalles propose un modèle de la pertinence et de ses origines cognitives qui éclaire le fonctionnement du langage dans l'interaction[19]. L'inattendu, les coïncidences, la banalisation sont les principaux ressorts des conversations.

Un corpus est une grande quantité de matériaux linguistiques attesté : livres, journaux, devoirs d’étudiants, enregistrements de radio, de télévision, de réunions de famille, de discussions de café… Les corpus numérisés sont les plus utiles pour les linguistes, les littéraires, comme pour les chercheurs en TAL. Les sources de corpus écrits sont nombreuses, tant par le Web que du fait que l'édition est numérisée depuis les années 1980.

Pour certaines tâches, un corpus doit être représentatif : représentatif d’un état de langue dans un pays, un milieu social, à une époque déterminée. Il faut donc prélever soigneusement des échantillons dans ce but et ces choix doivent être documentés (exemple Frantext pour le TLFI). Les corpus « patrimoniaux » sont recueillis pour servir de base à des comparaisons ultérieures sur les états de langues, ou pour conserver des témoignages sur les langues en voie de disparition. Pour réaliser un système automatique de réservation de billets de train, il faut enregistrer des dialogues aux guichets de la SNCF, dans des lieux variés, avec de nombreux interlocuteurs. Les autres dialogues apporteront peu d’informations, la radio encore moins.

Un corpus respecte le contexte de l’énonciation et du recueil des textes. Il comporte donc des métadonnées : auteur, date, édition… Il est organisé en vue d’une exploitation scientifique ou technique. La question des formats est incontournable : codage de caractères, jeu de caractères, mise en forme matérielle, format du fichier (HTML, Word, pdf…). Si un corpus est annoté, chaque élément du corpus est décrit par des annotations et le jeu d’annotations doit être le même pour tous les éléments du corpus. Un corpus peut être monolingue ou multilingue. Une catégorie particulière de corpus concerne les textes traduits dans plusieurs langues, alignés par le sens, comme les textes de la communauté européenne. Ils sont très utilisés en traduction automatique.

L’idée d’utiliser des corpus pour la recherche linguistique précède l’informatique. Zellig Harris a posé les bases de recherches distributionnelles sur la syntaxe qu’il n’a pas pu réaliser. Sous leur forme numérique, les corpus ont commencé à être constitués vers 1950, mais c’est seulement dans les années 1980 que les machines ont été suffisamment disponibles pour que de grands corpus soient constitués. Ils ont été d’abord constitués sur l’anglais aux États-Unis (Brown Corpus 1979 Francis) et en Angleterre (British National Corpus, Bank of English). Dans les années 1990, on commence à trouver des corpus oraux et des corpus multilingues. Les corpus écrits sont en général disponibles pour la recherche scientifique. Par contre, il y a peu de corpus oraux disponibles, très peu en français, pour des raisons juridiques et pour des raisons de propriété industrielle.

Un corpus annoté est un corpus accompagné d’informations complémentaires aux métadonnées qui le décrivent. Les annotations peuvent être manuelles ou automatiques. Elles évitent de refaire plusieurs fois le même travail et ouvrent des possibilités de recherche automatique sur les éléments annotés. Les principales annotations sont des annotations lexicales, morphologiques ou syntaxiques. Elles se réfèrent à des dictionnaires ou à des théories grammaticales (parties du discours, fonctions sujet, verbe, complément…). Elles peuvent être systématiques ou partielles, pour les besoins d’un travail particulier (signaler les adverbes par exemple, ou les verbes au futur…). Elles posent la question de l’objectivité de ces annotations, les linguistiques pouvant discuter longtemps de certains choix sans se mettre d'accord. Elles sont donc des interprétations du corpus et les conditions de cette interprétation doivent être clairement décrites dans les métadonnées afin de rendre publics et explicites les principes sur lesquels l'annotation a été faite. Les annotations manuelles sur de grands corpus sont faites par des équipes de linguistes et la consistance entre leurs annotations est difficile à obtenir. Toutefois, des expériences faites avec des linguistes bien entraînés et bien coordonnés n’ont pas montré de véritable problème de consistance pour l’anglais, le français et l’espagnol. Les annotations automatiques sont obtenues en construisant un modèle à partir d'annotations manuelles d'une partie du corpus. Elles ne sont pas parfaites (3 % d’erreurs pour l'annotation des parties du discours) mais elles rendent de grands services si ce taux d’erreur est acceptable. Elles peuvent être reprises manuellement par des experts, ce qui est moins lourd qu’une première annotation.

Actuellement, l’annotation de corpus se diversifie. On trouve des corpus annotés sémantiquement (recherche des entités nommées). Il existe aussi des annotations d’analyse du discours, de pragmatique et de stylistique. Les annotations stylistiques servent en particulier dans les langues anciennes pour attribuer des auteurs aux œuvres anonymes, ou pour étudier les influences des auteurs les uns sur les autres. Une normalisation de ses annotations est proposée par la TEI (Text Encoding Initiative).

L’utilisation de corpus annotés permet d’évaluation des nouveaux systèmes, qui peuvent se comparer sur des corpus attestés et dont les annotations sont validées. Elle permet de travailler sur d’autres niveaux d’analyse du langage en disposant de ressources ou les analyses de bas niveau sont déjà réalisées et donc d’expérimenter des analyses pragmatiques ou rhétoriques sans réaliser les analyseurs syntaxiques qui sont un préalable à l’analyse de haut niveau.

Citons :

• la traduction automatique et la traduction assistée par ordinateur ;
• le résumé automatique de texte ;
• la veille technologique ;
• les correcteurs orthographiques ou grammaticaux ;
• les conjugueurs des verbes ;
• les dictionnaires en ligne ou électroniques ;
• la réponse aux requêtes langagières des usagers du Web ou d'autres plates-formes.

Les moteurs de recherche sur le Web considèrent les textes comme des sacs de mots. Les analyses ne dépendent pas de la place des mots, seulement du nombre d’occurrences d’un mot dans un texte. Les fonctions de modification d'un texte dans les traitements de texte, comme « rechercher » et « remplacer » considèrent le texte comme une chaîne de caractères. Les blancs, les caractères alphabétiques ou numériques, les signes de ponctuation et les signes de mise en forme sont considérés de la même manière que les caractères alphabétiques. Elles utilisent des expressions régulières[21]. Les correcteurs orthographiques comparent les mots du texte à tous les mots d'un dictionnaire de formes fléchies, c'est-à-dire où il y a le singulier, le pluriel, le masculin et le féminin pour les noms et les adjectifs et toutes les formes conjuguées des verbes. Ils pointent les formes qui n'existent pas, mais pas celles qui sont utilisées à tort. Pour la traduction automatique ou pour résumer des textes, le texte est considéré comme la manifestation d’une langue, et il faut tenir compte de connaissances linguistiques pour l’analyser, car un texte lu à l’envers n’est plus un texte, juste une chaîne de caractères.

• La transcription de la parole

Transcrire manuellement la parole pour obtenir une forme écrite équivalente est un travail très difficile.

Le Transcriber[22] est un outil pour segmenter, étiqueter et transcrire la parole. Il est utilisé en linguistique de corpus et pour aider à l'acquisition des données pour la reconnaissance et la synthèse de la parole.

• La reconnaissance automatique de la parole

La reconnaissance de la parole prend en entrée un flux de signal de parole et produit un texte écrit en sortie. Elle utilise des modèles de Markov cachés. Ce qui fait la différence entre les différents systèmes, c’est :

1. le découpage des unités dans le flux de parole ;
2. la taille du corpus d’apprentissage et la manière dont on fait l’apprentissage pour obtenir le modèle linguistique qui donne la probabilité d'une phrase ;
3. la prise ne compte des bigrammes, trigrammes, ou plus de ces unités pour la prédiction de l'élément textuel à produire en fonction de l'unité courante et du modèle.

Les logiciels de dictée vocale ont de bons résultats lorsque les tâches sont répétitives, comme la dictée de lettres administratives ou les comptes rendus médicaux.

• La synthèse de la parole

La synthèse de parole est le point de vue inverse de la reconnaissance. Elle transforme un texte écrit en flux de parole. Deux niveaux de production sont requis, la phonologie (phonèmes, syllabes) et la prosodie : pauses, accentuations, rythme, changement de ton, montant ou descendant. Les serveurs vocaux par téléphone sont un bon exemple d’application de ces techniques.

• François Rastier, Marc Cavazza et Anne Abeillé, Sémantique pour l'analyse : De la linguistique à l'informatique, Paris, Masson, coll. « Sciences cognitives », 1994, 240 p. (ISBN 2-225-84537-9)
• Ingénierie des Langues, sous la direction de Jean-Marie Pierrel, Collection « Information - Commande - Communication », Éditions Hermès Science, 360 p. (ISBN 2-7462-0113-5), octobre 2000
• (en) The Oxford Handbook of Computational Linguistics, edited by Ruslan Mitkov, Oxford University Press, (ISBN 0-19-823882-7), 2003

• Traitement automatique des langues
• Génération automatique de textes
• Analyse du discours
• Analyse morphosyntaxique
• Lexical markup framework (LMF), travaux de normalisation ISO des lexiques du TAL
• LRE Map, base de données des ressources utilisées dans le TAL
• Indigenous Tweets Analyse de messages Twitter
• Histoire de la traduction automatique

• L'Association française pour le Traitement Automatique des Langues
• CNRTL-CNRS Créé en 2005 par le CNRS, le CNRTL fédère au sein d’un portail unique, un ensemble de ressources linguistiques informatisées et d’outils de traitement de la langue.
• Le portail de l'action Technolangue, financée dans un cadre interministériel.
• Le livre blanc du GFII sur les applications industrielles
• Principes d'informatique linguistique
• Société Mémodata : dictionnaire et dictionnaire inversé
• Dominique Dutoit : trouver des mots à partir de leur définition
• Les recherches à Xerox
• Les outils unix appliqués à la recherche linguistique
• Un toolkit spécialise dans le NLP en français Voir aussi: Lettria

Liens externes pédagogiques

• Le descriptif du Master (parcours professionnel ou recherche) en Traitement Automatique des Langues à Besançon (Université de Franche-Comté)
• Le cursus de Linguistique Informatique de l'université Paris Diderot (Paris 7)
• Cours de sémantique computationnelle (en anglais)
• Le descriptif de la spécialité « TAL, Dictionnaires, Terminologies, Corpus » du master « Arts, Lettres, Langues et Communication » mention « Sciences du Langage » de Lille 3
• Les cursus « TAL », « Ingénierie Multilingue » et "Traductique et Gestion de l'Information" de l'INALCO (Institut National des Langues et Civilisations Orientales, Paris).
• Le site du Master pluriTAL de Paris-III Sorbonne nouvelle, Paris-X Nanterre et INALCO
• Le descriptif de la spécialité « Industries de la langue » du Master « Sciences du langage » de l'université Stendhal Grenoble 3.
• Le descriptif du master pro Traitement Informatique et Linguistique des Documents écrits (TILDE) de l'université Paris 13
• Le descriptif du master professionnel et recherche de l'université Paris-Sorbonne (Paris 4) en Langue et Informatique (ex master ILGII)
• Le centre de traitement automatique du langage (CENTAL) de l'Université Catholique de Louvain