Accueil🇫🇷Chercher

DĂ©fi fouille de texte

DEFT ou Défi fouille de texte est une campagne d'évaluation scientifique francophone portant sur la fouille de textes. Le défi est organisé depuis 2005 par des chercheurs du LRI (Laboratoire de Recherche en Informatique, Orsay) et du LIRMM (Laboratoire d'informatique, de robotique et de microélectronique de Montpellier), puis du LIMSI (Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur, CNRS) dès 2007 avec le soutien du consortium European Language Resources Association (ELDA/ELRA) (en).

Historique

L'intérêt d'une campagne d'évaluation est de permettre de confronter, sur un même corpus, des méthodes et logiciels d'équipes différentes. L'atelier d'évaluation DEFT propose chaque année depuis sa création des thèmes relevant de la fouille de textes en langue française. Ainsi les objectifs sont de fédérer les équipes de recherches francophones en fouille de textes et de mettre des corpus étiquetés à la disposition de la communauté scientifique.

Lors de cette conférence, des corpus de textes de provenances très variées (journal Le Monde, débats de l'Assemblée Nationale, sites internet éditoriaux, Wikipédia) sont assemblés et soumis aux laboratoires participants aux défi. Une thématique de recherche d'information particulière est proposée : reconnaître dans des phrases mélangées l'auteur d'un discours politique (campagne 2005), ou encore détecter une opinion bonne, neutre ou mauvaise dans des documents (campagne 2007), en plus multi-langue (campagne 2009).

Reprenant le principe des conférences nord américaines (notamment TREC Novelty)[1], cette campagne francophone réunit chaque année depuis ses débuts une dizaine de laboratoires participants qui proposent des solutions algorithmiques originales pour tenter de répondre à la problématique proposée.

Des mesures de performances (précision, rappel, F-score) sont réalisées sur les résultats fournis, et permettent de dégager un classement des systèmes proposées par les participants. Un classement jeune chercheurs est également proposé pour les contributions d'équipes composées de doctorants (ou docteurs de moins d'un an).

Les retombées de ce type de campagnes sont nombreuses dans le domaine de l'industrie du service et la recherche d'information (moteurs de recherche spécifiques, fouille de texte, classification automatique). Les corpus créés pour ces campagnes, lorsqu'ils sont libres de droits, sont librement téléchargeables depuis le portail (certains après signature préalable d'un accord). L'édition 2008 a fait l'objet d'un package rassemblant les corpus, les scripts d'évaluation, les articles des participants et le site web, commercialisé par ELDA.

Campagnes

2005
  • DEFT'05 (Dourdan) TALN Recital 2005, identification du locuteur d'un discours.
  1. Classement :

2006
  1. Classement :
    • 1er LIMSI ;
    • 2e CLIPS-IMAG;
    • 3e Laboratoire GRDS.

2007
  • DEFT'07 (Grenoble) AFIA 2007, dĂ©tection de l'opinion exprimĂ©e dans un texte, quatre corpus, deux Ă  trois classes (positif, neutre, nĂ©gatif) par corpus.
  1. Classement :
    • 1er Laboratoire Informatique d'Avignon (LIA) - UAPV, F-mesure = 0,602 ("Ă  voir Ă  lire"), 0,784 ("jeux vidĂ©o"), 0,564 (relectures), 0,719 (dĂ©bats) ;
    • 2e EPHE-CNRS et Universität WĂĽrzburg, F-mesure = 0,599 ("Ă  voir Ă  lire"), 0,699 ("jeux vidĂ©o"), 0,507 (relectures), 0,681 (dĂ©bats) ;
    • 3e SociĂ©tĂ© CELI France, F-mesure = 0,513 ("Ă  voir Ă  lire"), 0,706 ("jeux vidĂ©o"), 0,536 (relectures), 0,697 (dĂ©bats).
  2. Classement « jeunes chercheurs » :
    • 1er LIP6, F-mesure = 0,542 ("Ă  voir Ă  lire"), 0,659 ("jeux vidĂ©o"), 0,427 (relectures), 0,676 (dĂ©bats) ;
    • 2e Laboratoire Informatique d'Avignon (LIA) - UAPV, F-mesure = 0,504 ("Ă  voir Ă  lire"), 0,457 ("jeux vidĂ©o"), 0,469 (relectures), 0,553 (dĂ©bats) ;
    • 3e Laboratoire Lattice, F-mesure = 0,392 ("Ă  voir Ă  lire"), 0,536 ("jeux vidĂ©o"), 0,437 (relectures), 0,582 (dĂ©bats).

2008
  1. Classement tâche 1 (identifier le genre et le thème d'un texte) :
  2. Classement tâche 2 (identification du thème uniquement - cinq classes France/international/littérature/sciences/société - d'un texte) :

2009
  • DEFT'09 (Paris) 2009, Analyse multilingue d'opinion.
  1. Classement tâche 1 (détection du caractère objectif/subjectif global d'un texte en corpus presse (Le Monde, The Financial Times, Il Sole 24 Ore) - deux classes : objectif/subjectif) :
    • Anglais (trois participants)
      • 1er UCL (UniversitĂ© Catholique de Louvain), Belgique, F-mesure = 0,851 ;
      • 2e Laboratoire UKP (Ubiquitous Knowledge Processing lab), Darmstadt, Allemagne, F-mesure = 0,822 ;
      • 3e Laboratoire CHArt-EPHE/CNRS (Cognition Humaine et Artificielle), France, F-mesure = 0,676.
    • Français (cinq participants)
      • 1er UCL (UniversitĂ© Catholique de Louvain), Belgique, F-mesure = 0,925 ;
      • 2e LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,850 ;
      • 3e EBSI (École de bibliothĂ©conomie et des sciences de l'information), MontrĂ©al, Canada, F-mesure = 0,781.
    • Italien (un participant)
      • 1er Laboratoire CHArt -EPHE/CNRS (Cognition Humaine et Artificielle), France, F-mesure = 0,716.
  2. Classement tâche 2 (détection des passages subjectifs d'un texte en corpus presse et en corpus parlementaire - deux classes : objectif/subjectif), deux participants, constitution de la référence a posteriori par le recouvrement des soumissions des deux participants :
    • Corpus presse
      • 1er LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,863 ;
      • 2e LIPN (Laboratoire d'Informatique Paris Nord), F-mesure = 0,777.
    • Corpus parlement europĂ©en
      • 1er LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,909 ;
      • 2e LIPN (Laboratoire d'Informatique Paris Nord), F-mesure = 0,799.
  3. Classement tâche 3 (détermination du parti politique européen d'appartenance d'un orateur en corpus parlementaire - cinq classes : Verts-ALE, GUE-NGL, PSE, ELDR, PPE-DE), un seul participant :
    • 1er EBSI (École de bibliothĂ©conomie et des sciences de l'information), MontrĂ©al, Canada, F-mesure = 0,339.

2010
  • DEFT'10 (MontrĂ©al) TALN-RECITAL 2010, Étude de la variation diachronique et diatopique du français : identification de la pĂ©riode et du lieu de publication d'articles de presse.
  1. Classement tâche 1 (identification de la décennie de publication d'un article de presse, quinze classes : 1800/1810/1820 ... 1930/1940, six participants) :
    • 1er : LIMSI (Laboratoire d'Informatique pour la MĂ©canique et les Sciences de l'IngĂ©nieur), F-mesure = 0,338 ;
    • 2e : Laboratoire Informatique d'Avignon - UAPV , F-mesure = 0,294 ;
    • 3e : CLUL (Centro de LinguĂ­stica da Universidade de Lisboa), F-mesure = 0,183 ;
    • F-mesure moyenne = 0,193 - F-mesure mĂ©diane = 0,181.
  2. Classement tâche 2 (identification du pays - deux classes : France/Québec - et du journal - quatre classes : L'Est Républicain/Le Monde/La Presse/Le Devoir - de parution d'un article de presse, cinq participants) :
    • 1er : Laboratoire Informatique d'Avignon - UAPV
      • Piste 1 - identification du pays : F-mesure = 0,932 ;
      • Piste 2 - identification du journal : F-mesure = 0,741.
    • 2e : CLUL (Centro de LinguĂ­stica da Universidade de Lisboa)
      • Piste 1 - identification du pays : F-mesure = 0,858 ;
      • Piste 2 - identification du journal : F-mesure = 0,630.
    • 3e : Lutin (Laboratoire Usage et Technologie de l'Information)
      • Piste 1 - identification du pays : F-mesure = 0,762 ;
      • Piste 2 - identification du journal : F-mesure = 0,424.
    • F-mesure moyenne = 0,767 (pays) - 0,489 (journaux) - F-mesure mĂ©diane = 0,792 (pays) - 0,462 (journaux).

2011
  • DEFT'11 (Montpellier) dans le cadre de la confĂ©rence TALN-RECITAL 2011, Étude de la variation diachronique en corpus de presse francophone et appariement d'un article scientifique avec son rĂ©sumĂ©.

2012
  • (Grenoble, France, TALN 2012) : identification automatique des mots-clĂ©s indexant le contenu d'articles scientifiques ayant paru en revues de Sciences Humaines et Sociales, avec l'aide de la terminologie des mots-clĂ©s (piste 1), sans terminologie (piste 2).

2013
  • (Les Sables-d'Olonne, France, TALN 2013) : identification du niveau de difficultĂ© de rĂ©alisation d'une recette, identification du type de plat prĂ©parĂ©, appariement d'une recette avec son titre, identification des ingrĂ©dients d'une recette.

2014
  • 2014 (Marseille, France, TALN 2014) : catĂ©goriser le genre littĂ©raire de courtes nouvelles, Ă©valuer la qualitĂ© littĂ©raire de ces nouvelles, dĂ©terminer si une Ĺ“uvre fait consensus, dĂ©terminer la session scientifique dans laquelle un article de confĂ©rence a Ă©tĂ© prĂ©sentĂ©.

2015
  • 2015 (Caen, France, TALN 2015) : fouille d'opinion, de sentiment et d'Ă©motion dans des messages postĂ©s sur Twitter.

Références
  1. Violaine Prince, Yves Kodratoff. Le Défi fouilles de textes : quels paradigmes pour la reconnaissance d'auteurs ?. Revue des Nouvelles Technologies de l'Information, Hermann, 2008 - La création du DéfiFouille de Textes, inspiré au départ de la tâche Novelty de TREC, a en réalité pour objectif principal de permettre aux chercheurs du monde francophone de confronter leurs travaux avec un problème, beaucoup plus que de primer une équipe, une méthode, ou un outil]

Voir aussi

Articles connexes

Liens externes


Cet article est issu de wikipedia. Text licence: CC BY-SA 4.0, Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.