Automated Similarity Judgment Program (ASJP)

L'ASJP a été créé à l'origine comme moyen d'évaluation de la ressemblance entre mots de même signification dans différentes langues, avec comme objectif la classification informatique, basée sur les ressemblances lexicales observées. Dans la première publication[2] deux mots identiques sémantiquement dans une comparaison entre langues étaient jugés similaires s'ils avaient en commun deux segments phonétiques identiques. Le degré de similarité entre deux langues était calculé comme le pourcentage de mots jugés similaires par rapport à l'ensemble de l'échantillon. Cette méthode a été appliquée à une liste de 100 mots dans 250 langues des familles suivantes : austroasiatique, indo-européenne, maya, et muskogéenne.

Le Consortium ASJP a été fondé en 2008. Il a pour but de faire participer vingt-cinq linguistes professionnels et autres parties intéressées, en tant que bénévoles, pour la transciption de mots ou toute autre activité contribuant au projet. La principale contribution est venue de Cecil H. Brown. Søren Wichmann est le curateur du projet et assure son fonctionnement au jour le jour. Un troisième membre important du consortium est Eric W. Holman, qui a programmé l'essentiel du logiciel du projet.

La liste de mots utilisée au départ était basée sur la version courte (100 mots) de la liste de Swadesh. Ultérieurement, il s'est avéré par recherche statistique qu'un extrait de 40 des 100 mots donne des résultats équivalents, si ce n'est meilleurs, que la liste complète[7]. Depuis, les listes de mots rassemblées dans les différentes langues ne contiennent plus que 40 mots, et même moins dans certaines langues pour lesquelles ces mots sont insuffisamment documentés.

Dans ses publications depuis 2008, ASJP a utilisé un programme d'appréciation de la similarité basé sur la distance d'édition de Levenshtein. Cette approche a donné de meilleurs résultats en termes de classification des langues que l'approche initiale fondée sur l'avis d'experts. La distance d'édition est définie comme le nombre minimal d'opérations d'édition nécessaires pour convertir un mot en un autre. Une opération d'édition est soit l'insertion d'un symbole, soit la suppression d'un symbole, soit la substitution d'un symbole par un autre. Les différences entre longueurs de mot peuvent être neutralisée en normalisant par la longueur du mot le plus long, ce qui donne la distance d'édition normalisée.

Une distance d'édition normalisée et divisée entre deux langues est calculée en divisant la distance d'édition normalisée moyenne pour toutes les paires de mots ayant la même signification par la moyenne des distance d'édition normalisée de toutes les paires de mots de significations différentes. Cette seconde normalisation a pour but de corriger les résultats de similarités dues au hasard[8].