MaTeLo

Le modèle graphique de MaTeLo est basé sur les chaînes de Markov pour permettre la conception de modèles. Un ensemble de transitions, chacune séparée par des états, est utilisé pour représenter le système et son environnement en termes d'exigences fonctionnelles (et/ou non fonctionnelles). Chaque élément du modèle comporte une courte zone de texte qui lui est associée, décrivant brièvement l'état ou l'action effectuée sur le système à un point spécifique. Certaines transitions sont conditionnelles et aiguillent les parcours en fonction des classes d'équivalences tirées précédemment selon des règles de gestion du système.

Le modèle MaTeLo peut représenter les actions et vérifications pour tester un système, vues comme un utilisateur d'un site Web ou d'un régulateur de vitesse par exemple. Le modèle peut être aussi une représentation graphique de la combinatoire possible entre les classes d'équivalences des variables, où chaque état représente, une classe d'équivalence, et où ses transitions indiquent les possibles dépendances et probabilités avec d'autres classes d'équivalences. Cette dernière représentation est utile pour modéliser les stimulations d'un environnement complexe composées de multiples paramètres et classes d'équivalence liées, comme celui des véhicules autonomes ou bien de transactions bancaires par exemple, afin de pouvoir générer un ensemble de combinatoires cohérent.

Les états peuvent se transformer en macro états où sont associés des macro chaînes représentant un sous processus lui-même composé d'états, macro état, transitions et conditions.Cette représentation hiérarchique participe à la réutilisation et à la lisibilité du modèle.

MaTeLo gère nativement un dictionnaire de données permettant de stimuler ou calculer l'Oracle de Test (en) système sous test. Les données sont décomposables en Classe d'équivalence numériques avec différents intervalles numériques, ou bien en classes discrètes représentant les possibles sous-états d'une variable. Les données sont associées sur les transitions du modèle par glissé-déplacé où elles sont instanciées et valorisées par l'utilisateur. Les valorisations peuvent être numériques, textuelles, gaussiennes, distribuées aléatoirement selon les fréquences d'usages ou de risques, ou bien calculées par les fonctions de traitements.

Afin de calculer dynamiquement les stimulations ou les résultats attendus en fonction de données précédemment tirées sur une transition, MaTeLo propose un ensemble de fonction de traitement des données. Les fonctions peuvent être mathématiques, de traitement de caractère, ou bien utilisant directement la syntaxe des formules Microsoft Excel.

Les fonctions de traitement instanciées proposent un ensemble dynamique de tableaux de données de test pouvant être créés, triés, calculés, filtrés, enregistrés, etc. tout le long de la vie de la suite de test. Ces tableaux peuvent être aussi chargés depuis des bases de données existantes comme Microsoft Excel, Oracle Database, IBM Db2, etc.

Grâce à ces fonctions de traitement glissées-déposées sur les modèles, il est possible de créer à la volée tout jeu de données avec oracle de test complexe comme des ordres de bourses, des données d'environnement d'un véhicule autonome, ou bien des transactions de terminaux de paiements ou plus simplement toutes données d'un formulaire d'une application.

Les exigences sont gérées sous formes d'arborescence, dossier et groupes conformément au format Requirements Interchange Format (en). Les exigences sont associables au modèle au niveau de leur transition, stimulation, vérification, input, output, attribut, ou classe d'équivalence. Lors des générations, des indicateurs donnent le pourcentage de couverture des exigences vis-à-vis des suites de test générées. Des rapports de couverture sont générés montrant la matrice des exigences vers les suites de test, ou inversement les suites de test vers les exigences.

Ces opérations sont dédiées à la génération off-line de scripts pour l'automatisation. Des plates-formes de test peuvent être créées afin de transformer les suites de test générées en ensemble de fichiers pouvant automatiser les automates de test. Le format de sortie est configurable par l'utilisateur et permet de créer tout type de script, ou code exécutable, comme du Selenium, Java, Eggplant, UFT, python, XML, etc. Les opérations de test représentent une partie du script à générer ou un mot clé action, et sont paramétrables avec les données du modèle MaTeLo.

MaTeLo permet d’exécuter directement les campagnes de test sans avoir recours à des technologies d'automatisation tierces. Des fonctions de traitements sont dédiées à l'automatisation on-line. Ces fonctions insérées dans le modèle, permettent pendant la génération des suites de test d'exécuter la campagne de test directement sur le système à tester et d'adapter les chemins ou données de test en fonction de l'état du système sous test. Il n'y a ni code ni script pour manipuler ces fonctions. Les librairies d'automatisation fournies en standard avec MaTeLo sont :

• SeleniumRunner, qui permet d'automatiser tout navigateur Web depuis tout OS
• GUIRunner, technologie à base de reconnaissance d'images et de caractère qui permet d'automatiser toute application client lourd, léger, application console, sur tout OS ou smartphone
• RestRunner, qui permet d'automatiser les Web services Rest
• SoapRunner, qui permet d'automatiser les Web services Soap
• SCANeR Runner, qui permet d'automatiser l'outil de simulation 3D AV Simulation SCANeR pour le test des véhicules autonomes

En intégrant plusieurs de ces technologies dans un même modèle, il devient possible de réaliser des tests de bout en bout qui mettent en œuvre des systèmes d'information répartis sur plusieurs technologies.

Cet algorithme génère de façon déterministe le chemin le plus court afin de parcourir l'ensemble des transitions et conditions du modèle. Sa base mathématique repose sur le problème du postier chinois.

Algorithme de test statistique qui permet de générer les tests avec des parcours et combinatoires correspondant aux fréquences d'usage ou de risques des transitions et classes d'équivalence saisies dans le modèle.

Algorithme user oriented permettant de filtrer les nouvelles suites de test générées qui n'apportent pas de gain en termes de nouvelle transition couverte, classe d'équivalence, ou nouveau chemin. Cet algorithme permet d'éliminer les doublons et de converger rapidement vers un objectif de test.

Algorithme déterministe qui génère en priorité les transitions et classes d'équivalence avec le chemin le plus probable, puis déduit un taux de décroissance sur la classe d'équivalence ou transition courante pour l'ajouter sur les autres transitions et classes d'équivalence afin d'avoir plus de chance d'accéder aux autres parties du modèle. Les suites de test générées sont les plus probables en premier, puis les moins probables.

Algorithme qui permet de générer tous les chemins du modèle.

Pattern de modèle mettant en œuvre l'échantillonnage de Gibbs pouvant être couplé à d'autres algorithmes de génération permettant de générer un échantillon de combinatoires convergeant géométriquement vers la distribution stationnaire du système et limitant le nombre de doublons.

Les Cas de Test (en) représentent l'entité de séquence de pas de test réutilisable au sein des suites de test. À chaque modèle MaTeLo correspond un ensemble de Cas de Test (en) mis à jour et nommé automatiquement pendant l'édition du modèle. Les Cas de Test (en) sont composés de pas de tests, eux-mêmes décomposés en stimulations et vérification valorisées.

Les suites de test (en) sont générées grâce aux Algorithmes de génération. Elles sont composées des cas de test et décrivent un parcours applicatif appelé aussi scenario de test (en). Les Cas de Test (en) sont visualisables graphiquement et exportables en html, pdf, Microsoft Word, Microsoft Excel.

Les suites de test (en) sont transformables en scripts de test. Elles sont construites à partir des opérations de test présentes dans le modèle qui décrivent chacune une portion du script à générer. Ces scripts sont paramétrables avec les données du modèle. Ces scripts sont ensuite exécutés en dehors de MaTeLo dans un banc de test qui gère la campagne. C'est le mode off-line du Model-Based Testing. Les scripts générés peuvent être par exemple du XML, Selenium, CSV, Java, C#, Bash, TestStand, Canoe, etc.

Le mode Model-Based Testing On-Line de MaTeLo permet grâce à ses fonctions d'automatisation incluses, d'exécuter la campagne, de calculer le verdict et de détecter automatiquement les anomalies du système sous test.

MaTeLo dispose d'explorateurs temps réels permettant de synchroniser les modèles et le référentiel généré avec les principaux ALMs du marché. MaTeLo dispose de sa propre base de données permettant de partager les modèles et de faire du travail collaboratif au sein des organisations. Le référentiel synchronisé concerne les exigences, Cas de Test (en), suites de test (en), script, données de test, et résultat de campagne.