Procédures expérimentales pour l'évaluation de l'ergonomie dans les interactions homme-machine

Les tests utilisateurs permettent la mise en situation de l'utilisateur afin d'observer et de mesurer ses comportements. Les tests peuvent être réalisés sur un prototype, une maquette et/ou sur un produit fini. Ils donnent aussi la possibilité aux développeurs de détecter des erreurs conceptions auxquelles ils n'auraient pas penser[6].

En amont de la réalisation du produit, les entretiens servent à recueillir les attentes, souhaits et opinions des futurs utilisateurs. Ils mettent également en lumière le profil des utilisateurs. L'évaluateur doit être capable de stimuler les réponses du participant afin de pouvoir détecter une mauvaise compréhension de la question, recadrer le participant s'il s'éloigne du thème de l'entretien[7].

Cette technique permet de recueillir les incidents fréquemment rencontrés par des utilisateurs en amont de la conception ou de la refonte d'un produit. L'utilité de la méthode des incidents critiques est d'identifier les vulnérabilités qui peuvent être liées à des risques et à la sécurité[8].

Le "remue méninges" donne la possibilité d'engendrer un grand nombre d'idée lors de la conception et de la refonte d'un produit. Il permet de définir les caractéristiques importantes ou inutiles d'une interface[9].

Particulièrement utilise dans les domaines hautement spécialisés comme le domaine médical ou financier dans le cadre d'une automatisation des tâches. Cette technique, utilisée en phase de conception d'un produit, rend possible la structuration des informations et des mécanismes de fonctionnements d'une tâche. L'utilisateur explique à son sosie, l'évaluateur, les actions qu'ils réalisent à l’exécution d'une tâche[10].

L'intérêt du Focus group est l'utilisation d'un ou de plusieurs groupes d'utilisateur appartenant à l'utilisateur cible du produit. Ce groupe se compose de 7 à 8 personnes maximum. Le but de cette méthode est de récolter des avis et comportements sur la réalisation d'une tâche[11].

Utilisée en phase de conception d'un produit, cette technique collecte des données sur les actions précises que doit effectuer l'interface par rapport au contexte d'utilisation. Elle aide à diminuer une méconnaissance du domaine d'application du produit (non habituelles, émergentes) et/ou améliorer un produit déjà existant. L'évaluateur observe l'utilisateur dans son travail. Il est aussi amené à poser des questions pour comprendre le déroulement des actions et des stratégies mise en place par l'utilisateur[12].

Le cheminement cognitif nommé en anglais le "Cognitive Walkthrough", est un procédé permettant la reproduction du parcours de l'utilisateur à travers l'interface. Le but étant la vérification de critères d'utilisabilité préalablement définis. L'évaluation peut être faite sur une maquette ou sur un prototype. L'expérience dans l'analyse des interface permet à un évaluateur de bien identifier les éléments ne respectant pas les critères d'utilisabilité. L'évaluateur doit être également capable d'effectuer un profil des utilisateurs finaux afin de créer à travers le contexte d'utilisation de l'interface, des scénarios. de l'interface[13] - [14].

Les évaluations heuristiques sont produites en observant une interface. Cette observation consiste à mettre en avant les bonnes et les mauvaises élaborations de l'interface à travers l'utilisation de règles[15].

Ces règles se basent sur des principes d'utilisabilité. Les principes incluent la simplicité et le naturel des dialogues, l'utilisation de la langue de l'utilisateur, la minimisation du temps de réflexion de l'utilisateur, la solidité de l'interface, la capacité à produire un commentaire, la disposition de points de sortie de l’interface, la faculté à présenter des raccourcis, l'apparition de messages d'erreur correct et la prévention des erreurs[15].

Le nombre d'évaluateurs conseillé est de 3 pour pouvoir détecter une grande majorité des problèmes, le nombre optimal étant de 5 évaluateurs. Leur nombre impaire permet de trancher plus facilement dans le cas d'un résultat de l'évaluation contradictoire entre les évaluateurs[5].

L'utilisateur, après avoir utilisé le produit ou un prototype, dessine des parties des pages explorées définies préalablement par l'évaluateur. La sélection des points à évoquer par l'utilisateur doit être réalisée par un ergonome puisque seul ce type de profil est capable de connaître les mécanisme cognitifs mis en jeu dans la représentation spatiale.

Cette technique permet la connaissance des éléments gardés en mémoire par l'utilisateur et de révéler quels éléments graphiques ont été compris ou non[16].

Grâce à la réalisation d'une tâche bien définie d'un utilisateur cible du futur produit fini tout en exprimant ses raisonnement à hautes voix, ces protocoles donne lieu à une collecte d'informations précises sur le raisonnement et les décisions effectués par l'utilisateur[17].

L'évaluateur est une personne capable de mener un entretien technique (présentation de la consigne, guidage de l'expérience [18])[19].

Le tri de cartes reproduit la représentation d'éléments présents dans l'interface comme des boutons, des titres, des paragraphes, des liens, etc.) sur des feuilles en papier. Les éléments représentant sont choisis avec le plus grand soin selon l'évaluation souhaitée.

Cette méthode peut être utilisée pendant la conception (modéliser l'architecture), le développement (cohérence et fonctionnalités), l'évaluation (identification des problèmes d'ergonomie). Le but est de rassembler en groupe et de nommer ces groupes grâce aux éléments disponibles[20].

L'interprétation des résultats requiert une expérience en analyse de données et en ergonomie afin de comprendre le produit en termes d'utilisabilité[21].

Proche dans son principe de la méthode des protocoles verbaux, la technique du "penser à voie haute" se différencie dans le fait de la nécessité l'interaction d'un produit plus ou moins fini.

Les sujets de l'évaluation sont des futurs utilisateurs [22], connaissant et étant expert de la réalisation de la tâche à l'aide du produit.

Il est recommandé de faire appel à un ergonome ou un psychologue expérimenté dans les protocoles verbaux afin de bien dérouler l'entretien avec le sujet. L'expérimentateur doit également être capable de bien connaître l'utilisateur d'un point de vue cognitif et les causes pouvant le gêner[23] - [14].

Comportant des questions ouvertes, fermées, phrases à compléter, etc., les questionnaires permettent la connaissance des utilisateurs (niveau d'expertise du domaine de l'application, degré de familiarité avec les technologies, composantes socio-démographiques [24], degré de handicap), leurs opinions et avis sur un produit fini ou en cours de réalisation[25].

Dans le but mettre en avant les possibles erreurs, les stratégies de déplacements, de pointage et les comportements des utilisateurs, l'analyse des fichiers log (en anglais Data Log) tracent l'activité de l'utilisateur à travers une interface[25].

Ses fichiers peuvent prendre plusieurs formes comme des captures d'écrans [26], des enregistrements vidéo, des fichiers journalisations [27]

Classic shot of the ENIAC

Les premières évaluations concernaient la fiabilité. Réalisées sur la première génération d'ordinateurs (utilisation de tubes électroniques), elles étaient utilisées pour minimiser les pannes. En effet, les premiers ordinateurs étaient de larges machines composées d'une quantité importante de composants.

On peut citer comme l'un des premiers ordinateurs, l'ENIAC.

Les évaluations étaient accomplies pendant l'utilisation de la machine[30].

Les utilisateurs, ingénieurs et mathématiciens étaient les principaux évaluateurs[31] - [30].

La seconde génération d'ordinateurs (utilisation de transistors) a permis des études portées sur des évaluations appelées des tests de validation. Possédant les connaissances nécessaires (langages de programmation, infrastructures de la machine ) pour utiliser les systèmes, les utilisateurs, des programmeurs et des ingénieurs étaient également les évaluateurs [32].

Ils évaluaient à l'aide de tests d'acceptation si leur machine (comme l'UNIVAC) atteignait les spécifications établies dans le contrat de construction (reformulation nécessaire)[33].

À la fin des années 1960, la troisième génération d'ordinateurs apparaît (utilisation de circuits intégrés). Les ordinateurs deviennent un outil personnel. Ils sont utilisées pour réaliser des tâches qui ne sont pas de la programmation mais de l'édition de textes, consultation de documents, jeux. Les profils des évaluateurs se diversifient et inclus des psychologistes[34]. Les évaluations cherchent à comprendre la vitesse de l'utilisateur à réaliser une tâche[35].

L'apparition des interfaces graphiques portent les évaluations à s'intéresser à l'utilisabilité. Le développement de logiciels utilisables par un utilisateur novice permet un meilleur apprentissage de son utilisation. Différentes méthodes apparaissent pour évaluer l'utilisabilité d'un logiciel: le modèle GOMS, la méthode du "think aloud", l'évaluation heuristique et l'inspection cognitive[34].

L'UX, User Experience est un paradigme pour le design et l'évaluation des interfaces hommes-machines. Il permet de prendre en compte durant la conception d'un logiciel tout ce qui affecte l'interaction entre l'utilisateur et la machine [36].

De nouveaux modèles apparaissent pour satisfaire de nouveaux besoins grâce à l'évaluation de : l'influence de l'esthétique[37], l’aptitude à achever un but comportemental comme l'amusement, la joie ou la dépense physique [38].

• H. Ezzedine, A. Trabelsi, C.D. Tran et C. Kolski, Critères et méthodes d'évaluation des systèmes interactifs, Application à un poste de régulation dans le domaine des transports, Paris, Hermès science publications-Lavoisier, janvier 2012, 213-293 p. (ISBN 978-2-7462-3119-1). 

• (en) A. Whitefield, J. Dowell et F. Wilson, « A framework for human factors evaluation », Behaviour & Information technology, vol. 10, n^o 1,‎ janvier 1991, p. 65-79 (lire en ligne). 

• (en) E.S. Jung et Y. Shin, « Two-handed human reach prediction models for ergonomic evaluation », Human Factors and Ergonomics in Manufacturing & Service Industries, vol. 20,‎ mai/juin 2010, p. 192–201 (ISSN 1520-6564, DOI 10.1002/hfm.20174)

• (en) D.L. Scapin et J.M.C Bastien, « Ergonomic criteria for evaluating the ergonomic quality of interactive systems. », Behaviour & Information Technology, vol. 16, n^o 4,‎ juillet 1997, p. 220-231 (ISSN 0144-929X, DOI 10.1080/014492997119806)

• (en) K. Moumane, A. Idri et A. Abran, « Usability evaluation of mobile applications using ISO 9241 and ISO 25062 standards », SpringerPlus, vol. 5, n^o 1,‎ avril 2016 (DOI 10.1186/s40064-016-2171-z)

• (en) C. Kolski et P. Millot, « A rule-based approach to the ergonomic “static” evaluation of man-machine graphic interface in industrial processes », International Journal of Man-Machine Studies, vol. 35, n^o 5,‎ novembre 1991, p. 657-674 (DOI 10.1016/S0020-7373(05)80182-8)

• P. Salembier, M. Zouinar, C. Mathias, G. Lorant et J-P. Wary, Evaluation ergonomique d'un système d'authentification graphique, 2015 (lire en ligne)

• (en) H.G. Kang et P.H. Seong, « Information theoretic approach to man-machine interface complexity evaluation », IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, vol. 31, n^o 3,‎ mai 2001, p. 163-171 (ISSN 1558-2426, DOI 10.1109/3468.925655)

• F. Aschehoug, La pertinence des modeles et des formalismes de description des interfaces pour l’evaluation ergonomique, 1991 (lire en ligne)

• A. Pollier, Evaluation d'une interface par des ergonomes : Diagnostics et strategies ([Rapport de recherche] RR-1391), février 1991, 1-54 p. (lire en ligne). 

• B. Senach, Evaluation ergonomique des interfaces homme-machine : une revue de la litterature ([Rapport de recherche] RR-118), février 1990 (lire en ligne). 

• S. Balbo, Evaluation ergonomique des interfaces utilisateur : un pas vers l'automatisation, 1994 (lire en ligne)

• (en) H. Purchase, Experimental Human–Computer Interaction : A Practical Guide with Visual Examples, Cambridge, Cambridge university press, 2012, 245 p. (ISBN 978-1-107-01006-2, lire en ligne)

• C. Kolski, Méthodes et modèles de conception et d'évaluation des interfaces hommes-machines, 1995 (lire en ligne)

• G. Melançon, M. Noirhomme-Fraiture et B. Pinaud, Evaluation des interfaces visuelles, 2013 (lire en ligne)

• M. Grislin, C. Kolski et J-C. Angue, Towards an organization of man-machine interface evaluation techniques using a usability grid, 1993 (lire en ligne)

• (en) R. Khajouei, A. Hasman et M.W.M. Jaspers, « Determination of the effectiveness of two methods for usability evaluation using a CPOE medication ordering system », International Journal of Medical Informatics, vol. 80, n^o 5,‎ mai 2011, p. 341-350 (DOI 10.1016/j.ijmedinf.2011.02.005)

• (en) A. Holzinger, « Usability engineering methods for software developers », Communications of the ACM, vol. 48, n^o 1,‎ janvier 2005, p. 71-17 (ISBN 9788578110796, DOI 10.1145/1039539.1039541)

• (en) M. Tyllinen, J. Kaipio, T. Lääveri et M. Nieminen, « We Need Numbers! - Heuristic Evaluation during Demonstrations (HED) for Measuring Usability in IT System Procurement », ACM,‎ novembre 2016, p. 341-350 (DOI 10.1145/2858036.2858570)

• (en) T. Hollingsed et D. Novick, « Usability inspection methods after 15 years of research and practice », SIGDOC '07 Proceedings of the 25th annual ACM international conference on Design of communication,‎ octobre 2007, p. 249-255 (ISBN 978-1-59593-588-5, DOI 10.1145/1297144.1297200)

• (en) C.M MacDonald et M. E. Atwood, « Changing perspectives on evaluation in HCI: past, present, and future », CHI '13 Extended Abstracts on Human Factors in Computing Systems,‎ mai 2013, p. 1969-1978 (ISBN 978-1-4503-1952-2, DOI 10.1145/2468356.2468714)

• (en) D. Quiñones et C. Rusu, « How to develop usability heuristics: A systematic literature review », Computer Standards & Interfaces, vol. 53,‎ août 2017, p. 89-122 (ISSN 0920-5489, DOI 10.1016/j.csi.2017.03.009)

• (en) S. Hermawati et G. Lawson, « Establishing usability heuristics for heuristics evaluation in a specific domain: Is there a consensus ? », Applied Ergonomics, vol. 56,‎ septembre 2016, p. 34-51 (ISSN 0003-6870, DOI 10.1016/j.apergo.2015.11.016)

• (en) S. Winter, S. Wagner et F. Deissenboeck, « A comprehensive model of usability », Engineering Interactive Systems: EIS 2007 Joint Working Conferences, EHCI 2007, DSV-IS 2007, HCSE 2007. Springer, 2008,‎ décembre 2016 (DOI 10.1007/978-3-540-92698-6_7, arXiv 1612.04598)

• (en) P. Salembier, M. Zouinar, R. Héron, C. Mathias, G. Lorant et J-P. Wary, « Experimental studies of a graphical authentication system based on semantic categorisation », Actes de la 28ième conférence francophone sur l'Interaction Homme-Machine,‎ octobre 2016 (ISBN 9781450342438, DOI 10.1145/3004107.3004121)

• T. Baccino, C. Bellino et T. Colombi, Mesure de l'utilisabilité des interfaces, Paris, Lavoisier, février 2005, 280 p. (ISBN 2-7462-1026-6)

• (en) M.J. Aamir et A. Mansoor, « Testing Web Application from Usability Perspective », Computer, Control & Communication (IC4), 2013 3rd International Conference on,‎ novembre 2013 (ISBN 9781467358859, DOI 10.1109/IC4.2013.6653765)

• (en) S. Riihiaho, Experiences with usability testing : Effects of thinking aloud and moderator presence, avril 2015 (ISBN 978-952-60-6227-3, lire en ligne)

• (en) J. Kaye et P. Sengers, « The Evolution of Evaluation », CHI '07 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,‎ mai 2007 (ISBN 978-1-59593-593-9, DOI 10.1145/1240624.2180962)

• (en) B.W. Pollard, « The design, construction, and performance of a large-scale general-purpose digital computer », IEEE Conference Publications,‎ décembre 1951 (DOI 10.1109/AFIPS.1951.12)

• (en) J.L. McPherson et S.N. Alexander, « Performance of the census UNIVAC system », Managing Requirements Knowledge (AFIPS), 1951 International Workshop on,‎ décembre 1951 (DOI 10.1109/AFIPS.1951.10)

• (en) R.S. Nickerson, « Man-Computer Interaction: A Challenge for Human Factors Research », IEEE Transactions on Man-Machine Systems, vol. 10, n^o 4,‎ décembre 1961, p. 34-51 (ISSN 0536-1540, DOI 10.1109/TMMS.1969.299924)

• (en) W.K. English, D.C. Engelbart et M.L. Berman, « Display-Selection Techniques for Text Manipulation », Display-Selection Techniques for Text Manipulation, vol. HFE-8,‎ mars 1967, p. 5-15 (ISSN 0096-249X, DOI 10.1109/THFE.1967.232994)

• (en) N. Tractinsky, A.S. Katz et D. Ikar, « What is beautiful is usable », Interacting with Computers, vol. 13, n^o 2,‎ décembre 2000, p. 127-145 (ISSN 0953-5438, DOI 10.1016/S0953-5438(00)00031-X)

• (en) E.A. Gruenfeld, S.E. Zagarins, A.P. Walker et S.S. Skinner, « Fun and Fit: Evaluation of a Pediatric Exercise Program », Journal of Pediatric Nursing, vol. 28,‎ novembre/décembre 2013, p. 557-562 (ISSN 0882-5963, DOI 10.1016/j.pedn.2013.02.033)

• (en) J. Nielsen et R. Molich, « Heuristic evaluation of user interfaces », CHI '90 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,‎ mars 1990, p. 249-256 (ISBN 0-201-50932-6, DOI 10.1145/97243.97281)

• (en) J. Nielsen, « Applying discount usability engineering », IEEE Software,‎ janvier 1995, p. 98-100 (DOI 10.1109/52.363161)

• (en) A. Dhouib, A. Trabelsi, C. Kolski et M. Neji, « A classification and comparison of usability evaluation methods for interactive adaptive systems », Human System Interactions (HSI),‎ juillet 2016, p. 246-251 (ISBN 978-1-5090-1729-4, DOI 10.1109/HSI.2016.7529639)

• (en) A. Dix, J. Finlay, G.D. Abowd et R. Beale, Human-computer Interaction, janvier 1998, 0-862 p. (ISBN 0-13-046109-1)
  3eme édition

• (en) J. Karat, Handbook of human-computer interaction, 1988 (DOI 10.1016/0001-6918(90)90019-C)

• (en) K.A. Ericsson et H.S Simon, « Verbal Reports as Data », Psycological Review, vol. 87, n^o 3,‎ mai 1980, p. 215-251 (DOI 10.1037/0033-295X.87.3.215)

• (en) K.M. Lewis et P. Hepburn, « Open card sorting and factor analysis: a usability case study », The Electronic Library, vol. 28, n^o 3,‎ juin 2010, p. 401-416 (ISSN 0264-0473, DOI 10.1108/02640471011051981)

• (en) R. Pakdel, N. Ithnin et M. Hashemi, « CAPTCHA: A Survey of Usability Features », Research Journal of Information Technology, vol. 3, n^o 4,‎ 2011, p. 215-228 (ISSN 1815-7432, DOI 10.3923/rjit.2011.215.228)

• (en) M. Gray, A. Badre et M. Guzdial, « Visualizing usability log data », Information Visualization '96, Proceedings IEEE Symposium on,‎ octobre 1996, p. 93-130 (ISBN 0-8186-7668-X, DOI 10.1109/INFVIS.1996.559227)

• (en) J. Boase et R. Ling, « Measuring Mobile Phone Use: Self-Report Versus Log Data », Journal of Computer-Mediated Communication, vol. 18, n^o 4,‎ octobre 1996, p. 508-519 (ISSN 1083-6101, DOI 10.1111/jcc4.12021)

• Projet:Informatique 2.0