Michael Scriven

Michael Scriven est très tôt une figure centrale de la théorie de l’évaluation, et en particulier de sa définition. Pour lui, l’évaluation de programme n’est pas différente au fond du processus mental de l’évaluation, que mènent les êtres humains à chaque instant de leur vie. En 1967, il écrit ainsi que « l’évaluation est une activité logique qui est essentiellement similaire selon que nous évaluons des machines à café, des machines à enseigner, des plans pour une maison ou des plans pour un programme de formation. Cette activité consiste simplement à réunir et à combiner des données portant sur la performance [d’une intervention] avec un ensemble d’objectifs pondérés pour obtenir une notation comparative ou numérique »[4] - [5]. Ce faisant, et à une époque où le débat sur l’évaluation est essentiellement porté par les questions de méthode, Michael Scriven place l’évaluation d’abord comme une pratique consistant à déterminer la valeur d’une intervention, et donne à l’évaluateur/rice un rôle clé pour donner à voir les valeurs qui sous-tendent l’évaluation[6]. Il se situe ainsi aux antipodes de la démarche d’un Donald Campbell, autre acteur influent de la fin des années 1960.

L’évaluation est ainsi le « processus de détermination du mérite, de la valeur (worth) ou de la valeur (value) de quelque chose »[7]. Les critères viennent donc en premier : « “Le type d’évaluation le plus commun implique de déterminer des critères de mérite (généralement à partir d’une évaluation des besoins), de poser des standards de performance … et de déterminer la performance” (p. 117) par une mesure, avant de synthétiser les résultats dans un jugement de valeur »[8]. In fine, il s’agira de dire si le programme est « bon » ou « mauvais »[6].

Ce processus est essentiel à la société pour pouvoir faire des choix, mais c’est aussi un processus difficile, dans la mesure où il est difficile de définir les critères appropriés pour établir ce jugement. L’évaluateur est ainsi un professionnel de la valuation, qui peut aboutir à une vision objective des choses, et notamment de la capacité des interventions publiques à répondre aux besoins de la société et des individus. Encore faut-il ne pas succomber à un biais d’empathie, ou aux pressions subies dans le processus évaluatif[7].

Si le but de l’évaluation est toujours, pour Scriven, de déterminer la valeur (est-ce que l’intervention évaluée est bonne ou mauvaise, in fine?), elle peut en revanche avoir énormément de rôles différents.

Michael Scriven introduit ainsi en 1967 la différence entre une évaluation formative et une évaluation sommative[4]. La première arrive plutôt en cours d’intervention ; elle pointe la progression actuelle vers les buts qui lui ont été donnés, et vise avant tout à améliorer l’intervention évaluée. La seconde vise, à un moment donné, à se positionner pour dire si ce type d’intervention « marche » ou pas, au regard de ses objectifs initiaux, et donc s’il faut envisager de la maintenir, de l’étendre ou de l’annuler. Ces deux évaluations ne sont pas antinomiques, au contraire : une démarche d’évaluation formative représente un bon moyen pour avoir de bons résultats lors de l’évaluation sommative. En revanche, les deux évaluations ne peuvent pas être menées par la même personne : celui ou celle qui mène une évaluation formative doit développer une connaissance intime du sujet de l’intervention, et faire siens ses objectifs. « Mais une fois qu’ils se sont identifiés à ces objectifs, émotionnellement comme économiquement, ils perdent quelque chose de fort important pour une évaluation objective - leur indépendance […] ils doivent donc bien sûr s’exclure de tout jugement [sommatif] »[4].

Chez Michael Scriven, l’évaluateur ou l’évaluatrice professionnelle a donc un rôle particulièrement important pour déterminer la valeur d’une intervention. C’est ce qui l’amène à formuler une proposition qui peut sembler paradoxale par rapport à ce qui précède : pour lui, les objectifs (ou les effets attendus de l’intervention) ne doivent pas avoir un statut particulier par rapport à l’ensemble des effets possibles d’une intervention. L’évaluation devrait porter sur les effets effectifs (actual effects), à comparer aux besoins démontrés (demonstrated needs), et c’est à celui ou celle qui évalue de choisir les effets sur lesquels l’évaluation devrait se concentrer, qu’ils aient été anticipés ou non[9].

C’est ce qu’il appelle goal-free evaluation (GFE) ou « évaluation affranchie des objectifs[10] », une approche dans laquelle l’évaluateur ne connaît pas les objectifs de la politique qu’il évalue, ce qui doit lui permettre de se concentrer sur ce que produit effectivement l’intervention, plutôt que sur ses motivations initiales ou sur sa théorie sous-jacente. Pour certains auteurs, la GFE peut être comparée dans sa logique à la Théorie ancrée, sa contemporaine, en ce que la recherche devrait être conduite depuis le terrain et sans présupposés théoriques préalables[10].

Pour Michael Scriven, la GFE est plutôt une évaluation formative : elle permet d’améliorer l’intervention évaluée en fournissant des informations sur ses conséquences effectives, là où les gestionnaires du projet visent avant tout à atteindre leurs objectifs. Elle doit donc plutôt être prévue en cours de mise en œuvre, et est en réalité complémentaire d’une évaluation portant sur les objectifs.

Si l’évaluation de programme n’est pas plus répandue, selon Michael Scriven, ce n’est pas tant pour sa difficulté que parce qu’elle est largement rejetée par le monde de la recherche et les pouvoirs publics. Même si l’évaluation porte sur une intervention et pas sur ceux qui la conçoivent et la mettent en œuvre, personne n’aime être évalué.

Scriven a longtemps vu cette attitude comme un problème, notamment de partage du pouvoir (l’évaluation venant « prendre » une parcelle de pouvoir aux décideurs, en particulier lorsqu’elle montre qu’ils sont faillibles)[7]. Pourtant, alors que l’évaluation devient dans les années 1990 et 2000 une démarche de plus interactive, voire participative, force est de constater que le processus évaluatif produit une « anxiété évaluative » d’autant plus forte que les parties prenantes sont amenées à échanger avec les évaluateurs plus souvent que dans le passé.

L’anxiété évaluative n’est pas forcément tant provoquée par l’évaluation des politiques publiques que par les démarches de performance liées à la nouvelle gestion publique, allant de la mesure de l’activité à l’évaluation des ressources humaines[11]. Mais elle a des conséquences spécifiques dans le cadre de l’évaluation de programme. Ainsi, face à une anxiété évaluative trop forte, les évaluateurs ou évaluatrices peuvent ne plus vouloir proposer de jugements (des conclusions d’évaluation) et se limiter à un travail descriptif, qui ne déclenchera pas de réaction négative, mais n’aura pas non plus d’intérêt évaluatif. Il faut donc étudier les caractéristiques antérieures à l’évaluation (dispositions propres des personnes, culture organisationnelle ou normes sociales), et développer des stratégies pour gérer l’anxiété évaluative[12].

Sans qu’il s’agisse de l’apport pour lequel il est le plus célébré, Michael Scriven s’est également tourné vers les questions de causalité. Il rejette largement les approches de type Méthode expérimentale par assignation aléatoire (Randomised controlled trial), dont il a connu à la fois le développement avec Donald Campbell, le déclin puis le retour sur le devant de la scène avec la Politique basée sur des données probantes (evidence-based policy)[13]; il en a d’ailleurs proposé une évaluation sommative[14].

L’approche que préconise Michael Scriven est plutôt basée sur la logique. Pour lui, pour tout évènement, il est possible d’établir une liste des causes possibles (List of possible causes, LOPCs). Chacune de ces causes possibles a un modus operandi (MO), c’est-à-dire un enchaînement de causes et de conditions (une Théorie du changement, même si M. Scriven n’utilise pas ce terme), et cet enchaînement est traçable. Il propose ensuite une « méthode d’élimination générale » (General Elimination Method, ou GEM), dans laquelle il teste chacune de ces causes possibles pour les écarter, et ne garder que celles qui sont suffisamment plausibles[14].

Un exemple de l’usage de cette méthode lorsqu’il est très difficile d’estimer les conséquences directes de l’intervention évaluée a été proposé par Michael Q. Patton, pour l’évaluation d’un programme de plaidoyer[15].

Cette pratique exigeante de l’évaluation que propose Michael Scriven en fait bien plus qu’une « application des méthodes de recherche en sciences sociales » aux politiques publiques. Pour lui, l’évaluation est une transdiscipline, au sens où elle est « un élément essentiel de toutes les autres disciplines académiques [...] Ce n’est que depuis peu qu’il a été possible de dire que l’évaluation était une discipline autonome aussi »[16].