Navigation – Plan du site
Notes de lecture
Histoire, sociétés

Pascal Pansu, Nicole Dubois, Jean-Léon Beauvois, Dis-moi qui te cite et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ?

Grenoble, Presses universitaires de Grenoble, coll. Points de vue et débats scientifiques, 2013, 127 pages
Claire Peltier
p. 287-289
Référence(s) :

Pascal Pansu, Nicole Dubois, Jean-Léon Beauvois, Dis-moi qui te cite et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ?, Grenoble, Presses universitaires de Grenoble, coll. Points de vue et débats scientifiques, 2013, 127 pages

Texte intégral

1À la lecture de l’ouvrage, on ne peut s’empêcher de penser à la difficulté évoquée par Pierre Bourdieu dans Homo academicus (Paris, Éd. de Minuit, 1984, p. 11) de conduire une réflexion critique et distanciée au sujet d’« un monde social dans lequel on est pris ». C’est pourtant l’exercice auquel se prêtent Pascal Pansu, Nicole Dubois et Jean-Léon Beauvois dans le livre, même si celui-ci constitue plus un état des lieux des principes qui gouvernent la scientométrie, qu’une diatribe sociologique. Pourtant, on y trouvera non seulement de quoi nourrir une réflexion questionnant le sens d’une course effrénée à la publication qui régit de longue date le monde académique, mais également quelques réponses concrètes. Dès l’introduction (pp. 5-8), les auteurs annoncent la position qui sera la leur : une position nuancée qui ne conteste pas la nécessité de l’évaluation de la recherche universitaire, mais qui entend poser un regard éclairé et critique sur les modalités de cette évaluation. D’emblée, la posture de détracteurs farouches du facteur d’impact et d’autres indicateurs bibliométriques est donc rejetée.

2Dans le premier chapitre, « L’évaluation comme nécessité organisationnelle » (pp. 9-16), l’évaluation est présentée comme une « nécessité sociale » dans la mesure où les chercheurs, en tant qu’« agents sociaux en relation d’équivalence » (p. 11), forment un pouvoir social qui doit se laisser évaluer. Si l’évaluation répond à des besoins organisationnels, mais aussi à des besoins institutionnels de compétitivité, elle nécessite que chacun « entre dans le jeu », selon la formule de Pierre Bourdieu (op. cit., p. 117) et en accepte les règles. Dans cette perspective, elle se doit d’être efficace et objective. À ce titre, les auteurs énoncent les différentes questions qui fondent la trame de l’ouvrage : qui doit évaluer la recherche ? À quel rythme ? Sur quels critères ? Enfin, que doit-on évaluer ? En réponse à ces questions, les auteurs proposent un état des lieux des outils et des pratiques liées à la bibliométrie d’impact.

3De manière synthétique mais complète, le deuxième chapitre, « Une introduction à la bibliométrie d’impact » (pp. 17-44), présente les fondements et le fonctionnement de la scientométrie, discipline qui trouve son origine à l’orée du xxe siècle et connaît un essor important à partir années 50 aux États-Unis. Fondée sur des méthodes statistiques et mathématiques, la scientométrie permet de mesurer la productivité des chercheurs. Elle se décline en deux volets : l’un descriptif et l’autre évaluatif. La scientométrie descriptive rend compte de la production d’un chercheur dans un domaine donné au cours d’une période déterminée, en fonction de ce que les autres chercheurs ont publié dans ce même domaine au cours de cette même période. Cette approche descriptive n’implique donc pas de jugement de valeur. En outre, elle permet de faire émerger les réseaux disciplinaires par repérage des co-citations et de montrer « la façon dont un champ scientifique se structure et évolue » (p. 43). Quant à la bibliométrie d’impact, elle constitue le volet évaluatif de la scientométrie. En effet, on ne peut évaluer la productivité des chercheurs à l’aune du seul nombre d’articles publiés. Il importe également de croiser cette information avec d’autres indicateurs tel le prestige de la revue par exemple. La bibliométrie d’impact étudie l’influence scientifique des chercheurs et l’impact sur leurs pairs en mesurant, par exemple, pour une période donnée, le nombre de citations des articles publiés dans une revue par rapport au nombre total d’articles publiés dans cette même revue – le fameux facteur d’impact. Développées et commercialisées par l’Institute for Scientific Information (isi), puis par Thomson Reuters, les bases de données bibliographiques Current Contents, Science Citation Index, Social Citation Index, ou encore le Journal Citation Reports constituent autant de produits qui permettent d’évaluer la consommation scientifique par la combinaison de différents indices dont l’ensemble est détaillé dans ce deuxième chapitre (pp. 32-40).

4Ce que l’ouvrage aborde peu, mais qui apparaît pourtant en filigrane, consiste en la manne économique du marché de l’information scientifique et le quasi-monopole de sociétés comme Thomson Reuters sur la bibliométrie d’impact et qui pourrait expliquer l’énergie déployée pour sa promotion. Si les auteurs mentionnent l’existence de bases de données concurrentes – telles Scopus, développée par Elsevier à partir de 2004, ou encore Google Scholar en 2004 –, ils ne précisent pas que, à l’exception du produit développé par Google – dont la fiabilité, voire la pertinence est sujette à caution –, l’accès est payant et se fait, le plus souvent, par l’intermédiaire des services documentaires des universités. Nous l’avons souligné, les auteurs ne remettent pas en cause l’intérêt des indicateurs bibliométriques pour évaluer la recherche scientifique, mais en relèvent les principales limites. Selon eux, l’une d’entre elles est liée à une mauvaise compréhension de ce que mesure vraiment le facteur d’impact. En effet, on lui attribue la prétention d’être un indicateur de qualité. Or, cette représentation s’avère quelque peu faussée pour les raisons suivantes (pp. 31-32). D’abord, à cause de la surreprésentation des revues anglophones dans l’index des bases des données bibliographiques précitées. Ensuite, parce que la période de deux à cinq ans prise en compte pour calculer le facteur d’impact d’une revue peut ne pas s’avérer suffisante pour rendre compte de la production d’articles dans des disciplines où les recherches se développent lentement. Enfin, parce que le facteur d’impact passe sous silence les sources antérieures à 1975, ainsi que les nouveaux titres de revue, qui doivent attendre cinq ans avant d’être pris en compte. Il en est de même pour les revues dont les titres changent, ce qui, dans la vie d’un périodique scientifique, arrive relativement souvent.

5Au fil du temps, de nombreux indices sont venus compléter le facteur d’impact afin de pallier certaines de ces limites. Les auteurs en dressent la liste (pp. 32-33). Au sein de celle-ci, le SCImago Journal Rank Indicator (sjr) constitue un indice jeune (2007) intéressant car il prend davantage en compte les revues non anglophones et est pondéré par la réputation de la revue, calculée à partir d’un autre indice, l’eigenfactor. Un autre de ces indicateurs, l’indice h (2005), intégré aux principales bases de données, présente la particularité d’être calculé « à partir du classement de toutes les publications d’un chercheur donné, par ordre décroissant, en fonction du nombre de citations auxquelles elles ont donné lieu » (p. 36). Pourtant, tout comme le facteur d’impact, l’indice h présente un certain nombre de limites. Tout d’abord parce que la pratique de la citation diffère d’une discipline à l’autre : elle est très utilisée dans les sciences médicales et moins en philosophie, par exemple. Ensuite parce que l’indice h ne tient pas compte du positionnement de chaque chercheur dans la liste des auteurs. En conclusion, les auteurs soulignent qu’« aucun [de ces indicateurs] n’est vraiment satisfaisant et [qu’]aucun ne doit être utilisé seul » (p. 39).

6Dans le troisième chapitre, « Aperçu dans le paysage scientifique français » (pp. 45-72), les auteurs rendent compte d’une enquête par questionnaire effectuée entre 2011 et 2012 qui constitue un état des lieux « des pratiques de publication et d’évaluation des chercheurs » (p. 45). Au-delà des pratiques, cette enquête avait également pour objectif d’évaluer les attitudes des chercheurs français vis-à-vis de la bibliométrie. Les questions portaient notamment sur la langue de publication privilégiée, le facteur d’impact et l’indice h. D’autres questions cherchaient à connaître « la manière dont les chercheurs utilisent ces indicateurs bibliométriques dans leur pratique quotidienne et l’importance qu’eux-mêmes et leur institution leur accordent » (p. 48). Les résultats rapportés font apparaître un important clivage en termes de pratiques professionnelles et de publication, de connaissance des indices de bibliométrie et d’attitudes à l’égard de ces derniers, entre les chercheurs évoluant en sciences de la vie, en sciences de la nature et en psychologie et ceux des sciences humaines et sociales (shs). Les premiers présentent un débit de publication plus rapide (au moins trois articles publiés durant l’année en cours). Ces articles sont généralement publiés en langue anglaise dans des revues à haut facteur d’impact. En sciences humaines et sociales, le débit de publication est moindre et se présente souvent sous forme de chapitres d’ouvrages, rédigés en langue française. Ce clivage se retrouve dans la connaissance des indicateurs bibliométriques ; les chercheurs en shs s’en montrant moins préoccupés que ceux des sciences dites « dures » et en psychologie (p. 55).

7S’agissant de leur attitude à l’égard de la bibliométrie, les chercheurs interrogés reconnaissent que les indicateurs bibliométriques permettent de « faire connaître la valeur scientifique d’une revue » et d’aider « le chercheur dans ses choix de soumission et de lecture » (p. 58). Ainsi la valeur des indices pour quantifier l’influence des chercheurs est-elle reconnue. Toutefois, les chercheurs en sciences dures et en psychologie se montrent plus enclins à reconnaître l’intérêt de la bibliométrie d’impact que les chercheurs en shs qui montrent une certaine hostilité à son égard, bien que la méconnaissance semble expliquer, en partie, cette réserve. Ceux-ci lui préfèrent d’autres critères comme la « bonne réputation » de la revue auprès des collègues par exemple ou encore la présence de la revue dans la liste de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (Aeres).

8Les chapitres quatre – « Perspectives critiques des pratiques évaluatives de la recherche » (pp. 73-90) – et cinq – « Pour une évaluation bibliométrique non inféodée (pp. 91-106) » – établissent une critique sans complaisance mais constructive des dérives de la bibliométrie. En préambule, les auteurs s’inquiètent de ce que les indicateurs ne mesurent pas ce qu’ils sont censés mesurer, à savoir « l’influence scientifique d’une source », mais plutôt « la pénétration d’une source dans un réseau de chercheurs » (p. 86). Rejoignant l’opinion des chercheurs interrogés lors de l’enquête présentée dans le troisième chapitre lorsqu’ils considèrent que les indices « incitent au conformisme, entravent la créativité, poussent à publier dans des revues généralistes au détriment des revues spécialisées […], empêchent la reconnaissance des revues nouvelles, encouragent la compétition plus que la coopération entre les revues et poussent à la création de réseaux de chercheurs s’auto-citant » (p. 58), les auteurs plaident « pour une évaluation bibliométrique non inféodée » (p. 91). Pour ce faire, ils proposent plusieurs critères permettant de considérer les indicateurs comme de bons instruments de mesure et relaient certaines des recommandations établies par l’Académie des sciences en 2011 (p. 92). Enfin, en conclusion (pp. 107-110), les auteurs formulent des propositions concrètes, en posant notamment les grands principes d’une base de données internationale qu’ils appellent de leurs vœux et qui intègrerait, en plus des indicateurs bibliométriques, des indicateurs qualitatifs (pp. 94 sq.).

9Ni pamphlet, ni état des lieux stérile, le petit ouvrage contribue à la démytification, voire à la démystification d’indicateurs statistiques auquel certains accordent une importance démesurée. Par certains aspects, l’ouvrage semble s’inscrire dans le mouvement Slow Science qui plaide pour une redéfinition des critères de qualité et pour la nécessité de porter un autre regard sur la recherche. Enrichi de nombreuses références, l’ouvrage constitue en tout cas un excellent point d’entrée pour aller plus loin dans cette direction.

Haut de page

Pour citer cet article

Référence papier

Claire Peltier, « Pascal Pansu, Nicole Dubois, Jean-Léon Beauvois, Dis-moi qui te cite et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ? », Questions de communication, 24 | 2013, 287-289.

Référence électronique

Claire Peltier, « Pascal Pansu, Nicole Dubois, Jean-Léon Beauvois, Dis-moi qui te cite et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ? », Questions de communication [En ligne], 24 | 2013, mis en ligne le 01 février 2014, consulté le 19 novembre 2017. URL : http://questionsdecommunication.revues.org/8803

Haut de page

Auteur

Claire Peltier

TECFA, université de Genève, CH-1211
claire.peltier@unige.ch

Haut de page

Droits d’auteur

Tous droits réservés

Haut de page