La science telle qu'elle s'évalue

toutes celles et ceux qui ont déjà monté un dossier ou un programme scientifique "recherche" le savent : la clé de l'obtention des crédits et du financement réside dans les rapports des différents experts nommés pour auditer ledit dossier. le problème c'est qu'il est délicat de trouver des experts aussi compétents que les gens qui montent les dossiers, lesquels sont, de facto, les plus "qualifiés" pour juger de la recevabilité desdits dossiers. d'où l'extrême complexité et lourdeur du montage administratif et rhétorique des mêmes dossiers. souvent les rapports d'experts "bloquent" sur des points qui semblent tout à fait hors de propos aux chercheurs en charge du dossier, ou bien ils (les experts) se rabattent sur des protocoles d'évaluation "administrocentrés" ("pas assez de laboratoires partenaires" ou "pas assez de partenaires régionaux" ou "trop d'interdisciplinarité" ou "pas assez de transdisciplinarité", et j'en passe ...)
bilan : des mois de travail jetés au rebut, des dynamiques de recherche brisées net, et surtout beaucoup beaucoup de temps perdu. entendons-nous bien, il ne s'agit pas de donner un blanc seing à tous les dossiers présentés. mais il s'agit de redéfinir les protocoles d'expertise et de trouver les bons "auditeurs" ("reviewers"). c'est ce phénomène que l'on retrouve d'ailleurs à une tout autre échelle au niveau des comités de relecture de bon nombre de revues scientifiques et savantes. d'où la nécessité de parfois tuer le pair.
ces conclusions ("redéfinir les protocoles d'expertise", "trouver les bons experts") sont celles du tout récent rapport de l'european science foundation : "peer-review : its present and future state".

• communiqué de presse,
• rapport au format .pdf

ce rapport (il s'agit en fait des actes d'un colloque) revient sur quelques questions centrales de l'évaluation de la science : la revue par les pairs, l'évaluation des dossiers et programmes de recherche, et les différentes métriques en vigueur. avec notamment (page 23 et suivantes) une session intitulée "langages, métriques, impacts : les cultures du peer-review dans les humanités".
le cas des humanités est intéressant (jusqu'à quand ...) puisque "les outils bibliométriques sont inaptes à rendre compte de la diversité des comportements de publications des chercheurs de ces disciplines." et de reparler, sans hélas guère plus de détails, de l'erih (european reference index for the humanities), en recommandant que les ouvrages soient comptabilisés au même titre que les articles dans ce qui devrait donc (mais quand ??? voilà déjà plus de quatre ans que l'on parle de cet index, et il semble que l'on en soit toujours à réunir des groupes d'experts sur la faisabilité d'un tel projet ...), index qui devrait donc, disais-je, comptabiliser les revues "princeps" européennes de 15 disciplines des humanités.
au final, de ce rapport de 36 pages il ressort de manière assez unanime :

• que l'infodominance de l'isi et de son facteur d'impact est problématique et n'est plus pas un indicateur qualitatif suffisant (et même carrément insuffisant)
• que l'on peut avoir la certitude suivante "the assumption that an assessment system that takes into account disciplinary specificities as much as changing research landscapes needs to be developed. only a portfolio of metrics will be able to produce relevant information about the entire research process (input-activity-output-outcome)."

je suis assez séduit par cette idée (souvent relayée ici) d'un "portefeuille de métriques" qui permettrait - notamment - de prendre en compte et d'exploiter toute la richesse de l'environnement numérique des publications de recherche. au risque d'aileurs de devenir président de la république d'être accusé de populisme, je pense sincèrement qu'il va devenir de plus en plus délicat d'évaluer la science du xxième siècle avec des comportement, des attentes, des mentalités et des outils bibliométriques du xxème siècle.

sur ce même sujet (métriques et évaluation), j'apprends via pintiniblog, que l'index dit "de hirsh" (h-index) bénéficie d'un succès grandissant, puisqu'après son intégration dans le web of science par l'isi, c'est au tour d'elsevier de l'intégrer dans scopus. un index qui plaira sûrement à notre futur ministre "de l'éducation nationale de la recherche et de l'enseignement supérieur et de la culture et du sport et de la rentabilité académique et de la recherche à court terme pour profit et de la citation compulsive de jaurès", vu qu'il permet d'individualiser (à outrance ?) le taux de citation d'un auteur, et ce faisant de permettre à ceux qui publient plus de gagner plus :-((

(via prosper)