Outillage wikipédien (suite) : le détecteur de réputation

l'outillage wikipédien décrit dans ce billet vient de s'étoffer un peu plus, ainsi que la problématique déjà très riche de la redocumentarisation. explications : dans la lignée du détecteur de trds (wikiscanner), permettant de repérer les adresses ip (et conséquemment les personnes et/ou organismes) des contributeurs les plus fâcheux, une équipe de chercheurs a mis au point un détecteur de réputation, un outil qui colore en orange les contributions ou les aspects d'un article "les plus suspects", lequel repérage desdits aspects considère que plus les écrits d'un wikipédiste sont rapidement modifiés/corrigés/effacés, et plus ledit wikipédiste est suspect. ce qui est en jeu derrière cet outil, c'est donc le repérage d'un "indice de confiance" (trust) rattaché à chaque contributeur, et reposant :

• non pas sur les qualités propres du contributeur (auquel cas on reviendrait au fonctionnement d'une encyclopédie "classique" mandatant des experts pour sa rédaction)
• non pas sur la qualité intrinsèque de la contribution (précisément non-mesurable)
• mais sur la temporalité qui sépare une modification, une édition d'article, de sa relecture, de sa réédition. ce que les auteurs à l'origine de cet outil appellent un "content-driven reputation" : "les auteurs dont les contributions sont préservées ou étayées par d'autres, gagnent de la réputation."

en d'autres termes, l'indice de confiance (ic) d'un contributeur (a) équivaut à la distance temporelle séparant deux ou plusieurs redocumentarisations d'un même article. plus cet intervalle de temps est élevé, plus le contributeur est considéré comme fiable.
pour que cela marche, il faut se reposer sur le fonctionnement et la temporalité complexe de wikipédia, qui veut que l'ensemble des contributeurs se répartissent les rôles à la manière de l'organisation d'une fourmilière, certains traquant plutôt les fautes d'orthographe, d'autres les adresses ip, d'autres - les wikipompiers - se chargeant des guerres d'édition.
ce qui est intéressant dans cet indice de confiance, c'est qu'il ne repose pas sur la qualité intrinsèque de ce qui est écrit (laquelle est statistiquement ou algorithmiquement invérifiable), mais sur l'interrogation de la densité de la dimension palimpsestique de wikipédia. je m'explique : plus une écriture est vite recouverte par une autre, et moins elle est fiable. en d'autres termes encore, une non-expertise chasse l'autre, et au final (le ratio d'utilisateurs/nombre de modifications étant statistiquement parlant) l'indice de confiance mesuré semble donner des résultats probants. cette idée d'un palimpseste vient poursuivre la réflexion que j'avais (brièvement) engagée autour de la notion de souscription et que je vous resitue brièvement (pour la version longue, voir ce billet) :

• "sur le web, et particulièrement dans le web dit "2.0", le contenu s'efface derrière l'architecture. le discours n'est plusancré dans un dispositif (technologique) mais le dispositif ancre lediscours. il n'est plus "au service" mais "à l'origine" du discours. ilen devient la condition. (...) les développements du (web 2.0 + social software +rss) nous emmèneraient vers un "troisième âge" de la navigation : aprèsle browsing et le searching voici venu le temps du "subscribing". on nenavigue plus, on ne recherche plus, on s'abonne, on "souscrit". notonsd'ailleurs que l'étymologie de ce dernier vocable est intéressante :"souscrire", "sub-scribere", littéralement "écrire en dessous", à moinsqu'il ne s'agisse d'écriture "sous autorité" : en agrégeant lesdiscours écrits ou postés par d'autres, on est, de facto, placé "sous"une "autorité" qui n'est plus notre."

ainsi, ce qui fait qu'un auteur/contributeur wikipédiste "fait autorité", c'est sa capacité à résister à la chute palimpsestique, la capacité de ses écrits à demeurer littéralement "au-dessus" des autres.

bref, une intéressante plongée dans les arcanes de l'autoritativité ("attitude consistant à produire et à rendre public des textes, à s’auto-éditer ou à publier sur le www, sans passer par l’assentiment d’institutions de référence référées à l’ordre imprimé"), qui permettra peut-être à terme de distinguer entre auteur et contributeur et de s'affranchir de la notion d'expertise, ou tout du moins de se satisfaire d'une expertise numérique héritière des propriétés de son support (mobile, ouverte, en reconfiguration permanence, cinétique).
cette approche me rappelle un peu - mais dans un autre genre - celle de la pertinence pour les moteurs de recherche : après n'avoir eu pendant longtemps (je schématise à outrance, pardon aux initiés qui me lisent) que le nombre d'occurence du mot-clé pour mesurer la pertinence d'une page, google arrive et explique que ce n'est pas le contenu qui fait la pertinence mais le repérage par d'autres (plus une page est liée, plus elle est pertinente).

au final, cet outil et l'approche qu'il met en place devrait réconcilier les anciens et les modernes qui aiment à se quereller autour des notions d'auteur et d'autorité. ce qui fait un auteur, classique ou contemporain, c'est la capacité intrinsèque de son écriture à résister à l'épreuve du temps, à se fixer, à se stabiliser, à aller à l'encontre de dynamiques parfois paradoxales, in fine à l'emporter - tout au moins stylistiquement - sur d'autres (ex : d'autres que flaubert on écrit des histoires de la petite bourgeoisie provinciale, mais personne d'autre que lui n'a écrit madame bovary). sur le chemin qui lui permettra demain de circonscrire son autorité (et ce faisant celle de ses auteurs) wikipédia pourrait bientôt faire ainsi un pas décisif, un pas qui l'aidera et aura pour premier effet, selon un cercle vertueux, de mieux circonscrire également son périmètre documentaire et les redocumentarisations ainsi "autorisées".

a signaler : cette recherche peut être rapprochée d'une lignée de travaux qui ont démontré que la "qualité" des articles de wikipédia dépendait à la fois du nombre de modifications et du nombre de contributeurs distincts. "plus un article est modifié par "n" contributeurs différents meilleur il est", ou pour le dire autrement et de manière plus juste, "moins un article est modifié par un grand nombre de contributeurs, meilleur il est", ce qui là encore est une retranscription fidèle de la chaîne d'expertise telle que la révèle par exemple le processus de revue par les pairs : moins un article scientifique soumis est modifié par ses relecteurs experts, plus il a de chances d'être publié, et meilleure est sa qualité scientifique intrinsèque. ces études ne sont d'ailleurs qu'en contradiction apparente : la dimension palimpsestique est bien présente, mais c'est la capacité d'une édition/modification à être stabilisée sans être à son tour modifiée par un grand nombre de contributeurs distincts, qui détermine la qualité d'un contributeur, et ce faisant des articles/éditions qu'il produit.

a signaler également : l'article (scientifique) à l'origine de ce prototype de détecteur de réputation :

• b.t. adler, l. de alfaro. a content-driven reputation system for thewikipedia.in www 2007, proceedings of the 16th international world wide web conference, acm press, 2007 (.pdf)

autorité - réputation - expertise : le triangle des bermudes de la qualification de l'information. on n'a pas fini d'en (re)parler ...

(via : hubert en commentaire, qui le tenait d'outilsfroids qui l'avait lu dans wired)