Un quadruple questionnement nécéssaire
Bref retour sur les différents "brouillages" du numérique
Quel modèle implicite de l'information ?
Le problème de la qualité et de la pertinence (relevance) de l'information
Questions et précautions méthodologiques sur l'évaluation
Toute la problématique de l'évaluation de la qualité de l'information ou de l'information de qualité sur Internet repose sur un certain nombre de présupposés, de conceptions implicites rarement discutées et qui semblent aller de soi. La plupart des grilles d'évaluation de l'information font généralement l'impasse sur des questionnements théoriques, pourtant indispensables.
Pourtant, chacun des quatre termes de la problématique mérite un rapide questionnement préalable, pour éviter aussi bien certaines confusions dans l'objet même de l'évaluation qu'un certain nombre d'illusions ou "d'aveuglements épistémiques".
Evaluer la qualité de l'information sur Internet : quatre questions, quatre aspects théoriques.
Les caractéristiques du document numérique et le "brouillage" des composants du document doivent absolument être pris en compte, dans toute démarche d'évaluation. Il faut même commencer par là, car la plupart des difficultés et des problèmes de l'évaluation sur Internet proviennent des conséquences de la numérisation sur l'économie et la structure du document.
Evaluer l'information, mais qu'entend-on précisément par information ? de quelle conception de l’information est-il question ? quels présupposés sont mis en œuvre, de quelles illusions " l’évaluation de l’information " peut-elle être porteuse ?
qu’appelle-t-on une information de "qualité " ? puisque l’évaluation de l’information vise à identifier et reconnaître une "bonne " information d’une "mauvaise ", à trier le bon grain de l’ivraie, encore faut-il caractériser rapidement les attributs d’une bonne information, ou d’une information de qualité. Et quelle différence entre qualité et pertinence de l'information ?
Evaluer, mais selon quelle conception de l’évaluation ? quels pièges, quelles précautions méthodologiques sont liés à l’évaluation ?
⇒ Il est essentiel, à nos yeux, de réfléchir au préalable sur ces différentes dimensions de l'évaluation de l'information, d'approfondir les aspects théoriques et la complexité de l'évaluation, trop souvent réduite à l'application simpliste de "recettes", à l'utilisation de grilles passe-partout. Encore une fois, savoir évaluer l'information n'est pas une compétence d'ordre technique, ni une somme de savoir faire.
L’évaluation de l’information a toujours posé des questions difficiles : comment évaluer "objectivement" la qualité d'un document, d'un auteur, etc. Mais au moins les différents éléments à évaluer étaient-ils assez clairement distincts et identifiables, dans le monde traditionnel de l'imprimé.
La grande difficulté, avec le numérique, provient du "brouillage des cartes" ou des frontières du document, induit par la numérisation.
Evaluer une ressource électronique ou une information disponible sur Internet implique donc une réflexion préalable sur les différents éléments qui composent cette ressource, ou cette information. D'une certaine manière, le numérique (et c'est l'une de ses conséquences les plus intéressantes) oblige à "revenir aux fondamentaux", c.a.d. à la définition, aux composants, aux strates du document.
Ces questions débordent le seul cadre de l'évaluation et renvoient aux mutations engendrées par le numérique, qui redistribue l’économie, la structure, les usages... du document et de l’information.
Schématiquement, quatre types de "brouillages" sont induits par le numérique et Internet :
La distinction des métiers reposait alors sur une séparation nette, non seulement des étapes de la production d’un livre, mais des différentes " strates ", des différents niveaux qui composent l’objet-livre ou le document imprimé : par exemple, la mise en forme du livre est clairement distincte du signalement bibliographique, ou de l'impression.
Aujourd'hui le numérique redéfinit la chaîne technique du document ou du livre.
⇒ Brouillage général de ces différentes catégories par le numérique :
nouveau code unique et universel, servant à la fois à l’écriture, à la mise en forme du texte, à la " lecture " (le document numérique est d’abord " lu ", c.a.d. décodé par la machine), à la recherche documentaire, au signalement du document (désormais intégré dans le document lui-même)
(sur ces questions, voir Jeanneret)
⇒ Tous ces problèmes, qui se posent dès qu'il est question du document électronique, se posent avec d'autant plus d'acuité pour toute démarche d’évaluation d’une ressource électronique. Ils nécessitent une distinction claire des composants de l'identification et de l'évaluation de l'information (cf Parties "Identification" et "Evaluation")
La complexité de la question de l’évaluation (cf plus loin) est redoublée par la complexité de la notion d’information : quelle conception implicite de l’information est généralement en jeu ?
⇒ Cette conception, aussi juste soit-elle, est-elle suffisante ? Ne repose-t-elle pas sur un présupposé implicite de l’information, selon lequel celle-ci serait une entité mesurable, quantifiable, évaluable ? (cf notions d’information comme " matière première ", " pétrole gris " de nos sociétés.
Sans entrer ici dans des réflexions théoriques sur l’information, il s’agit seulement de pointer ce qui nous apparaît comme une illusion assez répandue, fondée sur la croyance en une "évaluation objective " de l’information, centrée sur ses caractéristiques " externes ".
Dans toute évaluation, trois caractéristiques fondamentales de l'information (au sens social, cad "l'information-knowledge" et non "l'information-data") ne doivent pas être perdues de vue :
- l'information n'existe que parce qu'elle permet l'interaction d'un humain avec un objet, elle est " une relation posée face à un objet " (Yves Jeanneret), qui est le document.
- Robert Escarpit : " un processus dont le regard humain est absent ne comporte aucune information ".
- un document ne contiendra de " l'information " (au sens social) que s'il fait l'objet d'un regard, d'une interrogation, d'une interaction, d'une interprétation.
⇒ l'information n'existe pas "en soi", elle est toujours relative à un sujet, construite par un acteur humain.
- la réception de l'information dépend toujours de son contexte, de ses récepteurs :
Y. Jeanneret : " un même énoncé (sur différents supports) produira une information de nature extrêmement différente, pour des lecteurs différents, dans des contextes différents ".
⇒ la signification d'une information dépend toujours des conditions de sa réception : réceptivité, attente... du lecteur
- la réception de l'information dépend également de son support matériel, de l'organisation du message : importance de la mise en page, de la mise en forme textuelle de l'information...
⇒ si le contenu et le contenant, l'information et sa mise en forme doivent être distingués dans l'évaluation, ils sont néanmoins indissociables et constituent les composants de la réception de l'information.
Exemple : une information essentielle non trouvée en raison d'une mauvaise disposition, d'une mauvaise mise en forme textuelle.
En bref, il n'existe aucune automaticité dans la diffusion et la réception de l'information et le souci "d'objectivité" (ou plutôt d'objectivation, de rationalisation des processus informationnels), développé dans les approches de l'évaluation, ne devrait pas faire oublier le caractère toujours relatif, approximatif, incertain, construit... de l'information.
On peut d'ailleurs noter que les grilles d'évaluation de l'information ne portent que très partiellement sur le contenu-même des informations.
Première remarque :
La nécessité d’identifier, d’évaluer la qualité et la pertinence de l’information n'est pas nouvelle : elle est au fondement de la recherche documentaire.
Rappel de la définition de la recherche documentaire :
" Action, méthodes et procédures ayant pour objet de retrouver dans des fonds documentaires les références des documents pertinents " (Vocabulaire de la documentation, AFNOR, 1987).
- l’élimination ou la réduction de ces deux indices définit la pertinence (relevance) d'un système documentaire.
> mais il s'agit là d'une vision restrictive de la pertinence, centrée uniquement sur les systèmes documentaires classiques (de type bases de données).
Toutes ces catégories de la pertinence ne sont pas concernées par l'évaluation de l'information et il importe de bien caractériser la pertinence que l'on veut mesurer, évaluer.
Schématiquement, trois grandes catégories de pertinences relevées par plusieurs chercheurs :
- concerne la capacité du système documentaire (logiciel, base de données...) à indexer le document et surtout à le retrouver, en réponse à une requête :
> elle vise surtout la pertinence de la représentation du document (son indexation...) et, en conséquence, la pertinence de la recherche d'information elle-même.
>> la pertinence-système ne concerne pas l'évaluation de l'information mais plutôt les outils de recherche
- pertinence vue sous l'angle de l'utilisateur
- concerne la tâche elle-même de recherche, le besoin d'information, la formulation de la requête, etc.
- Plusieurs types de pertinences-utilisateur :
> renvoie encore à l'évaluation des outils (des interfaces de recherche...)
- par exemple, quelle pertinence des représentations cartographiques dans certains outils (Kartoo...)
- pertinence encore mal mesurée
- la plus importante du point de vue de l'utilisateur :
un document pertinent par rapport à sa représentation dans le système (bien indexé), pertinent par rapport à la requête, ou au thème, n'est pas forcément pertinent par rapport au besoin d'information de l'utilisateur.
- pertinence la plus difficile à mesurer : à apprécier par l'utilisateur lui-même
- ne peut faire l'objet d'une évaluation "objective" et critériée
- concerne la pertinence de la valeur d'un document ou d’une information, par rapport au thème traité
> pertinence du contenu
- type principal de pertinence visée dans les problématiques d'évaluation de l'information sur Internet.
une information pertinente répond à un besoin précis d’information, formulé par un acteur donné, à un moment donné et sur un sujet donné.
Quelles sont les caractéristiques d’une " information de qualité ", notamment de l’information documentaire, ou spécialisée ?
Intéressant de repartir de la définition traditionnelle des caractéristiques de la qualité de l’information, notamment professionnelle : elles définissent en creux tous les objectifs et les critères d’évaluation :
- une information dont on peut identifier facilement l’auteur
- le contenu, les données apportées doivent avoir été vérifiées, recoupées ;
- l’information professionnelle doit reposer sur un contrat de confiance, une légitimité admise, évitant au lecteur d’avoir à vérifier lui-même la véracité des informations.
- Fiable ne signifie pas forcément " vraie " : fiabilité n’égale pas vérité…
- renvoie à la définition même, au plan théorique, de l’information : quelque chose qui apporte du nouveau, enrichit les connaissances.
- l’information documentaire, spécialisée, doit être facilement retrouvée, identifiée, localisée, et accessible.
- mise à jour, renouvellement de l’information est une donnée essentielle
- caractéristiques de l’information " utile ", recherchée en vue d’un objectif d’action ou de décision…
- voir ci-dessus l'importance des critères de forme
Six questions posées, donnant lieu à six précautions méthodologiques :
1/ Identifier, évaluer, valider : quelle différence ?
Dans certaines approches de l'évaluation, les questions sont parfois mélangées et portent à la fois sur :
- les éléments servant à identifier, repérer, classer le site, qui ne peuvent donner lieu à évaluation : par ex., la nature du site (site universitaire, associatif, etc), ses objectifs... ne peuvent être évalués, cad jugés, notés, comparés…
- les éléments servant à juger, noter, comparer le site, selon un barème, une grille de critères : par ex. l’accessibilité du site, ou bien la qualité de l’expression…
- bien distinguer, dans le questionnement, ce qui relève de :
2/ Evaluer : pour quels objectifs ?
La définition des objectifs de l'évaluation
Toute évaluation se fait dans un contexte donné, par des acteurs et pour des objectifs donnés.
Schématiquement, deux types d’évaluations, menées par deux catégories professionnelles ou sociales, pour deux sortes de finalités :
o objectif : recensement de ressources validées, pertinentes, pouvant répondre à des besoins d’information
o évaluation du contenu prioritaire
o finalité de sélection
o objectif : amélioration de la visibilité, de la diffusion, du référencement, de la notoriété d'un site
o évaluation du contenant prioritaire
o finalité de diffusion
o bien définir ses objectifs d’évaluation, et les hiérarchiser en finalités / objectifs généraux / objectifs spécifiques, en fonction de ses objectifs de recherche, ou de ses objectifs professionnels ;
o Exemples :
finalité :
objectifs généraux :
- a/ élaborer une sélection de ressources sur un thème ou dans un domaine quelconque
- b/ faire une recherche documentaire sur un sujet précis et sélectionner quelques ressources
- c/ faire une activité de veille sur un sujet
objectifs spécifiques :
- a/ mesurer la pertinence, le sérieux d’une source ; évaluer la notoriété d'un site...
- b/ évaluer l'expertise d'un auteur ; vérifier la fiabilité des informations trouvées ; évaluer la pertinence des ressources sur le sujet ; évaluer la qualité d'expression d'un texte...
- c/ vérifier la fraîcheur d'une information ; évaluer la fiabilité d'une source ; évaluer la pertinence des ressources sur le sujet...
finalité :
objectifs généraux :
- a/ comparer l’ergonomie de différents sites web
- b/ évaluer la structuration de l'information dans un site
- c/ évaluer la qualité graphique d'un site
objectifs spécifiques :
- a/ évaluer les performances et la pertinence des interfaces ; comparer les dispositifs de navigation interne : plan, liens... ; évaluer la qualité des pages d'accueil...
- b/ évaluer la cohérence, la logique de l'organisation du site ; évaluer la clarté de la présentation des informations (sommaire, etc)...
- c/ évaluer la lisibilité du site ; évaluer la charte graphique ; évaluer le choix des formats graphiques...
3/ Qu’est-ce qui est évalué ?
La délimitation de l'objet de l'évaluation :
selon les objectifs fixés, il s'agit de définir clairement ce qui doit être évalué et d'identifier les problèmes sous-jacents posés :
un site web ? une partie du site ? Une page web ? un document autonome ?
o problème des " limites " du document électronique
un document électronique ou bien l’information contenue ?
o problème de la distinction entre document et information, support et contenu
l’information contenue ou son organisation, sa structuration ?
o problème de la distinction entre information et organisation de celle-ci, entre contenu informationnel et mise en forme
la structuration du site et/ou du document ou son esthétique, son graphisme, sa lisibilité ?
o problème de la distinction entre mise en forme, structuration et choix du graphisme, esthétique du texte, dispositif de lecture
D’autres objets de l’évaluation peuvent être trouvés :
dans l’information, qu’est-ce qui est recherché et évalué ?
sa pertinence ? son originalité ? son exhaustivité ? sa fraîcheur ?
la notoriété, le sérieux de la source ?
⇒ L'imbrication de toutes les dimensions, de toutes les " couches " du document par le numérique induit une certaine confusion entre les différents aspects et composants du document et de l’information, qui risque de se retrouver dans l’évaluation.
précautions méthodologiques :
o selon son objectif, identifier et délimiter clairement ce qui fera l’objet, en priorité, de l’évaluation : contenu, forme… ?
o acquérir une meilleure connaissance des différentes " couches " d’un document électronique, des différents composants d’une unité documentaire
4/ Evaluer : selon quels critères ?
La formulation et la hiérarchisation des critères :
Evaluer quelque chose (ou quelqu’un) signifie à la fois juger, comparer, parfois quantifier, selon des critères externes posés a priori, plus ou moins explicités et détaillés.
- les critères ne sont pas toujours clairement exprimés et formulés : on évalue généralement " à l’instinct ", au jugé, selon ses propres modèles de qualité, cad selon des critères non explicités, non formulés.
- l’évaluation se fait spontanément de manière globale, sur une impression d’ensemble d’un site, d’un document…
- les différents éléments d’évaluation sont souvent confondus : notamment la différence entre le contenu et la forme du document.
5/ Evaluer : en référence à quelles normes ?
La connaissance et l’explicitation des normes :
Caractère normatif de l’évaluation :
o critères fondés sur des normes, des valeurs, des règles, qui représentent un "idéal-type" et permettent de distinguer la qualité de la médiocrité.
problème :
- les règles et les normes, qui définissent un " modèle " de la qualité, sont souvent mal connues ou peu connues :
o exemple des règles de la mise en page, de la lisibilité des documents électroniques…
précaution méthodologique :
o connaître les règles, les normes, les " canons " de la " qualité documentaire " :
- critères de qualité de l’information
- normes d’identification des documents
- règles de présentation des documents
- normes de mise en page
- etc.
⇒ L’évaluation des ressources électroniques nécessite en amont de nombreux savoirs, non seulement disciplinaires, mais documentaires, des compétences diverses, renvoyant à divers métiers ou domaines professionnels.
6/ Evaluer : selon une grille universelle ou des grilles spécifiques ?
Universalité ou spécificité de l’évaluation ?
Peut-il exister une grille universelle d’évaluation de l’information ?
A l’évidence non : plusieurs grilles d’évaluation à élaborer et utiliser selon :
o l’objectif et l’objet de l’évaluation : évaluation du contenu différente de celle du support
o " l’étendue " de la ressource : évaluation d’un site entier, d’une partie, d’un document précis…
o le type de ressources électroniques : différences selon la nature des sites (documents scientifiques évalués différemment de sites grands publics), la nature des documents (textuels ou non textuels…)
Existence de quelques critères communs, de catégories communes de critères, mais organisation différente des critères selon les objectifs, les situations, les objets de l’évaluation…
Grilles existantes, plus ou moins élaborées, et découpées en parties bien distinctes, visent une sorte d’universalité de l’évaluation, mais sont adaptées en fait à des situations assez spécifiques :
Exemples :
Sylvie Dalbin, Instruments de recherche sur le web, In La Recherche d'information sur les réseaux. Cours INRIA, 30 septembre-4 octobre 2002, Le Bono (Morbihan), ADBS Editions, 2002, p.46-50