Si vous n'avez pas réussi à vous échapper sur une île déserte ces dernières semaines, vous avez très probablement été exposé·e aux propositions de Didier Raoult sur la valeur de la chloroquine dans le traitement du Covid-19, de Zahir Amoura, Jean-Pierre Changeux et al. sur le caractère protecteur de la nicotine ou du Professeur Luc Montagnier, co-"découvreur" du virus du SIDA et prix Nobel, sur la structure du coronavirus, qui ressemblerait à celle du HIV (et serait dès lors une production humaine). Ces thèses, très contestables, ont été largement relayées dans les médias.
Lors de pandémies comme celle que nous vivons aujourd'hui, la recherche d'informations valides sur la façon de se prémunir du virus ou d'en guérir bat son plein. Nombreux sont celles et ceux qui recherchent des informations "scientifiques" dans l'espoir d'acquérir des connaissances fiables sur ce sujet. Les personnages cités précédemment sont parmi les plus respectés dans leurs domaines respectifs et relayer leur avis semble de bon aloi. Quoi de mieux pour savoir ce que dit "la science" que de leur donner la parole?
Mais quel discours écouter? La pandémie donne lieu en effet à une activité scientifique débordante. Il s'agit de comprendre l'identité biologique du virus, sa transmission mais également ses conséquences sur le comportement, sur l'économie, les méthodes de prévention, etc.
A côté des nombreuses informations émanant de scientifiques surgissent un ensemble de discours provenant de citoyens divers n'ayant guère d'expertise particulière en épidémiologie et en virologie. Si certains de ces discours semblent parfaitement légitimes et dignes de foi, d'autres alimentent des idées fantaisistes et/ou complotistes et parfois de façon fort convaincante (voir à cet égard mon billet sur Jean-Jacques Crèvecoeur).
Pour les médias, comme pour les citoyen·nes, il n'est pas toujours aisé de savoir à quelle information se fier. Certains repères connus semblent évanescents : pourquoi ne pas faire confiance aux médecins avant tout ? Connaissant la difficulté d'acquérir un diplôme de médecine et la formation scientifique rigoureuse que cela implique, cela semble un critère pertinent. Or, on sait que des médecins adhèrent à des croyances qui n'ont aucun fondement scientifique (l'homéopathie par exemple...). Et malheureusement, cela s'avère une réalité pour des sommités comme le Dr. Montagnier, qui a ardemment défendu le concept fantaisiste de mémoire de l'eau. La blouse blanche n'est donc pas toujours une garantie absolue de crédibilité.
Autre critère possible : le fait que la recherche ait été menée dans des laboratoires ou par des chercheurs "légitimes" (travaillant par exemple dans des universités qui ont pignon sur rue ou sont prestigieuses) ? Malheureusement, ce n'est pas non plus un gage de qualité à toute épreuve. Le fait qu'une recherche soit menée par des chercheurs universitaires ne rend pas ses conclusions incontestables. Ceci est particulièrement vrai en ce qui concerne le Covid-19, qui a donné lieu à une "pandémie" d'articles en tous genres, dont la qualité est fort variable. Pour faire face à la pandémie (virale), il semble que de nombreux chercheurs se soient empressés de mener des recherches sur le sujet et de diffuser leurs résultats, en étant souvent moins rigoureux qu'ils ne pourraient l'être. Nombre de ces articles ne sont disponibles que sur des dépôts publics de "preprints" (comme MedrXiv), sur lesquels tout chercheur peut déposer sa production.
Quel critère de légitimité dans ce cas? Dans le monde scientifique, ce qui asseoit la crédibilité d'une recherche est le fait qu'elle fasse l'objet d'une publication. Pourquoi? Pour le savoir, il faut se pencher sur l'itinéraire d'un article scientifique. Un article scientifique (empirique) a une forme standardisée: il décrit l'itinéraire d'une recherche: pourquoi elle a été menée (introduction), comment (les méthodes), avec quels résultats et quelles conclusions on peut en tirer (discussion). Premièrement, à l'entrée, le processus est parfaitement démocratique: toute personne est libre d'envoyer un article dans la revue de son choix. Cet article, s'il s'inscrit dans le champ d'expertise de la revue et ne semble pas entaché de faiblesses trop importantes aux yeux du rédacteur·trice en chef de la revue, est transmis à des experts du domaine qui en font une évaluation souvent sans concession. Ce processus se fait généralement en double aveugle (l'identité des auteurs n'est pas révélée aux experts et vice versa) dans le souci que l'article soit évalué sur ses mérites et non sur base de considérations extérieures (rivalités, conflits d'intérêts, sentiments vis-à-vis des auteurs, peur de sanctions si on émet un avis négatif...). Dans la plupart des cas (en ce qui concerne les revues les plus prestigieuses), il sera rejeté (dans mon domaine, la psychologie sociale, les revues les plus prestigieuses ont des taux de rejet de plus de 90%). Scénario le plus optimiste: il sera renvoyé aux auteurs avec demande de révisions sur base des commentaire des experts. Une révision sera transmise. Celle-ci peut être rejetée si les réponses sont jugées insuffisantes (rien de plus frustrant pour les auteurs, croyez-en mon expérience!). Elle peut être acceptée ou faire l'objet de nouvelles demandes de révision et ainsi de suite. Bref, publier est un vrai parcours du combattant (ou de la combattante). C'est aussi un processus qui demande un délai relativement important et difficilement conciliable avec les demandes de réponses rapides qui nous sont faites aujourd'hui.
Le processus de publication scientifique est extrêmement sélectif. S'il est loin d'être parfait, il garantit que la qualité moyenne des articles publiés dans des revues sérieuses soit infiniment meilleure que celle des articles diffusés sur des dépôts publics comme MedXiv. Jusqu'à très récemment, la pratique consistant à déposer des articles ("preprints") sur des dépôts ouverts de ce type avant expertise n'était pas commune dans la plupart des disciplines scientifiques et en particulier biomédicales (elle l'est en physique par exemple).
Mais, face à l'urgence, elle a augmenté sensiblement (de près de 400% en un an alors que les consultations ont été multipliées par 100 selon cet article!). Par ailleurs, la qualité des études proposées semble souvent très faible (pas de groupe contrôle permettant d'établir si l'effet du traitement supposé efficace ne pourrait s'expliquer simplement par le temps ou par le mode de vie habituel des sujets). Or, ces sites ne sont plus consultés uniquement par des scientifiques : des non spécialistes, lisant l'abstract (résumé) peuvent être aisément séduits par des affirmations fort audacieuses, comme celle du Prof. Amoura et ses collègues sur l'effet de la nicotine (précisément diffusé sous forme de preprint et extrêmement faible d'un point de vue méthodologique). Cette frénésie s'explique en partie par le fait que des budgets de recherche - qui sont d'ordinaire souvent si maigres- ont été libérés en toute urgence pour faire face à la crise.
Comment, dans ces conditions distinguer le bon grain de l'ivraie?
Dans certains cas, une lecture attentive de l'article permettra de détecter des faiblesses - même pour le·la non spécialiste. Par exemple, l'absence d'un groupe contrôle est une faiblesse criante dans une étude portant sur l'efficacité d'un traitement. En ce qui concerne l'effet de la nicotine, la conclusion des auteurs était basée sur le fait que des personnes se déclarant "fumeuses" avaient moins de chance de développer le Covid-19 que les autres. Mais bien sûr, cela peut être dû à de nombreux autres facteurs: par exemple, les personnes malades du Covid ont peut- être craint de révéler qu'elles fumaient de peur de ne pas avoir accès à une unité de soins intensifs. Les professionnels de la santé (qui constituaient la plupart des patients) étaient peut-être réticents à révéler qu'ils fumaient, etc.
Un élément essentiel à mon sens est de ne pas se fier uniquement au "pedigree" de la source. C'est précisément par le caractère impersonnel du processus de publication (même si c'est un idéal), et à travers le processus collectif de filtrage, de détection des erreurs éventuelles et d'amélioration sur lequel repose le processus de publication, qu'un savoir peut acquérir une crédibilité véritablement scientifique. Bref, des résultats évoqués seront d'autant plus dignes de confiance qu'ils auront fait l'objet d'une publication dans une revue sérieuse. Si ces résultats sont ensuite corroborés par des reproductions réussies et également publiées, nous pourrons renforcer encore notre confiance. Ainsi concernant l'effet de l'hydrochloroquine, les déclarations du Dr. Raoult ont pu être mises à mal par la publication récente dans The Lancet d'un article expertisé et présentant une série d'études remettant clairement en cause son efficacité. Ce n'est peut-être pas le dernier mot de l'histoire mais étant donné l'ampleur et la rigueur du travail présenté dans cet article, on peut difficilement à ce jour considérer l'hydrochloroquine comme un traitement efficace contre la Covid-19.
Bien sûr, rien n'est parfait et la publication dans une revue au nom ronflant ne garantit pas à 100 % la qualité des savoirs.
Pourquoi?
La première raison réside tout simplement dans le fait que la science est par définition en évolution constante et que l'on acquiert des savoirs en remettant en cause ce qui, dans le passé, pouvait s'apparenter à des évidences. C'est ce caractère mouvant des savoirs scientifiques qui les distingue le plus clairement de l'Evangile ou de toute parole idéologique.
Mais d'autres éléments incitent à la prudence par rapport à des résultats publiés. Ainsi, il existe toute une série de revues dont les standards sont extrêmement faibles, voire qui ont un objectif purement commercial (elles font payer les auteurs pour leur publication sans pour autant garantir le processus d'expertise décrit précédemment, voir une liste - non à jour - de ces revues ici). Les chercheur·e·s d'un domaine peuvent aisément identifier ces revues mais ce n'est pas nécessairement le cas pour des journalistes ou des "citoyens lambda". En l'occurrence, la revue dans laquelle a été publié l'article sur le lien HIV-Coronavirus était précisément une revue de ce type. Dans le domaine biomédical, il est possible de se fier à des bases de données comme Pubmed, qui reprend une liste de revues sérieuses.
Et même dans ces revues, il peut y avoir des "couacs". Malgré le processus d'expertise, on peut constater des erreurs, voire, dans des cas exceptionnels, des fraudes. Si celles-ci sont découvertes, cela peut donner lieu au retrait des articles concernés (cela a été le cas de plusieurs articles en lien avec le covid).
Autre problème: les revues scientifiques sérieuses sont souvent difficilement accessibles car les abonnements sont hors de prix. Il en résulte que les medias n'y ont souvent pas accès ou ont seulement la possibilité de lire des abstracts (résumés). Ceux-ci ne permettent pas d'identifier les faiblesses de l'étude - quand bien même les journalistes auraient le temps et les connaissances nécessaires pour les décortiquer. Cela justifie le recours à des dépôts de preprints gratuits. Et de ce point de vue, ceux-ci permettent un accès "démocratique" à la science. Mais il est alors fondamental de pouvoir distinguer les articles ayant fait l'objet d'une expertise de ceux qui ne l'ont pas fait.
En conclusion, malgré ses limites, le processus de validation par les pairs est ce que nous avons de mieux. Alors qu'une frange importante de la population se met à douter de faits scientifiques incontestables - comme l'importance de la vaccination, il est plus que jamais fondamental d'être prudent dans l'usage qui est fait de la parole scientifique. Comme le suggère l'image ci-dessus, il faut rester calme et laisser à la science le temps de faire sont travail.
En bref...
Si vous êtes confronté·e à une affirmation se prétendant "scientifique" sur le Covid-19, posez-vous les questions suivantes:
- Même si vous n'êtes pas spécialiste, identifiez-vous des faiblesses évidentes dans l'étude telle que décrite? (absence de groupe contrôle par exemple).
- Est-ce que le lien entre l'étude telle que décrite et les conclusions qui en sont proposées ouvrent la voie à d'autres interprétations ou semblent trop ambitieuses? (par exemple, études menées sur un petit échantillon de rongeurs pour tirer des conclusions sur les humains en général).
- Est-ce que le faits énoncés et les conclusions qui en sont tirées ont fait l'objet d'une expertise par des pairs?
- Si oui, l'ont-il été dans une revue scientifique fiable?
...et ne vous fiez pas uniquement à l'identité du locuteur / de la locutrice et à son CV. A rebours, si vous constatez que l'auteur de l'article n'est pas du tout spécialisé dans le domaine sur lequel il s'exprime, il faut souvent être vigilant.
Remerciements: Ce billet s'inspire en partie d'échanges avec mon collègue de l'Université de Lausanne, Joël Billieux, convaincu de l'importance de ne pas diffuser de preprints avant publication, et à qui cette avalanche donne raison.
En bref...
Si vous êtes confronté·e à une affirmation se prétendant "scientifique" sur le Covid-19, posez-vous les questions suivantes:
- Même si vous n'êtes pas spécialiste, identifiez-vous des faiblesses évidentes dans l'étude telle que décrite? (absence de groupe contrôle par exemple).
- Est-ce que le lien entre l'étude telle que décrite et les conclusions qui en sont proposées ouvrent la voie à d'autres interprétations ou semblent trop ambitieuses? (par exemple, études menées sur un petit échantillon de rongeurs pour tirer des conclusions sur les humains en général).
- Est-ce que le faits énoncés et les conclusions qui en sont tirées ont fait l'objet d'une expertise par des pairs?
- Si oui, l'ont-il été dans une revue scientifique fiable?
...et ne vous fiez pas uniquement à l'identité du locuteur / de la locutrice et à son CV. A rebours, si vous constatez que l'auteur de l'article n'est pas du tout spécialisé dans le domaine sur lequel il s'exprime, il faut souvent être vigilant.
Remerciements: Ce billet s'inspire en partie d'échanges avec mon collègue de l'Université de Lausanne, Joël Billieux, convaincu de l'importance de ne pas diffuser de preprints avant publication, et à qui cette avalanche donne raison.
PS (3 juin 2020): Concernant l'étude du Lancet, je disais que ce n'était pas le fin mot de l'histoire. Je ne croyais pas si bien dire. L'étude est fortement critiquée. Elle a fait l'objet d'une révision par des pairs "après publication" qui met en lumière différents problèmes. A suivre...
PS 2 (4 juin): L'étude du Lancet a été retirée car trois des auteurs n'ont pas confiance en l'origine des données. Elle est donc un très mauvais exemple de l'efficacité de la révision par les pairs! Bien que cet exemple soit donc inapproprié, et que l'expertise par les pairs ait des ratés, je maintiens l'intérêt de cette pratique. Remarquons par ailleurs que d'autres études récemment publiées remettent en cause l'efficacité de la chloroquine (par exemple, celle-ci) mais mon objectif n'est pas de me prononcer sur cette question.
PS 2 (4 juin): L'étude du Lancet a été retirée car trois des auteurs n'ont pas confiance en l'origine des données. Elle est donc un très mauvais exemple de l'efficacité de la révision par les pairs! Bien que cet exemple soit donc inapproprié, et que l'expertise par les pairs ait des ratés, je maintiens l'intérêt de cette pratique. Remarquons par ailleurs que d'autres études récemment publiées remettent en cause l'efficacité de la chloroquine (par exemple, celle-ci) mais mon objectif n'est pas de me prononcer sur cette question.
Episodes précédents:
4 commentaires:
bonjour,
La question des preprints est un sujet délicat à traiter. La confusion peut être forte pour le grand public, en effet.
Un grand nombre de publications discutées par le Pr Raoult sur sa chaîne YouTube est en effet du preprint, ce qui soulève la question de sa valeur. En revanche, la valeur n'est pas garantie par le processus peer-review.
Regardons le processus peer-review d’un peu plus près.
Écartons d’emblée la question de la tricherie pure et simple.
Le manque d'hypothèse a priori est un problème. Nombreux sont les chercheurs ayant une réflexion plutôt exploratoire de leur travail, mais, dès lors que les résultats sont analysés, formulent des hypothèses compatibles avec leurs observations. Une option est de préenregistrer l'article, en développant les hypothèses explicitement, et bien avant la phase de recrutement. La pratique est désormais courante (et même obligatoire) pour les essais cliniques en psychologie, ou en médecine.
Un autre aspect concerne le peer-review process. Plusieurs journaux scientifiques tentent d'anonymiser les promoteurs de la soumission, et c'est en effet un point très important. Toutefois, il est très difficile d'atteindre cet objectif. De subtiles références à ses travaux ou un modèle théorique particulier peuvent suffire à permettre une identification, sinon des auteurs, au moins du groupe de recherche. Quel est l'impact d'une connaissance par les referees du groupe de chercheurs ayant produit une publication à évaluer? Pour ma part, il est très important. Les inimitiés peuvent corrompre le jugement, et faire basculer une recommandation 'révisions majeures' en 'rejet', et inversement lors que l’on éprouve des sentiments amicaux.
Dans la plupart des disciplines, les théories s'affrontent, certes à coup de données et aussi en raison du degré de légitimité des idées, à un moment précis, et dans un contexte culturel donné. Dans mon domaine de recherche, à savoir l'étude des états psychopathologiques, la dominance de l'approche (neuro)cognitive a réduit l'intérêt pour la compréhension des comportements. Autrement dit, nous avançons dans la compréhension de processus pour lesquels les liens avec les comportements étudiés sont très distants. Un exemple flagrant concerne l'étude de l'inhibition de la réponse dominante, et les dizaines de recherches cliniques ayant tenté de modifier des comportements en entrainant l'inhibition, alors que l'association entre l'inhibition et le comportement demeure très fragile. Autrement dit, les mouvements de pensée (y compris scientifique) résistent mal aux idées dominantes, ce qui donne lieu parfois, à des entreprises cliniques hasardeuses (lesquelles engagent des patients notamment). Les comités d’éthique sont par ailleurs parfois soumis à ce type de tensions (entre idées dominantes et rationalité).
Pour finir ce message, je dirais que j'ai été frappé par quelques débats d'opinions, notamment sur LCI, où un non-expert en médecine (Roland Cayrol, politologue), qui se tenait au courant via le site du Johns Hopkins Medical University & Medicine ou de journaux de médecine tels que le Lancet, le NEJM, le BJM ou le JAMA, fournissait des informations très utiles à la compréhension d’une discussion scientifique avec des experts, certes très compétents, mais aussi très engagés dans une direction théorique donnée (le traitement d’abord, le vaccin d’abord, la médecine préventive d’abord, etc.). Ses interrogations ont fort judicieusement orienté le débat vers plus de complexité et de nuances, et je dirais, de raison.
Dès lors, il m’est apparu très clairement que les discussions entre experts ont des limites, dès lors que leurs convictions pointent dans la même direction. Cela m’amène à penser que les articles et des dossiers de recherche gagneraient à être évalués par des experts, bien entendu, et aussi par des personnes non directement impliquées dans le domaine étudié, mais pouvant fournir un éclairage utile.
Merci, Xavier, pour votre commentaire, que je viens de découvrir. Je suis d'accord que le peer review n'est pas la panacée et qu'il a des limites. J'ai toutefois le sentiment qu'un article ayant fait l'objet d'une expertise sérieuse (ce qui est quand même le cas dans la plupart des revues de haut niveau - malgré des exceptions comme le lancetgate), le niveau moyen est infinément supérieur à ce qu'on trouve sur youtube mais également des serveurs de preprints. Et c'était sur ce contraste-là que je voulais attirer l'attention d'un public non spécialiste. Et je n'ai pas vu l'intervention de Roland Cayrol mais, connaissant son travail, je ne doute pas qu'un "non-expert" (voire un journaliste) de calibre puisse précisément jouer un tel rôle d'intermédiaire avec succès. Bref, merci d'apporter de la nuance et de la profondeur à mon billet!
Merci pour ces réflexions intéressantes sur les publications scientifiques, et leur valeur généralement bien supérieure à celle d'autres sources d'informations non contrôlées. Je souhaitais préciser que dans le domaine médical, le "peer review" ne se fait quasiment jamais en double aveugle, mais bien en simple aveugle: l'identité des auteurs est connue des experts qui revoient un article, mais à l'inverse, l'identité des experts n'est généralement pas révélée aux auteurs. Quelques journaux préfèrent rétablir la symétrie en révélant aux auteurs l'identité des experts (avec leur accord), ce qui paraît plus équilibré, et - surtout - plus transparent. En revanche, et ce n'est pas négligeable vu le volume de soumissions à revoir par les journaux, ce processus impose plus de rigueur et de courtoisie aux experts qui revoient un article, surtout si ce dernier est contestable...
Passionnant débat!
Marc Buyse,
International Drug Development Institute, Louvain-la-Neuve
Je m'appelle Sophie et j'ai 38 ans.
Après une rupture brutale avec mon compagnon qui m'a plongée dans une dépression terrible et une envie d'en finir et après avoir dépensée des sommes incroyables avec des marabouts qui m'ont pris mon argent et sans aucuns résultats.Une amie m'a donné son site et j'ai contacté ce maitre et elle m'a redonné goût à la vie et utiliser sa magie qui m'a quand même bien aidé à un prix raisonnable en plus et aujourd'hui je voulais témoigner pour la remercier et mon nouveau compagnon qu'elle avait vue arriver enfin juste pour dire que je nage dans le bonheur et que sans elle je ne serais plus de ce monde aujourd'hui. voila son adresse email : puissantmarabout2020@outlook.fr ; et son telephone : +22952 3553 76
Enregistrer un commentaire