• Sandrine NGATCHOU

Loannidis: la plupart des recherches sont imparfaites; Fixons-les

Mis à jour : janv. 6

Interview traduit de l'anglais



Eric J. Topol, MD: Bonjour. Je suis Eric Topol, rédacteur en chef de Medscape. Je suis accompagné aujourd'hui du professeur John Ioannidis de Stanford, avec qui je meurs d'envie de discuter depuis longtemps. Je suis tellement content que nous puissions nous réunir. Bienvenue, John.




John P. A. Ioannidis, MD, DSc: Merci, Eric. C'est un énorme plaisir de discuter avec vous.


Devenir la conscience de la Biomédecine


Eric J. Topol, MD: Je suis votre travail et votre carrière depuis plusieurs années. Vous êtes le "contraire de la médecine". Je dis cela de manière positive.


Jusqu'à ce que j'aie finalement eu la chance de faire cette interview avec vous, je ne connaissais pas certains de vos antécédents. Vous étiez un prodige des mathématiques au lycée, vous avez reçu le prix national en Grèce et vous êtes le fils de deux médecins chercheurs. Vous semblez être fait pour ce rôle que vous avez, en termes de conscience de la biomédecine. Comment avez-vous trouvé vos racines dans ce modèle que vous épousez vraiment?


John P. A. Ioannidis, MD, DSc: J'ai été très tôt exposé à beaucoup de science. J'aimais beaucoup d'aspects différents de la méthode scientifique et de la discipline scientifique que je trouvais en mathématiques, en biologie, en laboratoire, en recherche clinique et en épidémiologie clinique. Je n'étais pas très fixé en terme de choix et je voulais m'essayer à différents types de recherche.


J'ai réalisé que je faisais des erreurs encore et encore dans presque tout ce que j'essayais. J'ai commencé à réaliser que d'autres personnes faisaient également des erreurs - au laboratoire, à la clinique et dans la littérature publiée. Les erreurs sont courantes. Ils sont humains. Certains d'entre eux sont probablement plus courants qu'ils ne devraient l'être.


Eric J. Topol, MD: Vous en êtes arrivé au point où vous avez estimé que 90% de la recherche médicale est défectueuse. [1,2] Cela devient déprimant, non?


John P. A. Ioannidis, MD, DSc: On peut le voir comme le verre à moitié vide ou à moitié plein, ou 10% plein ou peut-être un peu plus. La médecine a fait d'énormes progrès et continue de progresser. On peut se concentrer là-dessus.


La question est, comment pouvons-nous améliorer l'efficacité de ce que nous faisons? Et comment pouvons-nous diminuer les taux d'erreur? Comment pouvons-nous moins souvent être induits en erreur et envoyer nos meilleurs éléments dans des ruelles aveugles?


Si nous voyons le message positif que nous pouvons identifier les problèmes et les éliminer, c'est très optimiste.


Ce n'est pas uniquement la recherche biomédicale


Eric J. Topol, MD: Vous avez été en croisade et avez touché à presque toutes les disciplines: génétique, psychologie, neurosciences, essais cliniques, compagnies pharmaceutiques, tout ça. Plus récemment, j'ai remarqué que vous vous êtes intéressé à l'économie. [3] Y a-t-il quelque chose sur lequel vous n'avez pas travaillé?


John P. A. Ioannidis, MD, DSc: L'amusement et l'opportunité de travailler sur la méta-recherche - ou recherche sur la recherche - est que l'on se rend très vite compte que les méthodes et les pratiques de recherche, et la façon dont elles sont appliquées ou transformées, sont assez similaires dans des disciplines très différentes.


La méthode scientifique est assez unique. Il existe une hétérogénéité dans la façon dont les différentes disciplines ont la préférence pour certains aspects de celui-ci ou sur la manière de le rendre opérationnel, mais nous pouvons apprendre beaucoup en comparant les notes. Si vous regardez différents domaines, vous vous rendez compte que certains des gros problèmes auxquels nous sommes confrontés en biomédecine peuvent avoir été résolus assez facilement dans d'autres domaines et peuvent être réglés.


Inversement, on pourrait probablement transplanter de bonnes idées des disciplines biomédicales dans d'autres domaines. Les concepts sont similaires et les manifestations sont différentes. De toute évidence, les conséquences sont différentes, car en médecine, il s'agit de vies et de personnes qui meurent à cause d'informations sous-optimales.


Médecine-encore factuelle (Evidence- ish-Based Medicine)


Eric J. Topol, MD: l'objectif grand angle que vous avez appliqué est important. C'est bien plus que de la médecine, et je vous remercie beaucoup d'avoir identifié ces points communs.


Le problème que nous avons en médecine, cependant, est cette base de preuves qui, comme vous l'avez vraiment prouvé au fil des ans, est si fragile et ténue. Nous essayons de prendre des décisions pour les patients et de sélectionner des traitements et des tests et ainsi de suite. Qu'allons-nous faire puisque la plupart des preuves sont sans fondement?


John P. A. Ioannidis, MD, DSc: Certaines preuves sont fiables. Il y a un gradient. Nous avons des preuves très solides pour certains traitements, interventions et politiques et nous devons faire quelque chose à cause de cela. Sinon, ce serait vraiment stupide.


Ce n'est pas seulement pour les interventions mais pour les facteurs de risque. Même en épidémiologie observationnelle, personne ne nierait que le tabagisme est horrible et va tuer 1 milliard de personnes à moins de s'en débarrasser. Nous n'avons pas besoin d'essais randomisés pour le prouver.


Mais, bien sûr, il y a l'autre extrémité du gradient où il y a beaucoup de preuves non fiables. De nombreuses preuves sont très ténues. Nous devons former les gens à comprendre quelles sont les limites, quelles sont les mises en garde, dans quelle mesure ils peuvent faire confiance ou se méfier de ce qu'ils lisent ou de ce qu'ils voient, et ce qu'ils sont appelés à faire. Faites-leur ensuite demander de meilleures preuves.


Il n'y a aucune raison pour que nous continuions à vivre avec des preuves sous-optimales. Les cliniciens et les chercheurs cliniques devraient être à l'avant-garde, car ils se rendent compte quotidiennement qu'ils n'ont pas de preuves fiables. Ils peuvent créer des questions pour essayer d'obtenir le type de preuves dont ils ont besoin.


Ce n'est pas seulement pour les interventions mais pour les facteurs de risque. Même en épidémiologie observationnelle, personne ne nierait que le tabagisme est horrible et va tuer 1 milliard de personnes à moins de s'en débarrasser. Nous n'avons pas besoin d'essais randomisés pour le prouver.


Mais, bien sûr, il y a l'autre extrémité du gradient où il y a beaucoup de preuves non fiables. De nombreuses preuves sont très fragiles. Nous devons former les gens à comprendre quelles sont les limites, quelles sont les mises en garde, dans quelle mesure ils peuvent faire confiance ou se méfier de ce qu'ils lisent ou de ce qu'ils voient, et ce qu'ils sont appelés à faire. Faites-leur ensuite demander de meilleures preuves.


Il n'y a aucune raison pour que nous continuions à vivre avec des preuves sous-optimales. Les cliniciens et les chercheurs cliniques devraient être à l'avant-garde, car ils se rendent compte quotidiennement qu'ils n'ont pas de preuves fiables. Ils peuvent créer des questions pour essayer d'obtenir le type de preuves dont ils ont besoin.


Réflexions sur PREDIMED


Eric J. Topol, MD: Cela évoque quelque chose qui vient de se produire. Un domaine que vous avez abordé est la science nutritionnelle. Le régime méditerranéen a été étudié dans PREDIMED [4], le plus grand essai d'un régime randomisé utilisant des résultats difficiles. Il a été publié en 2013 dans le New England Journal of Medicine, et maintenant le NEJM l'a rétracté et republié [4] le même jour. Il y avait toutes sortes d'irrégularités. Quelle est votre opinion à ce sujet? C'est tout à fait dans votre sens quant à la science défectueuse.


John P. A. Ioannidis, MD, DSc: La nutrition est clairement un gâchis, et je préconise depuis longtemps que nous puissions résoudre certains de ces gâchis en exécutant des essais randomisés à grande échelle et à long terme avec des critères d'évaluation cliniques. PREDIMED était un essai qui a tenté de le faire. C'était à peu près l'exception par rapport à tout ce gâchis irréprochable d'épidémiologie nutritionnelle. J'étais très heureux de le voir publié. J'étais très enthousiaste à l'idée que nous progressions enfin.


Ma forte conviction est que PREDIMED est un essai de recherche sérieusement défectueux. Je ne peux plus lui faire confiance.

Mais malheureusement, PREDIMED a semblé suivre la voie de l'épidémiologie observationnelle en publiant des millions d'articles avec des résultats beaucoup plus fragiles, et je pense que ce que nous avons vu dans la rétractation était un signal que les données présentaient des défauts majeurs. De toute évidence, la rétractation était la bonne chose à faire. Cependant, même après la rétractation, je ne pense pas que nous ayons vu toute l'histoire.


Je pense que le problème détecté par l'analyse statistique était que les caractéristiques de base étaient si similaires. La correction qui a conduit à la republication n'explique pas que cela ne peut pas arriver par hasard; ce qui signifie qu'il n'y a aucune raison (si en effet un village entier a été randomisé en tant qu'entité plutôt qu'individuellement, ou si certains couples ont été randomisés ensemble plutôt qu'en tant qu'individus) qui n'aurait pas dû conduire au schéma détecté en testant le les caractéristiques de base.


Ma forte conviction est que PREDIMED est un essai de recherche sérieusement défectueux. Je ne peux plus lui faire confiance. J'adore l'huile d'olive. Mais je suis désolé, je ne peux pas lui faire confiance. Je pense qu'il y a des problèmes majeurs au-delà de la rétractation. Nous examinons une partie de cela et nous espérons que nous publierons des preuves montrant qu'il y a des problèmes plus profonds que cela.


Eric J. Topol, MD: C'est vraiment important parce que j'ai été influencé par des études antérieures, comme l'étude Lyon Heart, [5] qui a été assez bien faite et un essai de recherche plus petit, mais pour la prévention secondaire. Mais c'est pourquoi il est si opportun de vous parler. Une revue très médiatisée, NEJM, rétracte et republie un article le même jour. Quelque chose ne va pas avec notre système de preuve, non ?


John P. A. Ioannidis, MD, DSc: De toute évidence, et je pense que simplement republier un essai de recherche avec apparemment les mêmes résultats ne va pas le réparer. Dans le cas de PREDIMED, je dirais qu'il faudrait obtenir toutes leurs anciennes données - pas les données propres, les données brutes - avant l'arbitrage pour qu'un comité indépendant les analyse.


Si cela devait arriver, je parierais que la taille des effets diminuerait ou même disparaîtrait. Je détesterais voir ça. Je voudrais parier contre ma propre prédiction.

Mais il y a de très graves problèmes lorsque nous faisons confiance à des essais qui ne sont pas transparents. Ils n'ont aucune ouverture. Ils ne sont pas prêts à partager.

Ils ne sont pas disposés à subir une nouvelle analyse. Ils ne sont pas disposés à avoir un examen indépendant de ce qui se passe. Ceci est toujours [vrai pour] la majorité des essais randomisés publiés - dans le NEJM et dans d'autres revues également.


Eric J. Topol, MD: N'auriez-vous pas pensé que les éditeurs de NEJM, en particulier à cause de cette chose sans précédent, auraient ratissé ces données et ratissé les enquêteurs pour arriver à la transparence et à la vérité?


John P. A. Ioannidis, MD, DSc: J'aurais espéré, et j'espère toujours qu'ils permettront d'approfondir cet essai de recherche. Ce serait une opportunité perdue si nous n'en apprenions pas plus car je pense que ce n'est que la partie émergée de l'iceberg. Il se passe beaucoup plus de choses et, d'une certaine manière, PREDIMED peut être le plus honnête par rapport à d'autres essais qui peuvent être moins honnêtes.


Conflit d’intérêt intellectuel


Eric J. Topol, MD: Cela en dit long.


Vous avez souligné dans certains de vos écrits le conflit d'intérêt intellectuel. Je pense que c'est important. Pour la plupart, les gens ne comprennent pas vraiment les préjugés et le fait que tant de carrières sont associées à un système de croyance et à une poursuite particuliers. Une critique de cela est, "le rôle de John est d'être l'artiste destructeur et c'est un conflit intellectuel." Comment répondez-vous à cette accusation ?


John P. A. Ioannidis, MD, DSc: Oui, je pense que je suis partiale. Je pense que c'est inévitable et les gens devraient prendre cela pour acquis lorsqu'ils lisent mes travaux, puis lorsqu'ils lisent les travaux d'autres scientifiques. Nous avons tous des prieurs (supérieurs), et il est parfois possible de suivre ces prieurs en fonction de ce que nous avons publié.

Ce qui fait un scientifique, c'est la reconnaissance qu'il ou elle peut être partial.e

Je ne pense pas que c'est mauvais d'avoir des opinions ou des hypothèses. Je ne pense pas que ce soit mal d'avoir des croyances. Pour être honnête, lorsque je lance un nouveau projet, j'essaie d'être aussi ouvert que possible à tous les types de résultats. Si pour quelques raisons que ce soit, mes préjugés sont plus vers l'obtention de résultats non significatifs. Si j'obtiens des résultats significatifs, même sans préjugés, je dois me demander: "Pourquoi ai-je eu ça? les erreurs?" Parfois, j'ai trouvé des erreurs dans le processus, je l'espère assez tôt avant de publier.


Ce qui fait un scientifique, c'est la reconnaissance qu'il ou elle peut être partial.e. Nous devons faire attention à cette possibilité dans tout ce que nous faisons.


Pré-publications


Eric J. Topol, MD: C'est vraiment une excellente réponse. L'une des choses qui m'a surpris, parce que vous sortez habituellement du côté négatif de presque tout, sauf les préimpressions. Vous êtes plutôt positif sur les prépublications. [6] Dites-nous pourquoi c'est le cas.


John P. A. Ioannidis, MD, DSc: Les prépublications sont une occasion de diffuser largement et plus tôt la recherche qui doit être publiée de manière définitive, et d'ouvrir cette recherche à la critique à un stade précoce à l'ensemble de la communauté scientifique. On pourrait dire: "Eh bien, il n'y a pas d'examen par les pairs ici." Je suis un fervent partisan de la nécessité de l'examen par les pairs, mais l'examen par les pairs n'est pas optimal. Parmi les articles qui sont soumis, le retour effectué : améliore probablement sensiblement environ 20%, aggrave environ 5% et 75% ne changent probablement pas grand-chose d'autre que simplement sur le plan linguistique ou stylistique.


Si nous pouvions avoir un système où les informations sont disponibles dès le début à l'ensemble de la communauté scientifique pour examiner, commenter et faire des suggestions d'amélioration avant d'avoir le document "définitif", je pense que c'est une bonne chose. Les gens doivent simplement se rendre compte qu'il ne s'agit que d'une diffusion précoce des informations et que cela doit être pris avec un niveau de prudence supplémentaire.


Eric J. Topol, MD: Je suis un grand fan mais la seule préoccupation que j'ai eu est que certaines disciplines, en particulier l'intelligence artificielle, plusieurs considèrent maintenant cela comme la soumission finale. De nombreux articles sont soumis sans aucune intention d'essayer de passer par le processus d'examen par les pairs - pas que l'examen par les pairs soit si bon, mais au moins il existe une autre couche d'évaluation indépendante.


Pouvons-nous mettre cela sur la bonne voie?


Eric J. Topol, MD: Je pense qu'il est remarquable que vous ayez endossé le rôle de la conscience du terrain, et votre travail a été si percutant - l'article numéro un cité dans PLoS Medicine et dans bien d'autres revues également. Maintenant que vous avez exposé les problèmes, où allez-vous à partir de ce constat ? Faites-vous de même? Comment obtenez-vous des choses sur la bonne voie?


John P. A. Ioannidis, MD, DSc: Mon souhait n'est pas d'exposer les problèmes. Évidemment, il y a beaucoup de problèmes, donc ce n'est pas grave d'en signaler un autre, et il faudra continuer à signaler des problèmes. Mon souhait est d'essayer de résoudre les problèmes. Je veux m'assurer que le travail que je fais et le travail des autres qui travaillent avec moi orientent vers des solutions plutôt que de simplement identifier les problèmes.


1% amélioration grâce à l'adoption d'un meilleur processus scientifique dans le domaine scientifique représente un progrès considérable. Cela pourrait se traduire par des dizaines de millions de vies sauvées.

Une grande partie du travail que j'ai effectué au Meta-Research Innovation Center de Stanford au cours des 4 dernières années a porté sur l'identification de solutions. Il peut ne pas être facile de documenter les solutions et de trouver des preuves pour les soutenir. Tout comme les interventions en médecine ou dans toute autre spécialité, nous avons besoin de preuves sur les solutions proposées. On peut avoir beaucoup d'idées, mais certaines peuvent être horribles, certaines peuvent être neutres et ne faire aucune différence, et certaines peuvent fonctionner.


La bonne chose est que les scientifiques en général veulent mettre la science en meilleure forme. Je ne pense pas que les gens veuillent cacher des choses sous le tapis; de nombreuses communautés scientifiques proposent des solutions, les mettent en œuvre, les testent et constatent des améliorations majeures dans la crédibilité et la transparence de leur travail. Il s'agit de donner un sens aux options, de les hiérarchiser, de les tester, de se débarrasser des fausses pistes et de progresser davantage.


1% d'amélioration grâce à l'adoption d'un meilleur processus scientifique dans le domaine scientifique représente un progrès considérable. Cela pourrait se traduire par des dizaines de millions de vies sauvées.


Eric J. Topol, MD: Wow, point formidable. J'ai noté que les algorithmes sont utilisés pour filtrer les articles en ce qui concerne les statistiques et utilisent l'intelligence artificielle. C'est peut-être l'une des nombreuses façons dont nous pouvons résoudre ces problèmes.


John, je veux vous remercier - pas seulement pour cette interview, mais pour le rôle plus important que vous avez joué en médecine. Vous nous avez tellement appris. Vous avez vraiment eu un effet fantastique, comme un réveil, et cela ne s'est pas produit qu'une seule fois; c'est tout le temps. Chaque fois que je vois quelque chose de gravement défectueux ou peut-être défectueux, je pense à vous. Merci pour tous vos efforts et votre recherche continue de preuves réelles et pour l'excellence de la recherche. Bonne chance et succès continu à vous et à vos collègues de Stanford.


John P. A. Ioannidis, MD, DSc: Merci, Eric, ce fut un grand plaisir d’échanger avec vous, et j'espère que nous aurons d'autres bonnes nouvelles la prochaine fois.


Eric J. Topol, MD: Excellent. Merci de vous joindre à nous et merci à vous tous à Medscape et à notre public de vous être joints à nous dans cette série de personnes parmi les plus intéressantes de la médecine.


Sources :

Ioannidis: Most Research Is Flawed; Let's Fix It

https://www.medscape.com/viewarticle/898405#vp_4


[1] : Contradicted and initially stronger effects in highly cited clinical research.

https://www.ncbi.nlm.nih.gov/pubmed/16014596


[2] : Why Most Published Research Findings Are False

https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124


[3] : The Power of Bias in Economics Research

https://www.bitss.org/2017/10/24/the-power-of-bias-in-economics-research/


[4} : Primary Prevention of Cardiovascular Disease with a Mediterranean Diet Supplemented with Extra-Virgin Olive Oil or Nuts

https://www.nejm.org/doi/full/10.1056/NEJMoa1800389


[5] : Mediterranean Diet, Traditional Risk Factors, and the Rate of Cardiovascular Complications After Myocardial Infarction

https://ahajournals.org/doi/full/10.1161/01.cir.99.6.779


[6] : Biomedical Journals and Preprint Services: Friends or Foes?

http://clinchem.aaccjnls.org/content/63/2/453

10 vues