Non, les études randomisées ne sont pas la panacée !

Avec cette affaire du traitement du professeur Didier Raoult contre la covid19 la randomisation a été constamment affirmée comme la condition incontournable de validité d’un traitement alors que Didier Raoult mais aussi Christian Perronne ont soutenu le contraire. Cette polémique fut même particulièrement violente, au moins verbalement mais pas que car elle a largement orienté les décisions gouvernementales et le traitement des malades.

Dans l’exemple de la tuberculose et de la streptomycine, une randomisation avait été appliquée à 107 cas dont 52 non traités contre 55 traités pour démontrer son efficacité sur la tuberculose. Les résultats très favorables furent publiés en 1948 [1]. Comme ils furent confirmés par la suite sur le terrain, cela contribua à promouvoir la méthode par randomisation et surtout à la faire considérer comme incontournable alors qu’il aurait été possible de comparer directement avec l’évolution de la tuberculose en l’absence de traitement, évolution bien connue et établie sur des dizaines de milliers de cas. Certes, cette randomisation pouvait permettre de gommer les biais de sélection au sein des 107 cas retenus dans l’étude mais était évidemment sans effets sur les biais qui pouvaient exister entre la population générale et la sélection de ces 107 cas.

Je vais illustrer cette problématique sur un exemple fabriqué à partir d’une situation réelle avec 2 traitements A et A’ pour traiter les calculs rénaux qui n’auront pas la même efficacité sur les petits et les gros calculs, ce qui peut être un facteur caché de confusion.

Ainsi, A aura une probabilité p1 de guérison des petits calculs et p2 pour les gros. De même A’ aura une probabilité p’1 pour guérir les petits calculs et p’2 pour les gros. On aura donc en réalité 4 inconnues. Un échantillon où l’on ne dissocie pas entre les petits et les gros calculs conduira à une équation (ou inéquation) avec 4 inconnues ce qui sera tout à fait insuffisant pour conclure que A et A’ seraient équivalents (ou différents), cette équivalence s’exprimant par p1=p’1 et p2=p’2. Il s’agit là d’une certitude mathématique que je vais illustrer numériquement.

Je prends p1=p’2=30 % et p2=p’1=70 % qui assure p1+p2=p’1+p’2. Mon échantillon sera constitué de 200 cas dont 100 petits calculs et autant de gros. Grâce à la randomisation j’aurai 2 échantillons de 100 cas avec 50 petits et 50 gros calculs dans chacun de ces 2 groupes. Le groupe traité par A donnera 50×30%+50×70%=50 guérisons. Celui traité par A’ donnera 50×70%+50×30%=50 guérisons. Je vais donc déclarer que les 2 traitements A et A’ sont équivalents alors qu’en réalité il n’en est rien ! Cette erreur peut conduire à des situations dommageables en pratique.

Ainsi, dans une population il y a 1000 cas dont 200 petits calculs et 800 gros. Si je traite par A j’aurai 200×30%+800×70%=620 guérisons alors que par A’ j’aurai 200×70%+800×30%=380 guérisons.

Comme la répartition des petits et gros calculs a toute chance d’être liée aux habitudes alimentaires très variables d’une région à une autre, on voit que l’affirmation fausse que les 2 traitements seraient équivalents ne sera pas sans conséquences. Mais peu importe ici. Cet exemple devrait suffire pour démontrer clairement que la randomisation à elle seule n’apporte aucune garantie d’élimination des biais de sélection entre la population générale et l’échantillon retenu pour procéder à la randomisation pourtant présentée comme un tampon officiel de garantie de qualité.

[1] Streptomycin in tuberculosis trial committee. Streptomycin treatment of pulmonary tuberculosis. Medical research council investigation. Br Med J 1948; ii : 769-82

via Non, les études randomisées ne sont pas la panacée ! – La Question des Vaccins