Le paradoxe du faux positif

Les amis,

Observons Patty.....

Patty préparait un cours sur le Théorème de Bayes.  Elle avait toujours pensé que ce théorème était le plus profond en termes de probabilité et de statistiques.  Elle se rappela une application réelle lorsque sa meilleure amie avait passé le test de Tine de la tuberculose avant de se marier et avait été testée positive.  Le test disait être précis à 99,9 % pour identifier une personne atteinte de TB. Son amie fut anéantie de découvrir qu'elle avait cette maladie ancienne et redoutable.  D'autres recherches ont découvert que le chiffre 99,9 % signifiait plus précisément que « si vous avez la maladie, ce test la détectera dans 99,9% des cas. »  Il y avait un chiffre important non dit : les faux positifs.  Ce taux était de 5 %.  Avec si peu de personnes atteinte de TB, un taux de faux positifs de 5 % indiquerait que presque toutes les personnes positive à la TB seraient des faux positifs et donc n'auraient pas la TB.  Et c'était le cas, pour le plus grand soulagement de tous, de son amie.  Cette situation est un exemple du paradoxe du faux positif .

Pendant que Patty était perdue dans ses pensées, elle fut surprise par la sonnerie de son téléphone.  Elle regarda le code de la région et compris que c'était un appel de son ancienne société, ACME.  Elle décrocha.

« Professeur Coleman », répondit Patty. Elle aimait entendre ça.

« Hé Patty ! C'est Reggie Pierpont ! » dit la voix enjouée.

Le cœur de Patty fit un bond.  Reggie était un bon gars mais il était toujours impliqué dans des choses qu'il ne comprenait pas et convainquait souvent la direction d'appliquer des stratégies chères et inefficaces.  Il était très persuasif.

« Reggie, que se passe-t-il ? » Dit Patty à contrecœur.

« Hé bien, Madigan a insisté pour que je t'appelle avant que nous ne commandions de nouveaux testeurs.  Je pense que c'est une perte de temps mais je suis les ordres », déclara Pierpont.

« Quels sont les détails ? » Demanda Patty.

« Nous avons un contrat de fabrication de cent mille téléphones Druide par semaine.  Nous sommes sûrs que notre rendement de passage est de plus de 99 % », commença-t-il.

« Impressionnant », dit sincèrement Patty.

« Je veux commander des testeurs qui identifient un téléphone défectueux à l'aide d'un test rapide et fonctionnel avec une certitude de 99,9%.  Les testeurs sont très chers alors Madigan veut effectuer un test de sécurité avant de les acheter.  L'autre information importante est que nous seront fortement pénalisé par le client pour chaque téléphone défectueux que nous envoyons », poursuivit Reggie.

« Hé bien, avec une forte pénalité, 99,9 % est le bon chiffre. Que faites-vous des unités déterminées comme étant défectueuse par le testeur ? » Demanda Patty.

« Hé bien, c'est une bonne chose que les rendements soient élevés.  Les téléphones sont si complexes que nous avons une procédure très longue pour trouver le défaut et le régler. Simplement trouver un défaut coûte de 5 à 10 dollars de main d'œuvre mais, en tenant compte de la valeur d'un téléphone, cela vaut la peine.  Comme je l'ai dit, c'est une bonne chose que les rendements soient élevés car nous n'avons pas trop d'unités qui ont besoin de cette procédure », poursuivit Pierpont.

« Qu'en est-il des faux positifs avec les testeur ? » Demanda Patty.

« Ce ne devrait pas être un problème, souviens-toi que le testeur est précis à 99,9 % », répondit Pierpont.

Patty savait que Pierpont passait à côté de la question mais elle ne voulait pas l'embarrasser....pas trop.

« Reggie, d'après ce que tu m'as dit, si une unité est défectueuse le testeur la repèrera dans 99,9 % des cas.  Ce que je demande est, si une unité est bonne, à quelle fréquence le testeur indique-t-il qu'elle est mauvaise ? Cette situation est habituellement appelée un « faux positif », répondit Patty.

« Hé bien, ce serait 100 - 99,9 soit 0,1 % », répondit Pierpont.

« C'est le pourcentage de mauvaises unités qui seraient qualifiées de bonnes. Ces unités sont souvent appelées des « évasions ». La seule façon de déterminer le taux de faux positifs est un test, vous ne pouvez pas le déterminer à partir du chiffre de 99,9% », poursuivit Patty.

Il n'y eu qu'un silence à l'autre bout du fil.

«Que dois-je faire pour obtenir le chiffre des faux positifs ? » Demanda Reggie.

« Vous devez tester environ 1000 unités que vous savez bonnes et voir combien de fois le testeur indique qu'elles sot mauvaises », dit Patty.

« Je ferai cela avec avec le testeur emprunté que la société nous permet d'utiliser et je reviendrai vers vous », répondit Pierpont.

Patty raccrocha le téléphone.  Elle pensa qu'il était intéressant que le problème de Pierpont soit si étroitement lié au théorème de Bayes et au cas de faux positif au test de Tine de son amie.

Deux jours passèrent et Patty, Rob et Pete venaient tout juste de déjeuner avec le Professeur.  Ils le rencontraient souvent pour discuter des problèmes techniques auxquels ils faisaient face. Alors, ils lui proposèrent de déjeuner.

Alors qu'elle entrait dans son bureau, Pete parla.

« Reggie Pierpont vous a-t-il contacté ? » Demanda Pete.

« Non, j'y ai échappé, plaisanta Patty.

A cet instant, son téléphone sonna. C'était Pierpont.

« Hé, Reggie ! Quoi de neuf ? » Demanda Patty avec plus d'enthousiasme que ce qu'elle ressentait.

« Hé bien, le testeur dit que 5 % des bonnes unités sont mauvaises, je pense que vous allez me dire que c'est un problème », commença Pierpont.

« Que se passe-t-il si vous les testez à nouveau ? » Demanda Patty.

« C'est le résultat après deux ou trois passages ! Si nous les testons une seule fois, le taux est de 7 % », soupira Reggie.

« Hé bien, regardons les chiffres.  Vous fabriquez 100 000 unités par semaine, avec un taux de faux positifs de 5 %, c'est-à-dire 5 000 unités. Votre perte de rendement est de 1%, soit 1 000 unités. Donc, environ 6 000 unités seront déclarées mauvaises par le testeur alors que seulement 1000 le sont.  Ces chiffres sont un peu exagérés. Le théorème de Bayes nous donnera des chiffres précis mais ceux-ci sont très proches.   Comme votre procédure d'analyse des échecs avec le testeur coûte au moins 5$ par unité, vous perdrez 25 000 $ par semaine à cause des faux positifs », développa Patty.

« Il est temps de changer de stratégie », soupira Pierpont.

Patty et Pete convinrent d'aider Pierpont à travailler avec les fournisseurs de testeur pour élaborer une meilleure stratégie.

Épilogue:

Patty et Pete aidèrent Pierpont à élaborer une stratégie de test efficace en travaillant avec un fournisseur de test.  Ni Patty ni Pete ne connaissait bien Reggie auparavant...mais, après cet effort commun, ils se rapprochèrent.  Reggie s'impliqua beaucoup dans la procédure et sembla en apprendre pas mal. Patty pu utiliser certaines données dans ses cours. 

Quelques semaines plus tard, elle reçu une belle carte. Elle l'ouvrit. Elle disait « Chère Patty, merci pour votre aide.  Nous n'aurions pas réussi sans votre aide et celle de Pete lors de notre stratégie de test.  Cordialement, votre étudiant dévoué, Mike Madigan. »

Patty fut un peu émue.

Au plaisir,

Dr. Ron

Site Internet de l'image : http://www.hgpauction.com/wp-content/uploads/2012/04/Electronic-Test-1-1024x716.jpg

Translation powered by Avalon Professional Translation