La Paradoja del Falso Positivo

Amigos,

Veamos en qué anda Patty....

Patty estaba preparando de manera intensa una clase sobre el Teorema de Bayes. Siempre creyó que este teorema era el más profundo en probabilidad y estadísticas. Recordó una aplicación real, cuando su mejor amiga se hizo una Prueba Tuberculínica de tuberculosis antes de que ella se casara, y el resultado fue positivo. La prueba se consideró un 99.9% precisa en la identificación de alguien con TB. Su amiga estaba desvastada al saber que aparentemente tenía esta antigua y temida enfermedad. Una investigación posterior descubrió que el número 99.9% era más precisamente enunciado como "si usted tiene la enfermedad esta prueba la detectará el 99.9% de las veces.” Había una cifra importante no dicha: los falsos positivos. Esta proporción era 5%. Con tan pocas personas que tenían TB, una proporción del  5% de falso positive indicaría que casi todos los que se hicieran la prueba de TB, serían un falso positivo, por lo tanto no tendrían TB. Así fue, para alivio de muchos, con su amiga. Esta situación es un ejemplo de la paradoja del falso positivo.

Mientras Patty estaba concentrada, fue sorprendida por el sonido de su teléfono. Miró el código de área e intercambio y supo que era de su vieja compañía, ACME. Levantó el teléfono.

“Profesora Coleman”, respondió Patty. Le gustaba como sonaba.

“¡Hola Patty! ¡Soy Reggie Pierpont!” anunció la alegre voz.

El corazón de Patty se hundió. Reggie era un buen hombre, pero siempre se involucraba en cosas que no comprendía y con frecuencia convencía a la gerencia de perseguir estrategias costosas e ineficaces. Era así de persuasivo.

“¿Qué pasa Reggie?” Dijo Patty con poco entusiasmo.

“Bien, Madigan insistió en que te llamara antes de pedir algunos probadores nuevos. Creo que es una pérdida de tiempo para ti, pero estoy siguiendo órdenes", dijo Pierpont.

“¿Cuáles son los detalles?” Preguntó Patty. 

“Tenemos un contrato para producir cien mil teléfonos móviles Druid por semana. Confiamos que nuestro rendimiento de primera pasada es mayor al 99%", comenzó él.

"Impactante”, dijo Patty con sinceridad.

“Quiero ordenar algunos probadores que identifiquen un teléfono defectuoso en una prueba funcional rápida con 99.9% de certeza. Los probadores son muy costosos, entonces Madigan quiere una comprobación de seguridad antes de comprarlos. La otra información importante es que obtenemos una penalización enorme del cliente por cualquier teléfono defectuoso que enviemos”, Reggie continuó.

“Bien, con una penalización grande, 99.9% es el número correcto. ¿Qué haces con las unidades que el probador determina que son defectuosas?” Preguntó Patty.

“Bien, es algo bueno que los rendimientos sean altos. Los teléfonos son tan complejos que tenemos un proceso bastante prolongado para encontrar el defecto y arreglarlo. Solo descubrir un defecto puede costar $5 a $10 dólares de trabajo pesado, pero, considerando el valor de un teléfono, vale la pena. Como dije, es algo bueno que los rendimientos sean altos entonces no tenemos demasiadas unidades que necesiten este procedimiento", continuó Pierpont.

“¿Qué ocurre con los falsos positivos que detecta el probador?” Preguntó Patty.

“No debería ser un problema, recuerda que el probador es 99.9% de preciso”, contestó Pierpont.

Patty sabía que Pierpont no había entendido su pregunta, pero no quería avergonzarlo...demasiado.

“Reggie, a partir de lo me contaste, si una unidad es defectuosa el probador lo detectará el 99.9% de las veces. Lo que estoy preguntando es, si una unidad es buena, ¿con que frecuencia el probador dice que es mala? Esta situación normalmente se llama un "falso positivo”, respondió Patty.

“Bien, sería un 100 – 99.9 o 0.1%,” Pierpont respondió.

“Ese es el porcentaje de unidades malas que serían llamadas buenas. Estas unidades con frecuencia se llaman "fugas”. La única manera de determinar una proporción de falso positivo es con una prueba, no puede determinarse a partir del número 99.9%”, siguió Patty.

Hubo un silencio del otro lado del teléfono.

“¿Qué debo hacer para obtener la cifra de falso positivo?” Preguntó Reggie.

“Necesitas hacer una prueba de 1.000 unidades que se sepa son buenas y ver cuántas dice el probador que son malas”, dijo Patty.

“Haré eso con el probador prestado que la compañía del probador nos está dejando utilizar y volveré a hablarte”, respondió Pierpont.

Patty colgó el teléfono. Pensó que era interesante que el problema de Pierpont estuviera tan estrechamente relacionado con ambos el Teorema de Bayes y el falso positivo de su amiga con la prueba de Tuberculina.

Pasaron dos días y Patty, Rob y Pete recién habían regresado de almorzar con el Profesor. Se reunían todos con él con bastante frecuencia para discutir los problemas técnicos que tenían. Entonces, lo habían invitado a almorzar.

Cuando entró a su oficina, Pete habló.

“¿Se comunicó nuevamente Reggie Pierpont alguna vez?” Preguntó Pete.

“No, quizás me libré, bromeó Patty.

En ese momento, sonó su teléfono. Era Pierpont.

“¡Hola Reggie! “¿Qué sucede?” Patty preguntó con más entusiasmo del real.

“Bien, el probador dice que el 5% de las unidades buenas son malas, Creo que vas a decirme que esto es un problema”, comenzó Pierpont.

“¿Y si los pasas nuevamente por el probador?” Preguntó Patty.

“¡Eso ES pasándolos dos o más veces! Al pasarlos solo una vez, era 7%”, suspiró Reggie.

“Bien, veamos los números. Estás haciendo 100.000 unidades por semana, con una proporción de 5% de falso positivo eso es 5.000 unidades. Tu pérdida de rendimiento es 1% o 1.000 unidades. Entonces, tendrás aproximadamente 6.000 unidades que el probador declarará como malas cuando sólo 1.000 lo serán realmente. Estas cifras no son del todo exactas. El Teorema de Bayes nos proporcionará las cifras exactas, pero estas están muy cerca. Dado que tu proceso para analizar las fallas luego del probador cuesta al menos $5 por unidad, estarás perdiendo $25K por semana a causa de los falsos positivos", desarrolló Patty.

“Es hora de una estrategia nueva”, suspiró Pierpont.

Patty y Pete aceptaron ayudar a Pierpont a trabajar con los proveedores del probador para desarrollar una estrategia mejor.

Epílogo:

Patty y Pete ayudaron a Pierpont a desarrollar una estrategia efectiva de prueba junto un proveedor de probadores. Ni Patty ni Pete habían conocido bien a Reggie antes...pero después de este esfuerzo conjunto, se acercaron mucho. Reggie se comprometió bastante con el proceso y parecía aprender bastante. Patty pudo utilizar algunos datos en sus clases.

Algunas semanas después recibió una hermosa tarjeta en su correo electrónico. La abrió. Leyó, “Querida Patty: gracias por toda tu ayuda. No lo hubiéramos logrado sin la ayuda de ustedes con nuestra estrategia de prueba. Saludos, tu fiel alumno, Mike Madigan."

Patty se rió un poco.

Saludos,

Dr. Ron

Sitio Web para la imagen: http://www.hgpauction.com/wp-content/uploads/2012/04/Electronic-Test-1-1024x716.jpg

Translation powered by Avalon Professional Translation