Entendiendo los tests

c0b4c

Hola a todos y a todas,

como llevamos unas semanas con la turra de los tests en las noticias, que si homologados, que si no homologados, que si rapidos, que si lentos... Hoy vengo a explicar algunos conceptos basicos que nos ayudaran a entender un poquito mejor (incluso, con esfuerzo, mejor que algunos medicos) como se relaciona el diagnostico medico con la teoria de la probabilidad. Mi objetivo es que, si leeis el post completo, podais entender que el concepto "test fiable" es falaz de manera individual, y que en realidad dicha fiabilidad tiene que estar sujeta a unas condiciones que han de acompanyar dicha declaracion. Por ejemplo, "el test es fiable si asumimos X, bajo condiciones Y" podria ser una afirmacion correcta una vez inspeccionamos X e Y.

Bien, comencemos. Lo primero que tenemos que entender es el teorema de Bayes. Dicho teorema dice, grosso modo, que la probabilidad de que un evento A ocurra dado a un evento B -escrito P(A|B)- depende de: la probabilidad de que ocurra A -P(A)-, la probabilidad de que ocurra B -P(B)-, y de la probabilidad de que ocurra B dado A -P(B|A)-. Escrito de la siguiente manera:

P(A|B) = P(A) * P(B|A) / P(B).

Esto es un poco lioso por ahora, pero es necesario introducirlo. Luego le pondre nombre a cada termino y lo entenderemos mucho mejor. De donde viene todo esto? Bien, si nos imaginamos estos dos eventos, A y B, en un diagrama de Venn como el siguiente:

Si entendemos las areas como probabilidades, el area con lineas negras representa la probabilidad de que A y B ocurran a la vez. Esto se escribe P(A∩B). Y se puede calcular como:

P(A∩B) = P(A) * P(B|A),

leido como 'la probabilidad de que ocurra A multiplicada por la probabilidad de que ocurra B dado A' (tiene sentido si lo leemos varias veces). Esto es la probabilidad de que A y B ocurran a la vez, recalco. Pero esto se puede leer al reves. Es 'la probabilidad de que ocurra B multiplicada por la probabilidad de que ocurra A dado B'. O bien podemos escribir:

P(A∩B) = P(B) * P(A|B).

Si igualamos las dos ecuaciones anteriores (las dos representan lo mismo, la probabilidad de que ocurran ambos eventos a la vez), podemos escribir:

P(B) * P(A|B) = P(A) * P(B|A).

Y despejando uno de los dos condicionales podemos llegar al teorema de Bayes inicial:

P(A|B) = P(A) * P(B|A) / P(B).

Bien, una vez tenemos claro que el teorema de Bayes no es arte de magia, si no mas bien logica (algunos me mataran por esto), que demonios tiene todo esto que ver con los tests?
Pues muy sencillo. Nosotros asociamos la efectividad de los tests a que dos eventos ocurran a la vez, y estos eventos son: infectado y positivo, o no infectado y negativo.
Es decir, se dice que un test "dice la verdad" cuando el resultado que muestra es positivo con pacientes infectados, y el resultado es negativo con pacientes sanos.

Hasta aqui espero que todo bien, aunque quiza todavia te estes preguntando que tiene que ver el teorema de Bayes en todo esto. Bien.

Vamos a cambiarle el nombre a los eventos. Vamos a cambiar A por "infectado", y B por "positivo".

P(infectado|positivo) = P(infectado) * P(positivo|infectado) / P(positivo).

Vamos a ignorar P(positivo) por ahora porque no tiene demasiada relevancia para lo que quiero explicar. Por lo tanto:

P(infectado|positivo) = P(infectado) * P(positivo|infectado)

Resulta que P(positivo|infectado) es lo que se llama "sensitividad" del test. Esto es la probabilidad que tiene el test de devolver un positivo cuando se le realiza a una persona infectada. Es la probabilidad de que el test detecte el virus. Pero recordemos que es algo muy diferente a la probabilidad de que la persona este infectada cuando el test dice positivo. Esto otro es lo que tenemos al otro lado de la ecuacion: P(infectado|positivo). Y depende de otro factor.

Aha, estamos llegando a la conclusion.

Resulta que la probabilidad de que una persona este infectada, dado que el test ha devuelto positivo, depende tambien de la probabilidad de que esa persona este infectada: P(infectado). Este termino se conoce como prevalencia, y es la clave de todo. Esto representa los X e Y que comentaba al principio.

La prevalencia es un factor MUY dificil de conocer y que vamos a asumir en la mayoria de ocasiones. En un hospital colapsado, con personas con los mismos sintomas, podemos asumir que la prevalencia es alta, y por lo tanto los tests generalmente devolveran una respuesta correcta.

Ahora bien, hacer tests aleatorios en comunidades donde la prevalencia es desconocida (por ejemplo a todo un pais), es un error y no va a devolver numeros fiables. Para muestra un ejemplo (no es importante que sepais los aspectos tecnicos de los terminos que voy a escribir):

Vamos a suponer que se trata de un test "muy muy fiable": sensitividad 95%, especificidad 95%.
Ahora vamos a suponer dos escenarios: hospital con prevalencia del 50%, y Espanya con prevalencia 5%.
Si hacemos los numeros, en el hospital la probabilidad de que una persona este infectada dado que el test ha salido positivo es del 95%, mientras que en el caso de Espanya, la probabilidad es de aproximadamente el 48% -casi como echar una moneda al aire-.

Esta discrepancia en la "efectividad" de los tests de debe unicamente a que se han aplicado en entornos distintos, con suposiciones distintas, y condiciones distintas. Incluso tratandose de un test que a todas vistas cualquiera diria que es suuuuuuuuper fiable, resulta que su fiabilidad no es tal en determinadas ocasiones.

Asi que, amigos y amigas, cuando alguien os diga que un test es "fiable, homologado, y con todas las garantias", preguntadle cual es su a priori :)

Un abrazo.

PD: Se me olvidaba recalcar que con esto se demuestra que los tests no son los salvadores, y tener 627478264 tests no va a mejorar demasiado la situación. Tampoco está claro que vayan a servir para ir quitando gente de cuarentena progresivamente (estamos trabajando en un paper sobre esto, quizá lo tengamos esta semana).

26
TheDamien

El problema es que ya no se están haciendo los tests que se hacían al principio, por ende, hay menos infectados y la curva se empieza a frenar y en la barra del bar me han dicho que en un mes salimos a la calle, pero la pregunta es, de que manera van a tapar la realidad, cuando salgamos todos a la calle de nuevo y los asintomáticos empiecen a contagiar a todo el mundo de nuevo?

Por que dudo que en un mes hayan 0 infectados, y solo habiendo uno, puede volver a empezar la cadena de uno infecta a tres, tres infectan a ocho...

UnLiMiTeD

Y como explicas la eficacia de hacer tests masivos en corra del Sur?

2 respuestas
Bl3sS

Pero entonces el problema no es de la efectividad de los test sino de la muestra de pacientes ¿no? (seguramente ni me he enterado de la mitad)

De todas maneras de nada te sirve hacer 15.000 test diarios en una población de 40M y decir que solo tienes 1k positivos al día y si al día siguiente tienes 900 es que la cosa va mejor, la realidad es que hay millones de infectados y solamente una monitorización individual nos dejaría saber si la cosa va mejor o a peor.

"soy el gobierno y he decidido que a partir de hoy solo vamos a hacer 3000 test diarios. Anda pero si solamente tenemos 200 infectados! Eso es que la cosa va mucho mejor ya prácticamente estamos a punto de solucionar el problema"

JonaN

Muy buena aportación. Pensaba que la especificidad sería mejor que la sensibilidad en estos tests, los números que has usado de 95% para ambas son representativos? Porque usando por ejemplo 95 y 98 para sens/esp ya sale 71% en el segundo caso. Y eso es asumiendo 5% de población infectada, que yo creo que es bastante bajo.

Edit: la otra cara de la moneda es que, usando tus números, en el segundo caso sale 99.7% de probabilidad de estar sano si el resultado es negativo. Así que sería tirar una moneda en ese 5% de positivos (y en vez de aislar al 2.5% real aislarías a todos ellos para asegurar), pero también podrías dejar de aislar al otro 95% con una confianza altísima. Supongo que esto sería útil.

kaseiyo

Parte del problema es que no tenemos ni una aproximación de cuántos infectados reales hay.

Para eso habría que hacer unos 60k de test a la población para poder tener un intervalo de confianza del 95% de fiabilidad de cuántos infectados reales tenemos.

Probablemente tengamos muchos más infectados y asintomáticos pero sino hacemos el ejercicio estamos jodidos para tomar alguna decisión

HaNiBaL

#1 Hola,

Lo que no acabo de entender es:

  • Suponiendo que le hacemos una prueba a una persona, en medio del desierto de los monegros. Pocas probabilidades que se haya infectado.
    Si la especificidad del test es del 95% (entiendo que en un 95% va a detectar X compuesto asociado al virus en cuestión). ¿como puede ser la probabilidad más baja que su especificidad? ¿No habría entonces un fallo en estos tests?

Piensa que trabajo en un laboratorio de análisis químico, donde esas probabilidades de error no nos las podemos permitir. Entiendo que los análisis biológicos no son iguales, pero me sorprende lo que comentas.

Gracias por adelantado.

1 respuesta
JonaN

#7 En una población con muchísimos más sanos que infectados, si tu sensibilidad y especificidad son iguales, tendrás tantos positivos reales como positivos falsos. Si tienes 5 infectados y 95 sanos, aunque detectes 5/5 reales, el 5/95 (redondeando) de positivos falsos en gente sana hacen que 5 de tus 10 positivos totales sean falsos.

No sé si esto responde a tu pregunta, es una forma simplificada de verlo.

2 1 respuesta
Nirfel

Podrias explicar:

#1c0b4c:

Ahora bien, hacer tests aleatorios en comunidades donde la prevalencia es desconocida (por ejemplo a todo un pais), es un error y no va a devolver numeros fiables.

Los test masivos no parten de hacer test aleatorios, si no de extender el marco en el cual se hacen los test.

-Actualmente: Test a pacientes con cuadro clínico de Corona y al menos 40° fiebre que requieren de hospitalizacion.

-Deseado: Gente que haya estado en contacto cercano con un caso positivo (familiares que vivan con él) o gente que presenta un cuadro clinico de Corona sin tener 40° de fiebre y que no requieran hospitalizacion.

La idea es detectar los casos positivos antes de que los portadores puedan contagiar y propagar el virus.

Estás asumiendo que, se va a hacer un test aleatorio en España , siendo la prevalencia del 5% y la fiabilidad del test un 95%, lo que es erróneo.
Lo que se va a hacer es coger a una persona que ha tenido contacto cercano con un caso positivo o alguien con cuadro clínico de corona moderado que seguramente tenga una prevalencia mucho más alto que ese 5%.
Seguramente la prevalencia de estos casos no llegue al 50% de un hospital, pero si tienen digamos un 20% ya no es tirar una moneda al aire.

2
michi

#3 Creo que les ha ayudado tanto o incluso mas el uso masivo y obligatorio de mascarillas la verdad, sin quitarle importancia a los tests.

HaNiBaL

#8 Gracias, creo que te entiendo.

Quieres decir que ese 95% de efectividad hará que detectes los 5 infectados, pero debido al 5% de error y dado que la muestra son 100 personas, también detectaremos 5 personas como positivo, que no lo serán.

Por lo tanto la efectividad real del test, en este caso, sera del 50%. ¿es correcto?

Entonces, al final, lo que estamos mirando la efectividad de los test a nivel estadístico para grandes muestras. Creo que, quizás, el grueso de la gente no llegue a entender este forma de ver la gestión de las pruebas...

Entonces, si no lo he entendido mal, las mejores zonas o ubicaciones donde hacer tests masivos sería profesionales sanitarios y residencias de ancianos. Ya que son los que con mas probabilidad pueden haber contraído la enfermedad. ¿Es correcto esto también?

Muchas gracias.

1 respuesta
JonaN

#11 lo has interpretado bien, sí. Pero decir que la efectividad del test es el 50% es ambiguo y depende de la métrica que uses, como decía en un post anterior.

Bajo ese contexto, y si das positivo, existe el 50% de probabilidad de que estés infectado realmente. Pero si das negativo, hay un 99'7% de probabilidad de que estés sano. Esto implicaría que a los que dan positivo tendrían que aislarlos (aunque la mitad de ellos estén sanos), pero los que dan negativo podrías estar casi seguro de que no están infectados. Y, repito que bajo esas suposiciones, en torno al 90% darían negativo (95% del 95% no infectado + 5% del 5% infectado).

Edit: de hecho, estrictamente hablando y usando la tabla de #13 , la precision sería 50%, pero negative predictive value 99'7% y accuracy 95%

1
Krules

Versión family friendly.

c0b4c

#2 es una buena pregunta, y es algo que estamos intentando saber. Como tenemos que proceder a la hora de remover la cuarentena, para que la olas de nuevos infectados no se descontrolen. No tiene facil respuesta.

#3 creo (a lo mejor me equivoco) que estas dandole todo el merito de la actuacion de CdS a los tests. Hay mas variables, los tests no tienen todo el peso de exito.

#4 No la muestra en cuanto a "cantidad", si no la muestra en "como de probable es encontrar un infectado en ella".
La cantidad de tests que hagas es irrelevante. Hacer 243957234857 tests en una comunidad con una prevalencia baja (Espanya) es igual de efectivo que hacer 0 tests.

#5 Si, estas en lo cierto. La especificidad prima sobre la sensibilidad. Los numeros que he usado son mas que representativos. Actualmente (si no me equivoco), las cifras que se manejan para los tests del COVID-19 son sensitividad de 80% y especificidad del 60%. Echa cuentas.

#6 no, hacer 60k tests a la poblacion no tiene por que ayudar a tener una mejor idea de la situacion. El motivo esta explicado en #1.

#9 tienes razon, y eso es a lo que me refiero con el 'a priori'. Por cierto, la sensitividad y especifidad del 95% es una sobre-estimacion brutal, los numeros reales son bastante mas bajos.

#11 si a tu segunda pregunta. (a la primera te ha respondido Jonan). Pero tambien necesitas hacer una estimacion de cual es esa probabilidad.

1 respuesta
B

#3 propaganda

1 respuesta
UnLiMiTeD

#15 Asi que esto es propaganda.

Bl3sS

#14 Yo sinceramente no sé demasiado de teoría de probabilidad, y desde el conocimiento que pueda tener el españolito medio (yo) veo dos cosas que no entiendo:

1º Tener muchos test sí entiendo qu ees fiable, y cuanto más se acerque ese número al total de la población más fiable será, si somos 48M de habitantes y hacemos 30M de test, pdemos hacernos una buena idea de lo que hay en realidad (y hacer 30M de test no es descabellado ni mucho menos)

2º No acabo de ver el planteamiento de los conjuntos correcto. Hay una cosa que no me cuadra, se supone que tiene que poder darse 4 situaciones diferentes, que suceda A pero no B, que suceda B pero no A, que sucedan A y B, que no sucedan ni A ni B. El problema de tu planteamiento es que al asimilar A=infectado y B=positivo NUNCA puede darse B pero no A.

Según entiendo yo, y creo que la mayoría de los no ilustrados en estadística, lo que entendemos como test fiable depende del número de casos en que se de A pero no B en una muestra significativa.

Sinceramente ya te digo que no se mucho de este tema y te ruego que me expliques, mi sensación es que el planteamiento de los supuestos es incorrecto y aunque la explicación sea perfecta, falla la aplicación en este caso.

Y esto lo digo con un 3% de fiabilidad xD

Si no te es muy costoso te agradecería la explicación, muy buen post, por cierto :)

1 respuesta
Belerum
#1c0b4c:

PD: Se me olvidaba recalcar que con esto se demuestra que los tests no son los salvadores

Eso cuéntaselo a los trabajadores, mas bien a los compañeros de estos, con síntomas leves o asintomáticos que van a trabajar pensando que están sanos y expanden el virus. No hay ningún medicamento o remedio mágico que te "salve" si pillas el corona, pero existe algo llamada información, y a mas tengas mejor podrás luchar para que este no se expanda, que es de lo que se trata, evitar que se expanda más; y es la razón por la que tu, yo y todos los que vivimos en España estamos encerrado a excepción del trabajo, comprar comida o dos excepciones más.

Las vidas que han sido contagiadas estan en manos de los medicos y en manos de la fortuna de que tengan una cama/aparato libre, que es lo que les salvará. Al resto, a los que aún no hemos ido al médico, lo que nos salva es que la gente portadora sea reconocida y haga cuarentena hasta que el virus que portan deje de ser contagioso, lo que viene a ser unos 14 - 20 días por norma general.

Asi que tras esto cambio mi afirmación: los test salvan vidas.

1 respuesta
Soy_ZdRaVo

La estrategia coreana no es analizar a todos. Es analizar a todos los que tienen síntomas y a los contactos de estos hacerles hacer cuarentena.

Para eso se dice que se necesitan muchos test, no por hacer a todos los españoles.

1 respuesta
c0b4c

#17

  1. hacer muchos tests en una poblacion en la que desconoces la prevalencia del virus es poco fiable porque el numero de falsos positivos sera mayor que el numero de verdaderos positivos. Hacerte una "buena idea de lo que hay en realidad" no depende solo de la cantidad de los tests que hagas, sino tambien de la prevalencia del virus. esto es lo que demuestro en #1.

  2. el planteamiento es absolutamente correcto. Es posible que no me haya explicado bien, eso si (y bastante probable). Tampoco termino de entender tu duda:

#17Bl3sS:

El problema de tu planteamiento es que al asimilar A=infectado y B=positivo NUNCA puede darse B pero no A.

Esto no entiendo.

Si que puede ocurrir y de hecho se puede calcular:

"darse B pero no A" quieres decir darse Positivo y Sano (siend A= infectado, no-A = Sano). Se llama falso positivo, y lo puedes calcular como (1-VerdaderoPositivo), que es (verdadero positivo) precisamente lo que calculo en #1.
En el ejemplo del hospital la probabilidad de falso positivo seria 5%, y en Espanya seria 52%.

Si me lees y sigues sin entenderlo no te quedes con la duda. Contestame 'replanteando' tu duda, si es que te he interpretado mal.

#18 muy emotivo. Afortunadamente los numeros (propiamente utilizados) no entienden de sentimientos. Ahora puedes intentar leer #1 para comprender lo que trato de decir.

#19 la "estrategia coreana" no es mas que aplicar tests donde se intuye que la prevalencia es alta. Ahora si quieres podemos sentarnos a discutir las medidas del 'pasaporte inmunologico'.

3 respuestas
Soy_ZdRaVo

#20 llevo unos días off. Que es eso del pasaporte biológico que nombran ahora?

1 respuesta
c0b4c

#21 el 'pasaporte inmunologico' consiste en eliminar de la cuarentena aquellos que hayan dado positivo en el test de anticuerpos. O dicho de otra manera, aquellos que hayan pasado la enfermedad. Para eso hay que hacerles un test de anticuerpos, y si sale positivo (y tienen anticuerpos), entonces se les libera de la cuarentena y pueden hacer vida normal.
Es un ejemplo que te doy para que veas que se estan planteando medidas que no funcionan. Que a simple vista 'pueden parecer tener sentido' pero que cuando las analizas de verdad, son absurdas. Y cuando digo 'analizas de verdad' me estoy refiriendo a que la profundidad del analisis no se puede limitar a un foro o a un periodico, o a un blog.
Pero claro, luego te viene MckGiVeR994 en el foro a sentar catedra y que "la gestion es pesima" o que "los tests nos van a salvar la vida". Simplificando problemas complejos al maximo.

Y luego tambien este hilo puede servir para demostrar a las personas que creen que '30M de tests sirven para hacerse una buena idea de la situacion', que eso simplemente no es asi.

1
Bl3sS

#20 Lo que no me cuadra es la aplicación de la teoría a la situación real, es decir, los test buscan la existencia de anticuerpos para diferenciar a las personas que sufren o han sufrido el coronavirus de los que aún no han tenido contacto con el virus. Entiendo que el test puede fallar y no detectar la presencia de un anticuerpo que sí está presente, lo que no puede hacer es inventarse un anticuerpo que no está presente.

De la misma manera un análisis de sangre en que se busca, por ejemplo, hormonas que indiquen un embarazo, nunca va a dar un falso positivo porque si las hormonas no están, no están. Aclaro que hay test de farmacia que sí pueden dar falsos positivos extraordinariamente porque el cuerpo esta produciendo esa hormona sin haber embarazo, pero la hormona está, el test no se la inventa. Aún así yo me refiero a test en laboratorio.

Entonces por lo que tú dices ¿hacer test a todos y cada uno de los habitantes del país no tendría sentido porque los datos no serían fiables?

1 respuesta
1 comentario moderado
c0b4c

#23 todo tu argumento parte de una premisa falsa:

#23Bl3sS:

lo que no puede hacer es inventarse un anticuerpo que no está presente

Si puede, y se llama falso positivo. Y depende tanto de la probabilidad de que el test detecte los anticuerpos (sensitividad del test), de la probabilidad de que existan anticuerpos en la poblacion (prevalencia), y de la probabilidad de que el test salte positivo (que depende de la sensitividad, la prevalencia, y la especificidad del test).
En el gobierno, television, y foros, parece que solo se habla de la sensitividad del test. Ignorando por completo los otros dos factores.

Esta matematicamente demostrado en #1.

1
1 comentario moderado
12 días después
c0b4c

Hemos publicado un preprint hablando de esto, y como podria afectar la incertidumbre de los tests a las estrategias post-lockdown.

https://www.medrxiv.org/content/10.1101/2020.04.16.20067884v1

Si tenes alguna duda comentadmela por aqui :)

Usuarios habituales

  • c0b4c
  • Belerum
  • Bl3sS
  • Soy_ZdRaVo
  • UnLiMiTeD
  • JonaN
  • HaNiBaL