Todos juntos ahora: el modelo Covid-19 más confiable es un conjunto


Cada semana, los equipos no solo envían una predicción de puntos que predice un resultado de un solo número (digamos que habrá 500 muertes en una semana). También transmiten predicciones probabilísticas que cuantifican la incertidumbre mediante la estimación de la probabilidad del número de casos o muertes en intervalos o rangos que se reducen y apuntan a un pronóstico centralizado. Por ejemplo, un modelo podría predecir que hay un 90 por ciento de probabilidades de ver de 100 a 500 muertes, un 50 por ciento de probabilidades de ver de 300 a 400 y un 10 por ciento de probabilidades de ver de 350 a 360.

«Es como un golpe directo que se enfoca cada vez más», dice Reich.

Funk agrega: «Cuanto más nítidamente defina el objetivo, menos probabilidades tendrá de darle». Es un buen equilibrio, ya que un pronóstico arbitrariamente amplio es correcto y también inútil. «Debe ser lo más preciso posible», dice Funk, «y al mismo tiempo dar la respuesta correcta».

Al compilar y evaluar todos los modelos individuales, el conjunto intenta optimizar su información y paliar sus deficiencias. El resultado es un pronóstico probabilístico, un promedio estadístico o un «pronóstico mediano». Es esencialmente un consenso con una expresión de incertidumbre más finamente calibrada y, por lo tanto, más realista. Todos los diferentes elementos de incertidumbre se promedian durante el lavado.

El estudio del laboratorio de Reich, que se centró en las muertes proyectadas y evaluó alrededor de 200.000 proyecciones desde mediados de mayo hasta finales de diciembre de 2020 (pronto se agregará un análisis actualizado con proyecciones para cuatro meses más), encontró que el rendimiento de los modelos individuales fue alto. Una semana, un modelo podría ser exacto, la próxima semana podría estar lejos de serlo. Sin embargo, los autores escribieron: «Al combinar las predicciones de todos los equipos, el conjunto mostró la mejor precisión de probabilidad».

Y estos ejercicios conjuntos no solo sirven para mejorar las predicciones, sino también para aumentar la confianza de las personas en los modelos, dice Ashleigh Tuite, epidemióloga de la Escuela de Salud Pública Dalla Lana de la Universidad de Toronto. «Una de las lecciones del modelado de conjuntos es que ninguno de los modelos es perfecto», dice Tuite. “E incluso el conjunto a veces se perderá algo importante. Los modelos generalmente tienen dificultades para predecir los puntos de inflexión: picos o cuando las cosas comienzan a acelerarse o desacelerarse repentinamente. «

«Los modelos no son oráculos».

Alessandro Vespignani

El uso del modelado de conjuntos no se limita solo a la pandemia. De hecho, consumimos pronósticos probabilísticos de conjuntos todos los días cuando buscamos en Google el clima y notamos que la probabilidad de precipitación es del 90 por ciento. Es el estándar de oro para la previsión meteorológica y climática.

«Es una verdadera historia de éxito y el camino durante aproximadamente tres décadas», dice Tilmann Gneiting, estadístico informático en el Instituto de Estudios Teóricos de Heidelberg y en el Instituto de Tecnología de Karlsruhe en Alemania. Antes de los conjuntos, el pronóstico del tiempo usaba un solo modelo numérico que en su forma cruda producía un pronóstico del tiempo determinista que era «ridículamente arrogante y extremadamente poco confiable», dice Gneiting que mostró una probabilidad razonablemente confiable de pronósticos de precipitación en la década de 1960).

Gneiting señala, sin embargo, que la analogía entre las enfermedades infecciosas y el pronóstico del tiempo tiene sus límites. Por un lado, la probabilidad de lluvia no cambia en respuesta al comportamiento humano (lloverá, con paraguas o sin paraguas) mientras que el curso de la pandemia responde a nuestras medidas preventivas.

La predicción de una pandemia es un sistema que tiene un circuito de retroalimentación. «Los modelos no son oráculos», dice Alessandro Vespignani, epidemiólogo informático de Northeastern University y personal de Ensemble Hub que estudia redes complejas y la propagación de enfermedades infecciosas, con un enfoque en los sistemas «tecnosociales» que alimentan los mecanismos de retroalimentación. «Cada modelo proporciona una respuesta que depende de ciertos supuestos».

A medida que los humanos procesan la predicción de un modelo, sus cambios de comportamiento posteriores cambian las suposiciones, cambian la dinámica de la enfermedad y hacen que la predicción sea inexacta. De esta forma, modelar puede ser una «profecía autodestructiva».

Y hay otros factores que podrían aumentar la incertidumbre: estacionalidad, variantes, disponibilidad o aceptación de vacunas; y cambios de política, como la rápida decisión de los CDC de desenmascarar. «Todas estas son grandes incógnitas que, si realmente quisieras comprender la incertidumbre del futuro, realmente limitarían lo que podrías decir», dice Justin Lessler, epidemiólogo de la Escuela de Salud Pública Johns Hopkins Bloomberg y colaborador de COVID -19. Centro de pronóstico.

El estudio de Ensemble de las predicciones de muerte encontró que a medida que los modelos hacen predicciones sobre el futuro, la precisión disminuye y la incertidumbre aumenta. Hubo aproximadamente el doble del error previsto cuatro semanas antes de una semana (cuatro semanas se consideran el límite para un pronóstico de desarrollo significativo a corto plazo (en el horizonte temporal de 20 semanas hubo aproximadamente cinco veces el error).

«Es justo discutir cuándo las cosas funcionaron y cuándo no».

Johannes Bracher

Sin embargo, evaluar la calidad de los modelos, con verrugas y todo, es un objetivo secundario importante en la predicción de centros. Y eso es bastante fácil, ya que las predicciones a corto plazo se confrontan rápidamente con la realidad de los números diarios como una medida de su éxito.

La mayoría de los investigadores se encargan de diferenciar este tipo de “modelo de pronóstico” para poder hacer predicciones explícitas y verificables sobre el futuro que solo son posibles a corto plazo. en comparación con un “modelo de escenarios” en el que se examinan hipótesis de “qué pasaría si”, posibles líneas de acción que podrían desarrollarse en el mediano o largo plazo (dado que los modelos de escenarios no pretenden ser predicciones, no deben evaluarse retrospectivamente con base en realidad).

A menudo, durante la pandemia, el punto crítico se centró en modelos con predicciones espectacularmente erróneas. “Si bien las proyecciones hipotéticas a más largo plazo son difíciles de evaluar, no deberíamos evitar comparar las predicciones a corto plazo con la realidad”, dice Johannes Bracher, bioestadístico del Instituto de Estudios Teóricos de Heidelberg y del Instituto de Tecnología de Karlsruhe. que coordina un centro alemán y otro polaco y asesora al centro europeo. «Es justo discutir cuándo las cosas funcionaron y cuándo no», dice. Un debate informado, sin embargo, requiere reconocer y tener en cuenta las limitaciones e intenciones de los modelos (a veces los críticos más feroces han sido aquellos que confundieron los modelos de escenarios con los modelos predictivos).

«La gran pregunta es, ¿podemos mejorar?»

Nicolás Reich

De manera similar, los modeladores deberían decir esto cuando las predicciones resulten particularmente irresolubles en una situación particular. «Una vez que hemos aprendido una cosa, es extremadamente difícil modelar casos, incluso a corto plazo», dice Bracher. «Las muertes son un indicador tardío y más fácil de predecir».

En abril, algunos modelos europeos se mostraron demasiado pesimistas y no detectaron una caída repentina en los casos. Se produjo un debate público sobre la precisión y confiabilidad de los modelos pandémicos. Bracher intervino en Twitter y preguntó: “¿Es sorprendente que los modelos (no pocas veces) estén equivocados? Después de una pandemia de un año, diría que no. “Es aún más importante que los modelos indiquen su grado de certeza o incertidumbre, que adopten una postura realista sobre cuán impredecibles son los casos y sobre su curso futuro. «Los modeladores necesitan comunicar la incertidumbre, pero no debe verse como un fracaso», dice Bracher.

Algunos modelos confían más que otros

Como dice un aforismo estadístico frecuentemente citado, «Todos los modelos son incorrectos, pero algunos son útiles». Pero como señala Bracher, «cuando se adopta el enfoque de modelo de conjunto, en cierto sentido está diciendo que todos los modelos son útiles, que cada modelo tiene algo que aportar», aunque algunos modelos pueden ser más informativos o fiables que otros.

La observación de esta fluctuación llevó a Reich y a otros a «entrenar» el modelo de conjunto, es decir, como explica Reich, «a desarrollar algoritmos que le enseñen al conjunto a confiar en algunos modelos más que en otros y a aprender qué combinación precisa de modelos funcionan en conjunto armoniosamente». “El equipo de Bracher ahora está contribuyendo con un mini-conjunto que consta solo de los modelos que han funcionado consistentemente bien en el pasado y amplifica la señal más clara.

«La gran pregunta es, ¿podemos mejorar?» Dice Reich. “El método original es tan simple. Parece que tiene que haber alguna forma de mejorar si solo toma un promedio simple de todos estos modelos. “Hasta ahora, sin embargo, está resultando más difícil de lo esperado: las pequeñas mejoras parecen factibles, pero las mejoras dramáticas pueden ser casi imposibles.

Un instrumento complementario para mejorar nuestra perspectiva general de la pandemia más allá de las percepciones semanales es utilizar estos «modelos de escenarios» para observar más de cerca el horizonte temporal de cuatro a seis meses. En diciembre del año pasado, Lessler y sus empleados, en consulta con los CDC, lanzaron el Centro de modelado de escenarios COVID-19.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *