Las estadísticas no mienten...ni hablan por si solas

Resumen

Hay una percepción extendida entre la población en general, en parte también entre profesionales y estudiantes del campo de la criminología, de que las estadísticas mienten.

A veces, esta percepción se dirige hacia la estadística como tal, como en el ejemplo de los pollos (“si yo tengo dos pollos y tú ninguno, la estadística miente al decir que tenemos un pollo cada uno”). Pero la estadística permite identificar no solo los valores intermedios (saldría a pollo por cabeza, lo que no quiere decir que sea así), sino también cómo se reparten (si todos tienen el mismo número de pollos o son unos pocos los que los tienen todos), su relación con otros factores (si los que acaparan pollos son, por ejemplo, los mismos que acaparan otras cosas) y su evolución a lo largo del tiempo (qué pasa con los pollitos que van naciendo). La estadística no miente: es un instrumento sistemático para fundamentar afirmaciones basándose en la medición de la realidad.

Artículo completo

Otras críticas se dirigen más bien al uso que se hace de la estadística y, con ello, a la ‘ingeniería’ que se pone en marcha para fundamentar determinadas afirmaciones. Desde esta perspectiva, el punto de mira no se sitúa en la estadística como tal, sino en quién produce los datos y en quién los interpreta. Considerando que las fuentes acreditadas (como los organismos oficiales de estadística) trabajan con rigor y transparencia, no parece que se trate aquí de verdades o mentiras, sino de juzgar críticamente cómo se define, cómo se obtiene y cómo se interpreta y presenta el dato estadístico y, con ello, cual es la porción de realidad que se muestra, y la que no.

Ello parece particularmente importante en criminología, campo en el que las estadísticas oficiales (como los datos de reincidencia o de denuncias, o resultados de encuestas de victimización, percepción de seguridad o actitudes punitivas) suelen apoyar argumentaciones sobre la necesidad o idoneidad de determinadas políticas y de medidas policiales y penales. Por ello, puede ser relevante hacernos algunas preguntas a la hora de enfrentarnos con un dato.

¿Cómo se ha definido el dato que se presenta?

No sé si la felicidad puede medirse pero, de hacerse, el gran problema es definir qué es (y es que, dependiendo de cómo se defina, el dato que se obtendrá será distinto). La definición de delincuencia tampoco es fácil ni única y, visto como van las cosas, quizás habría que cuestionar algunas de las existentes. Incluso fenómenos más concretos se pueden definir de múltiples formas: no es lo mismo hablar de violencia de género, que de violencia contra mujeres, que de maltrato hacia la pareja. Tampoco es lo mismo limitar la definición de violencia a las agresiones físicas, que incluir el maltrato psicológico y el abuso sexual. Y todavía más delicado va a ser establecer los umbrales en los que determinados comportamientos son calificados como violentos. En definitiva: ¿Cuál es la definición que hay detrás de un dato? ¿Se trata de una definición debatida y consolidada en la comunidad científica y/o estandarizada internacionalmente? ¿Se omiten dimensiones o aspectos que consideramos relevantes? ¿Está la definición vinculada a determinadas teorías y/o ideologías? ¿Cuáles son sus implicaciones?

¿Cómo se ha obtenido el dato?

Entre la definición de un concepto y la obtención de un dato que lo muestre va un amplio y sofisticado proceso de campo, registro y análisis. Si cosas aparentemente simples como contar cuantos somos es más difícil de lo que parece, la cosa se complica bastante cuando se trata de cuantificar fenómenos menos visibles, como la delincuencia. Los conocimientos de investigación cuantitativa y de estadística son fundamentales para juzgar la idoneidad y calidad del dato obtenido y sus limitaciones, pero incluso cuando el lector o lectora carezca de ellos, puede hacerse alguna de estas preguntas:

¿A qué población se refiere exactamente el dato? Por ejemplo, no es lo mismo hablar de población condenada a penas de prisión que de población encarcelada: ¿se incluyen o se excluyen los ingresos preventivos, las personas en situación de libertad condicional, las suspensiones de pena, etc.?
¿En qué medida los casos de los que se ha extraído la información reflejan el conjunto de la población de referencia? Si, por ejemplo, se trata de una encuesta por muestreo, es relevante considerar su naturaleza probabilística y su error muestral (y es que los datos muestrales están sujetos a error!), así como los posibles sesgos derivados de la (no) localización de entrevistados o de la tasa de (no) respuesta. Nada que ver con, por ejemplo, una encuesta-web en la que responden visitantes con tiempo, ganas e interés en hacerlo, pero que representa a los que efectivamente han respondido y a nadie más.
¿Mediante qué técnica se ha obtenido el dato? ¿Qué tipo de información se puede obtener con ella y cual no se obtiene? Mientras que los registros oficiales de delincuencia solamente incluyen aquella institucionalmente detectada (y definida como tal), las encuestas de victimización identifican muchos actos que no han sido necesariamente denunciados, pero no dejan de ser una declaración subjetiva ante una persona desconocida, en los que interviene la memoria y la consciencia de que se ha padecido un determinado hecho, y no permiten detectar aquellas acciones en las que la víctima es colectiva (como los daños al espacio público o la corrupción política).

¿Cómo se interpreta y cómo se presenta el dato?

Un libro escrito el 1954 por Darrell Huff, How to Lie with Statistics, hace un entretenido repaso a las posibles artimañas y manipulaciones en la presentación de datos estadísticos y sus representaciones gráficas. Pero más allá de las malas prácticas, el punto más mediático del asunto se refiere no solo a cómo se presenta el dato en sentido estricto, sino a la interpretación del mismo y al contexto discursivo en el que se hace esta interpretación (la argumentación política, la noticia, etc.). Es un tema que en ocasiones saca de quicio a investigadores, porque todas las precisiones conceptuales y metodológicas que se han hecho en el trabajo más técnico se sacrifican en la etapa final en pro de la intencionalidad y efectividad de un mensaje que sintetiza una determinada interpretación del dato en un tiempo y/o espacio reducido. Evidentemente, esto no significa que un dato presentado en el contexto de una noticia o una argumentación política esté desvirtuado, y muchos medios de comunicación demuestran cotidianamente que es posible encontrar el equilibrio entre la síntesis y rigor en la exposición. Pero sí que plantea la importancia de prestar atención a algunas cuestiones:

¿Se menciona la fuente y se explica la definición del dato y su forma de obtención? Se hace referencia a las limitaciones o a consideraciones o cautelas que deban tenerse en cuenta en su interpretación?
¿El dato que se muestra refleja aquello de lo que se habla? (¿está, por tanto, midiendo aquello a lo que se hace referencia o está midiendo otra cosa?).
Los promedios y las tasas globales sintetizan un conjunto de datos de forma breve y clara. Sin embargo, no muestran –como en el ejemplo de los pollos– si su reparto es más o menos homogéneo. ¿Se hace referencia, si es relevante, a las desigualdades y diferencias existentes (mediante algún coeficiente de desigualdad o, por ejemplo, desagregando los datos por edades, por sexo, por territorio, etc.)?
¿Cómo se describen las variaciones en los datos? Por ejemplo, pasar del 10% al 12% es aumentar dos puntos porcentuales, pero también el 20%, y si antes se pasó del 8% al 10%, ahora resulta que el crecimiento se ralentiza… La diferencia sigue siendo la misma y las descripciones todas ellas correctas, pero los efectos de decirlo de una u otra forma son distintos.
¿Se infieren causalidades a la ligera basándose solo en correlaciones observadas? Por ejemplo, que los consumidores de drogas tengan un mayor contacto con la actividad delictiva no significa que una cosa sea causa de otra, ya que cabe la posibilidad que ambas dependan de un tercer factor, como las redes personales. Hay que explicar el mecanismo por el que se produce la relación causa-efecto.
Más ampliamente: si en base al dato se fundamenta algún tipo de explicación (por ejemplo, una atribución partidista de una variación en datos de delincuencia), ¿esta explicación se deriva lógicamente del dato? ¿cabrían explicaciones alternativas?
Tan importante es lo que se dice como lo que no se dice. ¿Se omiten datos que serían relevantes para matizar lo que se está afirmando? ¿Hay otros que podrían contradecir la interpretación que se hace?
¿Quién presenta el dato y con qué objetivo?