«Los datos policiales no se recopilan de manera uniforme, y el seguimiento de los datos policiales reflejan sesgos institucionales de largo acerca de los ingresos, la raza y el género»
La policía está utilizando cada vez más software predictivo. Esto es particularmente complejo porque en realidad es bastante difícil identificar sesgos en los modelos de predicción de justicia penal. Esto se debe en parte a que los datos de la policía no se recopilan de manera uniforme, y en parte a que el seguimiento de los datos de la policía refleja sesgos institucionales acerca de de ingresos, raza y género.
Si bien los datos policiales a menudo se describen como «delitos», eso no es del todo exacto. El crimen en sí es un fenómeno social en gran parte oculto que ocurre en cualquier lugar donde una persona viola una ley. Lo que se denomina «datos del crimen» generalmente tabula eventos que no son necesariamente violadores de la ley, como una llamada al 911, o que están influenciados por las prioridades policiales existentes, como el arresto de personas sospechosas de delitos particulares o informes de incidentes vistos al patrullar un barrio particular.
Los barrios donde mucha gente llama a la policía no son necesariamente puntos de acceso a un mayor crimen. Son, más bien, donde está la mayor atención policial. Y donde la atención se centra a menudo puede estar sesgada por los factores de género y raciales.
Un estudio reciente realizado por Human Rights Data Analysis Group encontró que el algoritmo supuestamente neutral de PredPol -el proveedor de vigilancia predictiva- apuntaba a los vecindarios negros aproximadamente al doble de la tasa de los vecindarios blancos cuando se los entrenaba en datos históricos sobre delitos relacionados con las drogas en Oakland, California. Se encontraron resultados similares al analizar los datos por grupo de ingresos, con comunidades de bajos ingresos dirigidas a tasas desproporcionadamente más altas en comparación con los vecindarios de altos ingresos. Esto sucedió a pesar del hecho de que las estimaciones de las encuestas de salud pública y los modelos de población sugieren que el uso de drogas ilícitas en Oakland es aproximadamente igual en todos los grupos raciales y de ingresos. Si el algoritmo fuera verdaderamente neutral en cuanto a la raza, extendería la atención de la policía antidrogas de manera uniforme en toda la ciudad.
Los reporteros de investigación de ProPublica encontraron evidencia similar de sesgo racial cuando observaron COMPAS, un algoritmo que predice el riesgo de una persona de cometer un delito, utilizado en fianzas y decisiones de sentencia en el condado de Broward, Florida y en otras partes del país. Estos sistemas aprenden solamente lo que se les presenta; si esos datos están sesgados, su aprendizaje no puede ayudar, sinó que también puede estar sesgado.
https://www.fastcompany.com/40419894/how-big-bad-data-could-make-policing-worse