CHICAGO (AP) — En más de 140 ciudades de Estados Unidos, el algoritmo de inteligencia artificial y la intrincada red de micrófonos de ShotSpotter evalúan cientos de miles de sonidos al año para determinar si son disparos, generando datos que ahora se utilizan en casos penales en todo el país.
Pero un documento confidencial de ShotSpotter obtenido por The Associated Press describe algo que la compañía no siempre promociona sobre su «sistema de vigilancia de precisión»: que los empleados humanos pueden anular y revertir rápidamente las determinaciones del algoritmo, y tienen amplia discreción para decidir si un sonido es un disparo, fuegos artificiales, truenos o algo más.
Tales reversiones ocurren el 10% del tiempo en una cuenta de empresa de 2021, lo que, según los expertos, podría generar subjetividad en decisiones cada vez más importantes y entrar en conflicto con una de las razones por las que la IA se usa en herramientas de aplicación de la ley en primer lugar: para disminuir el papel de humanos demasiado falibles.
“He escuchado muchas grabaciones de disparos, y no es fácil de hacer”, dijo Robert Maher, una autoridad nacional líder en detección de disparos en la Universidad Estatal de Montana, quien revisó el documento ShotSpotter. “A veces es obviamente un disparo. A veces es solo un ping, ping, ping. … y puedes convencerte de que es un disparo”.
Marcado como «ADVERTENCIA: CONFIDENCIAL», el documento de operaciones de 19 páginas explica cómo los empleados de los centros de revisión de ShotSpotter deben escuchar las grabaciones y evaluar el hallazgo del algoritmo de posibles disparos en función de una serie de factores que pueden requerir decisiones de juicio, incluido si el sonido ha la cadencia de los disparos, si el patrón de audio se ve como «un árbol de Navidad de lado» y si hay «100% de certeza de disparos en la mente del revisor».
ShotSpotter dijo en un comunicado a la AP que el papel humano es una verificación positiva del algoritmo y que el documento en «lenguaje sencillo» refleja los altos estándares de precisión que deben cumplir sus revisores.
“Nuestros datos, basados en la revisión de millones de incidentes, demuestran que la revisión humana agrega valor, precisión y consistencia a un proceso de revisión del que dependen nuestros clientes, y muchas víctimas de disparos”, dijo Tom Chittum, vicepresidente de análisis de la compañía. y servicios forenses.
Chittum agregó que los testigos expertos de la compañía han testificado en 250 casos judiciales en 22 estados, y que su «tasa de precisión agregada del 97 % para las detecciones en tiempo real en todos los clientes» ha sido verificada por una firma de análisis encargada por la compañía.
Otra parte del documento destaca el énfasis de larga data de ShotSpotter en la velocidad y la decisión, y su compromiso de clasificar los sonidos en menos de un minuto y alertar a la policía local y a los despachadores del 911 para que puedan enviar oficiales a la escena.
Titulado «Adopción de un estado de ánimo de Nueva York», se refiere a la solicitud de ShotSpotter del Departamento de Policía de Nueva York para evitar publicar alertas de sonidos como «disparos probables», solo clasificaciones definitivas como disparos o no disparos.
“Resultado final: entrena al revisor para que sea decisivo y preciso en su clasificación e intenta eliminar una publicación dudosa”, dice el documento.
Los expertos dicen que tal orientación bajo la presión del tiempo podría alentar a los revisores de ShotSpotter a equivocarse a favor de categorizar un sonido como un disparo, incluso si alguna evidencia de ello no es suficiente, lo que podría aumentar la cantidad de falsos positivos.
“No le estás dando mucho tiempo a tus humanos”, dijo Geoffrey Morrison, un científico de reconocimiento de voz con sede en Gran Bretaña que se especializa en procesos forenses. “Y cuando los humanos están bajo una gran presión, la posibilidad de cometer errores es mayor”.
ShotSpotter dice que publicó 291,726 alertas de disparos a clientes en 2021. Ese mismo año, en comentarios a AP adjuntos a una historia anterior, ShotSpotter dijo que más del 90% de las veces sus revisores humanos estuvieron de acuerdo con la clasificación de la máquina, pero la compañía invirtió en su equipo. de revisores “por el 10% de las veces en que no están de acuerdo con la máquina”. ShotSpotter no respondió a las preguntas sobre si esa proporción sigue siendo cierta.
El documento de operaciones de ShotSpotter, que la compañía argumentó en la corte durante más de un año que era un secreto comercial, se publicó recientemente de una orden de protección en un caso judicial de Chicago en el que la policía y los fiscales usaron datos de ShotSpotter como evidencia para acusar a un abuelo de Chicago de asesinato en 2020 por supuestamente dispararle a un hombre dentro de su automóvil. Michael Williams pasó casi un año en la cárcel ante un juez despedido el caso por falta de pruebas.
La evidencia en las audiencias previas al juicio de Williams mostró que el algoritmo de ShotSpotter inicialmente clasificó un ruido captado por micrófonos como un petardo, haciendo esa determinación con un 98% de confianza. Pero un crítico de ShotSpotter que evaluó el sonido rápidamente lo volvió a etiquetar como un disparo.
La Oficina del Defensor Público del Condado de Cook dice que el documento de operaciones fue el único papeleo que ShotSpotter envió en respuesta a múltiples citaciones para pautas, manuales u otros protocolos científicos. Él empresa que cotiza en bolsa se ha resistido durante mucho tiempo a las llamadas para abrir sus operaciones al escrutinio científico independiente.
con sede en Fremont, California Disparo observador reconoció a AP que tiene otros «materiales operativos y de capacitación integral», pero los considera «confidenciales y secretos comerciales».
ShotSpotter instaló sus primeros sensores en Redwood City, California, en 1996, y durante años se basó únicamente en los despachadores locales del 911 y la policía para revisar cada posible disparo hasta que agregó sus propios revisores humanos en 2011.
Paul Greene, un empleado de ShotSpotter que testifica con frecuencia sobre el sistema, explicó en una audiencia probatoria de 2013 que los revisores del personal abordaron problemas con un sistema que «de vez en cuando se sabe que da falsos positivos» porque «no tiene oído». escuchar.»
“La clasificación es el elemento más difícil del proceso”, dijo Greene en la audiencia. “Simplemente porque no tenemos… control sobre el entorno en el que se realizan los disparos”.
Greene agregó que a la compañía le gusta contratar exmilitares y expolicías familiarizados con las armas de fuego, así como músicos porque “tienden a tener un oído más desarrollado”. Su entrenamiento incluye escuchar cientos de muestras de audio de disparos e incluso visitas a campos de tiro para familiarizarse con las características de los disparos.
A medida que las ciudades han sopesado la promesa del sistema frente a su precio, que puede alcanzar los $95,000 por milla cuadrada por año, los empleados de la compañía han explicado en detalle cómo sus sensores acústicos en los postes de servicios públicos y postes de luz captan fuertes estallidos, explosiones o explosiones y luego filtra los sonidos a través de un algoritmo que clasifica automáticamente si son disparos u otra cosa.
Pero hasta ahora, se sabía poco sobre el siguiente paso: cómo los revisores humanos de ShotSpotter en Washington, DC y el área de la Bahía de San Francisco deciden qué es un disparo frente a cualquier otro ruido, las 24 horas del día.
“Es importante escuchar las descargas de audio”, según el documento escrito por David Valdez, ex oficial de policía y ahora supervisor retirado de uno de los centros de revisión de ShotSpotter. “A veces, el audio es convincente para los disparos que pueden anular todas las demás características”.
Una parte de la toma de decisiones que ha cambiado desde que se escribió el documento en 2021 es si los revisores pueden considerar si el algoritmo tenía una “alta confianza” en que el sonido fue un disparo. ShotSpotter dijo que la compañía dejó de mostrar la calificación de confianza del algoritmo a los revisores en junio de 2022 «para priorizar otros elementos que están más altamente correlacionados con una evaluación precisa entrenada por humanos».
El director ejecutivo de ShotSpotter, Ralph Clark, ha dicho que las clasificaciones de las máquinas del sistema mejoran gracias a sus «bucles de retroalimentación del mundo real de los humanos».
Sin embargo, un estudio reciente encontró que los humanos tienden a sobreestimar sus habilidades para identificar sonidos.
El estudio de 2022 publicado en la revista revisada por pares Forensic Science International analizó qué tan bien los oyentes humanos identificaron las voces en comparación con las herramientas de reconocimiento de voz. Encontró que todos los oyentes humanos se desempeñaron peor que el sistema de voz solo, y dijo que los hallazgos deberían conducir a la eliminación de los oyentes humanos en los casos judiciales siempre que sea posible.
“¿Sería ese el caso con ShotSpotter? ¿El sistema ShotSpotter más el revisor superarían al sistema solo?” preguntó Morrison, quien fue uno de los siete investigadores que realizaron el estudio.
«No sé. Pero ShotSpotter debería hacer una validación para demostrar eso”.
___
Burke informó desde San Francisco.
____
Siga a Garance Burke y Michael Tarm en Twitter en @garanceburke y @mtarm. Comuníquese con el equipo de investigación global de AP en [email protected] o https://www.ap.org/tips/
