La IA tiene un problema de discriminación. En la banca, las consecuencias pueden ser graves

AMSTERDAM — La inteligencia artificial tiene un problema de sesgo racial.

Desde los sistemas de identificación biométrica que identifican erróneamente de manera desproporcionada los rostros de las personas negras y las minorías, hasta las aplicaciones de software de reconocimiento de voz que no distinguen las voces con distintos acentos regionales, la IA tiene mucho trabajo en lo que respecta a la discriminación.

Y el problema de amplificar los sesgos existentes puede ser aún más grave cuando se trata de servicios bancarios y financieros.

Deloitte señala que En última instancia, los sistemas de IA son tan buenos como los datos que reciben: los conjuntos de datos incompletos o no representativos podrían limitar la objetividad de la IA, mientras que los sesgos en los equipos de desarrollo que entrenan dichos sistemas podrían perpetuar ese ciclo de sesgo.

Nabil Manji, jefe de criptografía y Web3 en Worldpay by FIS, dijo que una cosa clave que se debe entender sobre los productos de IA es que la fuerza de la tecnología depende mucho del material de origen utilizado para entrenarla.

«Lo bueno que es un producto de IA es que hay dos variables», dijo Manji a CNBC en una entrevista. «Uno son los datos a los que tiene acceso, y el segundo es qué tan bueno es el modelo de lenguaje grande. Es por eso que en el lado de los datos, ves compañías como Reddit y otras, han salir públicamente y decir que no vamos a permitir que las empresas extraigan nuestros datosvas a tener que pagarnos por eso».

En cuanto a los servicios financieros, Manji dijo que muchos de los sistemas de datos de back-end están fragmentados en diferentes idiomas y formatos.

“Nada de eso está consolidado ni armonizado”, agregó. «Eso hará que los productos impulsados ​​por IA sean mucho menos efectivos en los servicios financieros de lo que podrían ser en otras verticales u otras empresas donde tienen uniformidad y sistemas más modernos o acceso a datos».

Manji sugirió que blockchain, o tecnología de contabilidad distribuida, podría servir como una forma de obtener una visión más clara de los datos dispares escondidos en los sistemas desordenados de los bancos tradicionales.

Sin embargo, agregó que es poco probable que los bancos, que son instituciones lentas y fuertemente reguladas, se muevan con la misma velocidad que sus contrapartes tecnológicas más ágiles en la adopción de nuevas herramientas de IA.

«Tienes microsoft y Google, que durante la última década o dos han sido vistos como impulsores de la innovación. No pueden seguir el ritmo de esa velocidad. Y luego piensas en los servicios financieros. Los bancos no son conocidos por ser rápidos», dijo Manji.

Rumman Chowdhury, exjefe de ética, transparencia y responsabilidad del aprendizaje automático de Twitter, dijo que los préstamos son un excelente ejemplo de cómo el sesgo de un sistema de inteligencia artificial contra las comunidades marginadas puede asomar la cabeza.

«La discriminación algorítmica es en realidad muy tangible en los préstamos», dijo Chowdhury en un panel en Money20/20 en Amsterdam. «Chicago tenía un historial de negar literalmente esos [loans] principalmente a barrios negros».

En la década de 1930, Chicago era conocida por la práctica discriminatoria de «línea roja», en la que la solvencia de las propiedades estaba determinada en gran medida por la demografía racial de un vecindario determinado.

«Habría un mapa gigante en la pared de todos los distritos de Chicago, y dibujarían líneas rojas a través de todos los distritos que eran principalmente afroamericanos, y no les darían préstamos», agregó.

«Avance rápido unas décadas más tarde, y está desarrollando algoritmos para determinar el riesgo de diferentes distritos e individuos. Y aunque es posible que no incluya el punto de datos de la raza de alguien, se recoge implícitamente».

De hecho, Angle Bush, fundadora de Black Women in Artificial Intelligence, una organización que busca empoderar a las mujeres negras en el sector de la IA, le dice a CNBC que cuando los sistemas de IA se usan específicamente para decisiones de aprobación de préstamos, descubrió que existe el riesgo de replicar los sesgos existentes presentes en los datos históricos utilizados para entrenar los algoritmos.

«Esto puede resultar en denegaciones automáticas de préstamos para personas de comunidades marginadas, lo que refuerza las disparidades raciales o de género», agregó Bush.

«Es crucial que los bancos reconozcan que la implementación de la IA como una solución puede perpetuar la discriminación sin darse cuenta», dijo.

Frost Li, un desarrollador que ha estado trabajando en IA y aprendizaje automático durante más de una década, le dijo a CNBC que la dimensión de «personalización» de la integración de IA también puede ser problemática.

«Lo interesante de la IA es cómo seleccionamos las ‘características principales’ para la capacitación», dijo Li, quien fundó y dirige Loup, una empresa que ayuda a los minoristas en línea a integrar la IA en sus plataformas. «A veces, seleccionamos características que no están relacionadas con los resultados que queremos predecir».

Cuando la IA se aplica a la banca, dice Li, es más difícil identificar al «culpable» de los sesgos cuando todo está complicado en el cálculo.

«Un buen ejemplo es cuántas nuevas empresas fintech son especialmente para extranjeros, porque un graduado de la Universidad de Tokio no podrá obtener ninguna tarjeta de crédito, incluso si trabaja en Google; sin embargo, una persona puede obtener fácilmente una de la cooperativa de crédito de la universidad comunitaria porque los banqueros conocer mejor las escuelas locales», agregó Li.

La IA generativa generalmente no se usa para crear puntajes de crédito o en la calificación de riesgo de los consumidores.

«Eso no es para lo que se creó la herramienta», dijo Niklas Guske, director de operaciones de Taktile, una startup que ayuda a las fintechs a automatizar la toma de decisiones.

En cambio, Guske dijo que las aplicaciones más poderosas se encuentran en el procesamiento previo de datos no estructurados, como archivos de texto, como la clasificación de transacciones.

«Esas señales luego pueden incorporarse a un modelo de suscripción más tradicional», dijo Guske. «Por lo tanto, la IA generativa mejorará la calidad de los datos subyacentes para tales decisiones en lugar de reemplazar los procesos de puntuación comunes».

Pero también es difícil de probar. Manzana y Goldman Sachs, por ejemplo, fueron acusados ​​de dar a las mujeres límites más bajos para la Apple Card. Pero estas afirmaciones fueron desestimadas por el Departamento de Servicios Financieros del Estado de Nueva York después de que el regulador no encontró evidencia de discriminación basada en el sexo.

El problema, según Kim Smouter, directora del grupo Red Europea contra el Racismo, es que puede ser un desafío comprobar si realmente se ha producido discriminación basada en la IA.

«Una de las dificultades en el despliegue masivo de IA», dijo, «es la opacidad en cómo se toman estas decisiones y qué mecanismos de reparación existen si un individuo racializado incluso notara que hay discriminación».

«Las personas tienen poco conocimiento de cómo funcionan los sistemas de IA y que su caso individual puede, de hecho, ser la punta de un iceberg en todo el sistema. En consecuencia, también es difícil detectar casos específicos en los que las cosas han salido mal», agregó.

Smouter citó el ejemplo del escándalo del bienestar infantil holandés, en el que miles de reclamos de beneficios fueron acusados ​​injustamente de ser fraudulentos. El gobierno holandés se vio obligado a dimitir después de que un informe de 2020 descubriera que las víctimas fueron «tratadas con un sesgo institucional».

Esto, dijo Smouter, «demuestra cuán rápido pueden propagarse tales disfunciones y cuán difícil es probarlas y obtener reparación una vez que se descubren y, mientras tanto, se produce un daño significativo, a menudo irreversible».

Chowdhury dice que existe la necesidad de un organismo regulador global, como las Naciones Unidas, para abordar algunos de los riesgos que rodean a la IA.

Aunque la IA ha demostrado ser una herramienta innovadora, algunos tecnólogos y especialistas en ética han expresado dudas sobre la solidez moral y ética de la tecnología. Entre las principales preocupaciones expresadas por los expertos de la industria se encuentran la desinformación; sesgo racial y de género incrustado en algoritmos de IA; y «alucinaciones» generadas por herramientas similares a ChatGPT.

«Me preocupa bastante que, debido a la IA generativa, estemos entrando en este mundo de la posverdad en el que nada de lo que vemos en línea es confiable: ni el texto, ni el video, ni el audio, pero luego, ¿cómo ¿Cómo obtenemos nuestra información? ¿Y cómo nos aseguramos de que la información tenga un alto grado de integridad?» dijo Chowdhury.

Ha llegado el momento de que entre en vigor una regulación significativa de la IA, pero sabiendo el tiempo que tardarán en entrar en vigor propuestas normativas como la Ley de IA de la Unión Europea, a algunos les preocupa que esto no suceda lo suficientemente rápido.

«Hacemos un llamado a una mayor transparencia y responsabilidad de los algoritmos y cómo funcionan y una declaración de un laico que permita a las personas que no son expertos en inteligencia artificial juzgar por sí mismos, prueba de prueba y publicación de resultados, proceso de quejas independientes, auditorías e informes periódicos, participación de comunidades racializadas cuando la tecnología está siendo diseñada y considerada para su implementación», dijo Smouter.

La Ley AI, el primer marco regulatorio de este tipo, incorporó un enfoque de derechos fundamentales y conceptos como reparación, según Smouter, y agregó que la regulación entrará en vigor en aproximadamente dos años.

«Sería genial si este período se pudiera acortar para garantizar que la transparencia y la rendición de cuentas estén en el centro de la innovación», dijo.