Toju Duke: “La inteligencia artificial amplifica injusticias sistémicas que ya deberíamos haber eliminado” | Tecnología

En Estados Unidos hay documentados cuando menos 6 casos de detención ilegal, todos ellos de personas negras, por culpa de sistemas automatizados de reconocimiento facial que se confundieron al identificar al sospechoso. En ese país se abrió una investigación contra la Apple Card, una tarjeta de crédito libre solo en EE UU, por ofrecer menor límite de gasto a las mujeres que a los hombres con exactamente el mismo nivel de renta. En el Reino Unido, el algoritmo que determinó las notas de selectividad en plena pandemia para eludir exámenes dañó de manera injustificada a estudiantes de centros más modestos.

“Este es el mundo que nos espera si no actuamos”, afirma Toju Duke tras refererir esos 3 casos de discriminación algorítmica, o consecuencias indeseadas de la inteligencia artificial (IA) sobre la población. Nacida en Nigeria hace cuarenta y uno años, esta británica ha trabajado una década en Google, donde fue directiva en Dublín de su programa de IA responsable. Ahora se dedica a la divulgación y ha fundado una ONG, Diverse AI, para promover la diversidad en esa disciplina. “La explosión de la IA generativa aumentará la magnitud del impacto de esta tecnología en la sociedad”, agrega la especialista. En España ya lo hemos comprobado, por poner un ejemplo, con el caso de los deepfakes pornos de menores de Almendralejo. Atiende a Forbes Hispano tras su comunicación en Madrid de este martes en EnlightED, una conferencia mundial que reúne educación, tecnología e innovación.

Pregunta. En su experiencia, ¿son verdaderamente compatibles la moral y la IA?

Respuesta. Tienen que serlo. Lo que llamamos IA responsable prosigue un marco en el que se cuidan la equidad, la trasparencia, la privacidad y la seguridad, la protección de los derechos humanos, la moral de los datos y otras consideraciones. Así que hay una forma de hacerlo bien, no hay disculpas. Podemos someter los modelos de IA a pruebas de ecuanimidad. Podemos asegurarnos de que haya algún género de trasparencia. Y podemos regular, como desea hacer el Reglamento de IA de la UE. En términos de arquitectura algorítmica, no podemos codificar la moral. Pero podemos hacer muchas pruebas y afinar los modelos, ajustarlos en función de los resultados de las pruebas efectuadas para asegurarnos de que generan mejores resultados. Si no lo hacemos, pueden pasar cosas como que un chatbot persuada a un joven de que asesine a la reina de Inglaterra o que un belga se suicide tras semanas de charla con otra aplicación.

P. Todo depende de las personas que desarrollen los algoritmos.

R. Sin duda. Pero no deseo cargarles con toda la responsabilidad. La ciudadanía debemos presionar más a los responsables políticos a fin de que regulen. Y, alén de la regulación, precisamos organismos estandarizados que verdaderamente asistan con esta clase de marcos de IA responsable y guíen a organizaciones como la UE para saber de qué manera hacer esto apropiadamente.

P. ¿De qué forma se puede desarrollar IA responsable?

R. Es imposible hacerlo si en los equipos de desarrolladores no hay diversidad. Cultural, de género, de capacitación, etc. El siguiente inconveniente es la carencia de conciencia. A muchos estudiosos y compañías, esto no les importa. Solo desean tener una tecnología puntera, y llegar los primeros. Desarrollar una IA responsable ralentiza el proceso de lanzamiento por el hecho de que requiere hacer pruebas. Tu generador de imágenes lo debe usar alguien de Malasia para poder ver si la máquina es capaz de representar las bodas malayas como allá se festejan.

P. ¿Cree que la discriminación algorítmica va a ser un inconveniente social esencial en el futuro próximo?

R. Ahora mismo ya lo es, lo que sucede es que no lo identificamos como tal. Se va a amplificar, en especial con el apogeo de la IA generativa [los sistemas capaces de crear texto, imágenes o música]. Si le solicitas a un generador de imágenes como Midjourney o Dall-E que pinte un CEO, representará a un hombre, que probablemente va a ser blanco. Le estamos mostrando a las nuevas generaciones que los puestos de máxima responsabilidad son predominantemente masculinos. Son injusticias sistémicas que han existido en el planeta durante los años y que se supone que ya deberíamos haber eliminado. Es muy sutil, está muy escondo. Pero si no lo solventamos hoy, la tecnología amplificará esos inconvenientes que ya estaban ahí.

P. El uso policial que se hace en EE UU de los sistemas automatizados de reconocimiento facial ha generado muchos inconvenientes. ¿Cree que eso se corregirá?

R. Esa tecnología es una fuente de casos flagrantes de discriminación, siempre y en todo momento contra afroamericanos. Este verano, una mujer encinta de 8 meses fue detenida erróneamente por culpa de un sistema de reconocimiento facial que la identificó como la autora del hurto con violencia de un vehículo, cuando era evidente que con esa barriga apenas podía moverse. Esto prosigue ocurriendo 3 años tras el caso de Robert Williams, el primero que se documentó, y me frustra mucho. Si sabemos que estos inconvenientes existen, ¿por qué no prestamos atención para arreglarlos? Si adiestras el algoritmo de reconocimiento facial con una mayoría de semblantes de hombres blancos, va a haber más posibilidades de que se confunda, por poner un ejemplo, con una mujer negra. Hace un par de años, en torno a 5 estados dejaron de usar el reconocimiento facial. Pero un par de años después, decidieron reanudarlo. Ese es el habitual ciclo recurrente en EE UU.

R. Los ejecutivos ven en la IA una fuente de mejora de la productividad; los políticos, un medio para hacer medrar la economía. Pero absolutamente nadie piensa de verdad en los retos que plantea a la sociedad. La gente no es siendo consciente de los inconvenientes de discriminación e injusticia que trae la IA. El discute se ha centrado recientemente en si la IA supone una amenaza existencial para la humanidad, cuando ese no es verdaderamente el inconveniente al que nos encaramos hoy. Tenemos cuestiones más urgentes que tratar.

P. Usted trabajó en LaMDA, un enorme modelo de lenguaje experimental similar a ChatGPT desarrollado por Google. ¿De qué forma trató de que fuera responsable?

R. Trabajé en lo que llamamos modelo de madurez de IA responsable, un proceso consistente en cerciorarse de que hemos identificado qué labores va a hacer ese modelo y de qué manera las va a efectuar. Una de las pruebas que hicimos lleva por nombre la ventana de referencia de género, que esencialmente pretende probar si cuando charlas de enfermera solo identifica a una mujer o asimismo a un hombre [el término inglés nurse sirve para ambos]. También deseamos asegurarnos de que contábamos con un equipo diverso, con una representación justa de personas de diferente orientación sexual, género y etnia. Solo así podemos procurar lograr que el modelo tenga presente más capas de realidad. Ralentizamos el proceso 3 meses, mas todo el planeta quedó contento.

P. ¿No piensa que, por muchas capas y variables que se traten de tomar en consideración, nunca se conseguirá una representación justa? El planeta es horriblemente complejo y los modelos, reduccionistas por necesidad.

R. No puedes representar al mundo entero. Pero cuando menos puedes decidir tomar en consideración a la gente del sur global, por poner un ejemplo. A muchas compañías siempre y en todo momento se les olvida esta clase de cosas. Una vez que se ejecuta una prueba, hay que meditar en el impacto que tiene sobre determinadas personas en la sociedad, en especial las comunidades que por ley han de ser protegidas. Mujeres embarazadas, pequeños, personas que con discapacidad, minorías religiosas o étnicas… Trabajamos con un conjunto de datos y debemos saber quién está representado en ellos. Pero son datos anonimizados, por lo que se producen tensiones entre la privacidad y la equidad.

P. ¿Qué opina de ChatGPT? ¿Pasaría su prueba?

R. Está mejorando. Hace un año, cuando salió, era una basura. Podía inventar oraciones y pronosticar la próxima palabra de cualquier texto, mas aún era poco intuitivo. El primordial inconveniente que plantea es la desinformación y las invenciones. Y eso no sé en qué momento se va a solucionar. Para iniciar, por el hecho de que no sabemos por qué ocurre. Quizá debamos meditar en de qué manera volvemos a adiestrar estos modelos, en las técnicas que estamos utilizando. Pero indudablemente es buen paso en la dirección adecuada. Sigo pensando que nos dirigimos cara la IA general [la que iguale o supere a la del ser humano]. Sin duda, en el futuro vamos a ver grandes avances.

P. Los modelos como ChatGPT se han entrenado con los contenidos de internet, que están hechos por personas. Pero si la IA generativa prosigue medrando, es posible que los próximos modelos se adiestren con contenidos escritos por máquinas, que no son totalmente fiables. ¿De qué forma podemos solventar eso?

R. Es por eso que debemos ir más despacio. Creo que ahí es donde la regulación debe entrar en juego. Hay que cerciorarse de que hay un humano en el proceso de bucle y en todos y cada fase del ciclo del modelo. En realidad sería bueno producir datos desde datos generados por IA y edificar modelos basados en ellos. Ahora bien, debemos ser capaces de revisar los hechos y las fuentes. Tenemos que poder repasar estas cosas ya antes de lanzarlas. No podemos sencillamente dejar que salgan. Eso es una insensatez.

P. ¿Confía en la IA?

R. No confío en la IA como tecnología, mas sí en su potencial. Creo verdaderamente que nos puede asistir a solventar muchos de los grandes inconvenientes del planeta. No confío en ChatGPT. Si le pregunto algo, entonces debo ir a Google a revisar si es cierto, a buscar referencias y fuentes. Es posible que en un par de años no tengamos este inconveniente, mas ahora es así.

_