in OpinionMEMBER EXCLUSIVE
La intensificación de la violencia digital contra mujeres y niñas a través de chatbots de IA no es un error, sino una característica inherente de su diseño. Estos sistemas, en ocasiones, se entrenan con interacciones de usuarios que exhiben misoginia y violencia sexual, y debido a su naturaleza complaciente, tienden a fomentar escenarios de juego de roles perjudiciales en lugar de rechazarlos.(Image credit: Yuliya Taba/Getty Images)Share this article 0Join the conversationFollow usAdd us as a preferred source on GoogleSubscribe to our newsletter
Los chatbots de inteligencia artificial (IA) están generando nuevas formas de violencia contra mujeres y niñas y amplificando las formas existentes de abuso, como el acoso y la persecución. Esto no es una casualidad: las plataformas facilitan estas formas de violencia de género a través de decisiones de diseño deliberadas o por la falta de implementación de medidas de seguridad suficientes. Es imperativo regular a los proveedores de chatbots de IA de inmediato, para evitar que las aplicaciones abusivas de dicha tecnología se normalicen.
La magnitud del impacto de los chatbots en la violencia contra mujeres y niñas quedó patente en un informe de investigación que recientemente co-organicé con colegas. Los hallazgos son desalentadores. Descubrimos que los chatbots inician el abuso, simulan el abuso y ayudan a facilitar el abuso al ofrecer asesoramiento personalizado para la persecución. Algunos incluso normalizan el incesto, la violación y el abuso sexual infantil al proponer escenarios de juego de roles abusivos.
Los chatbots —sistemas de IA capaces y diseñados para simular interacciones humanas y generar texto, imágenes, audio y video en respuesta a las indicaciones del usuario— están por todas partes. En EE. UU., el 64% de los niños de 13 a 17 años afirman usar chatbots, y tres de cada diez lo hacen a diario. Más de la mitad de los adultos utilizan un chatbot al menos una vez por semana.
“Nuestro informe demuestra que el diseño de los chatbots es fundamental para instigar la violencia contra mujeres y niñas.”
El entrenamiento de sistemas con interacciones de usuarios conlleva el riesgo de reforzar contenido misógino y sexualmente violento, mientras que el diseño, optimizado para la interacción y de naturaleza “sycophantic” (halagadora), anima a los chatbots a afirmar narrativas dañinas en lugar de rechazarlas. Las políticas de las plataformas frecuentemente atribuyen la responsabilidad a los usuarios, enmarcando las salidas abusivas como un problema de uso indebido por parte del usuario en lugar de fallos en la seguridad y el diseño del chatbot.
Esta es la razón por la cual la regulación de los proveedores de chatbots es tan importante, para detener la consolidación de estas prácticas. Ya hemos sido testigos de las consecuencias de la falta de regulación a través de aplicaciones “nudify” que crean imágenes íntimas falsas no consensuales. La regulación llegó tarde y la práctica de crear imágenes falsas, y los daños causados a las víctimas, se habían normalizado y generalizado para cuando los gobiernos actuaron para prohibir estas herramientas. Argumentamos que, para evitar cometer los mismos errores con los chatbots, es necesario tomar las siguientes medidas:
— Convertir en delito la creación de un chatbot de IA diseñado, o que pueda ser fácilmente utilizado, para abusar o acosar a mujeres, dirigiendo la responsabilidad a empresas o individuos que lanzan herramientas que presentan riesgos sin tomar medidas razonables para prevenir daños. Al igual que la conducción temeraria o la posesión de un perro peligroso son punibles por ley, la creación de un riesgo para el público mediante la liberación de un chatbot con protecciones insuficientes debería incluirse en el ámbito del derecho penal. Las multas para las empresas y las penas de prisión para los individuos responsables de crear este riesgo podrían hacer que las empresas sean más cautelosas para anticipar y prevenir daños potenciales antes de lanzar productos.
— Adoptar legislación específica sobre Seguridad de la IA. Esto establecería evaluaciones de riesgo obligatorias e incorporaría salvaguardias claras para prevenir daños individuales y sociales, incluido el deber de actuar rápidamente cuando se identifiquen daños, publicar información transparente sobre seguridad y permitir a los usuarios informar incidentes fácilmente. Legislación estatal importante, en lugares como Utah, Colorado y California, ha ampliado la capacidad de individuos y fiscales generales estatales para demandar a los proveedores de IA que no han cumplido con sus obligaciones bajo la legislación. Sin embargo, ha habido una reacción contra estas medidas a nivel estatal en los últimos años, con el gobierno de EE. UU. argumentando que son barreras a la innovación y la competitividad nacional.
Aproximadamente el 64% de los niños en EE. UU. de 13 a 17 años afirman usar chatbots, y 3 de cada 10 lo hacen a diario.
(Image credit: Fiordaliso /Getty Images)
Pueden plantearse dos objeciones principales a nuestras recomendaciones: la primera, impulsada por los proveedores de IA, es que estas formas de abuso son un problema de “uso indebido por parte del usuario”, y que la responsabilidad debería recaer en los usuarios en lugar de en los proveedores de estos servicios. Sin embargo, nuestra investigación muestra que el abuso se produce estructuralmente por características de cómo se construyen o gobiernan los chatbots, y para qué están optimizados.
Por ejemplo, para potenciar la interacción, algunos chatbots han llevado continuamente a los usuarios (incluidos los menores de edad) a participar en mensajes sexuales no deseados. Si un humano estuviera haciendo esto, constituiría acoso o manipulación sexual. Algunos de los chatbots compañeros incluso ofrecen “violación violenta” o “loli” (un término para una niña menor de edad) como opciones que los usuarios pueden elegir, legitimando estas formas delictivas de abuso como meras preferencias sexuales. El abuso está incorporado en el ADN de estos chatbots.
La segunda objeción —reflejada en el reciente anuncio del gobierno del Reino Unido de que está explorando la prohibición de los chatbots de IA para menores de 16 años— es que los chatbots de IA representan principalmente un peligro para los niños, y que ellos deberían ser el foco de la regulación. No obstante, nuestra investigación revela que los chatbots de IA pueden intensificar el abuso contra adultos, como la persecución o el acoso, con orientación y estímulo detallados y personalizados.
More Stories
- La IA acaba de verificar una demostración que obtuvo uno de los premios más prestigiosos de las matemáticas. Las matemáticas nunca volverán a ser lo mismo
- “El problema no es solo Siri o Alexa”: los asistentes de IA tienden a ser femeninos, afianzando estereotipos de género perjudiciales
- Tu imagen generada por IA de un gato montando un plátano existe porque los niños escarban en la tierra en busca de elementos tóxicos. ¿Realmente vale la pena?
En el caso de Massachusetts, James Florence había proporcionado a los chatbots de IA información personal de su víctima, incluido su historial laboral, sus aficiones, el nombre de su marido y su lugar de trabajo. Los daños aquí no son para el usuario, sino para la sociedad en general: una prohibición del uso de chatbots por parte de los niños no los habría evitado.
Este daño social más amplio no se detiene cuando el usuario cumple 18 años. Necesitamos urgentemente legislación específica sobre seguridad de la IA que proteja contra estos daños, exigiendo pruebas rigurosas y evaluaciones de riesgos antes de la liberación pública de dichos productos, y continuamente después.
El cambio en la ley en torno al desarrollo de chatbots de IA no solo protegería a los niños, sino que también garantizaría que, cuando esos niños se conviertan en adultos, disfruten de un entorno de IA libre de sesgos, misoginia y violencia contra mujeres y niñas. Ese es un mundo que todos merecemos habitar.
Opinion on Live Science te ofrece una perspectiva sobre los temas científicos más importantes que te afectan a ti y al mundo que te rodea hoy, escritos por expertos y científicos líderes en su campo.
TOPICS
Sourse: www.livescience.com