El Uso Abusivo de la Inteligencia Artificial en la Creación de Material de Abuso Sexual Infantil

Publicado el 18 de octubre de 2024 por Caroline Mimbs Nyce

Muah.AI es un sitio web donde las personas pueden crear novias virtuales basadas en inteligencia artificial, chatbots que comunican mediante texto o voz y envían imágenes de sí mismas a solicitud. Casi 2 millones de usuarios se han registrado para el servicio, que describe su tecnología como «sin censura». Sin embargo, datos supuestamente extraídos del sitio sugieren que sus herramientas están siendo utilizadas para crear material de abuso sexual infantil (CSAM, por sus siglas en inglés).

Recientemente, Joseph Cox de 404 Media fue el primero en informar sobre un conjunto de datos relacionado, después de que un hacker anónimo lo hiciera llegar a él. Lo que encontró fue profundamente alarmante: entre sus hallazgos se incluían solicitudes de usuarios para que Muah.AI generara contenido relacionado con abusos sexuales que involucraban «recién nacidos» y «niños pequeños». Aunque no está claro si el programa cumplió con estas solicitudes, muestra un patrón preocupante de intentos de explotación infantil mediante tecnología accesible.

Un Problema de Escala

La magnitud de este fenómeno es inquietante. Troy Hunt, un reconocido consultor de seguridad, revisó los datos y confirmó la existencia de numerosas solicitudes para materiales de abuso sexual infantil. Al buscar en la base de datos términos como «niño de 13 años», encontró más de 30,000 resultados, muchos de los cuales estaban acompañados de descripciones de actos sexuales.

Las plataformas de inteligencia artificial más relevantes, como ChatGPT, emplean filtros y herramientas de moderación para limitar la generación de contenido prohibido, pero los servicios menos conocidos pueden operar con menos restricciones. Esto ha llevado a múltiples casos de explotación y abuso en línea, exacerbados por la falta de regulación en los sitios que permiten este tipo de interacciones.

Respuestas de Muah.AI

Cuando se contactó a Muah.AI sobre la violación de datos, un representante confirmaron que el sitio fue hackeado. Sin embargo, se mostraron escépticos respecto a la severidad de las cifras presentadas por Hunt; argumentaron que no pueden ser correctas porque no creen que un porcentaje significativo de sus usuarios sean pedófilos. Además, afirmaron que están trabajando con un equipo reducido y con recursos limitados para moderar el contenido generado por los usuarios.

El representante también mencionó que el sitio había implementado previamente un sistema de filtrado para bloquear cuentas que usaran ciertos términos, pero que este fue ajustado tras recibir quejas sobre bloqueos injustos.

Un Debate Urgente

La situación plantea preguntas serias sobre la regulación de la inteligencia artificial y la responsabilidad de las plataformas que permiten su uso. ¿Qué nivel de supervisión es necesario para prevenir abusos en línea? Al mismo tiempo, persiste el argumento sobre la libertad de expresión en la era digital, lo que complica aún más el debate. Con leyes federales relativas a la pornografía infantil aún en evolución, el futuro de estas tecnologías sigue siendo incierto.

Conclusión

Los problemas de explotación y abuso relacionados con la inteligencia artificial son un fenómeno creciente que requiere atención inmediata. La falta de regulación en plataformas como Muah.AI demuestra la necesidad de un marco más riguroso que proteja a los más vulnerables en el mundo digital. Es un momento crítico para reflexionar sobre el impacto de la tecnología y cómo puede ser utilizada de manera irresponsable.

Preguntas para la Audiencia

• ¿Qué medidas crees que deberían implementarse para regular el uso de la inteligencia artificial en la creación de contenido sensible?
• ¿Consideras que es posible balancear la libertad de expresión con la protección de los niños en línea?
• ¿Qué rol deberían jugar las plataformas de tecnología en prevenir la creación de material de abuso?