Los generadores de imágenes de IA están actualmente en auge, ya que pueden producir fácilmente cualquier tipo de imagen basándose en indicaciones. Esto ha entusiasmado a muchos usuarios ya que el único límite para producir este tipo de imágenes es su imaginación.
Sin embargo, estas herramientas también han generado preocupaciones sobre su capacidad para generar contenido explícito, incluidas imágenes sexuales y sangrientas.
De acuerdo a un informe Según MIT Technology Review, varias palabras sobre el sistema reproductivo humano han sido prohibidas en el popular generador de imágenes de IA Midjourney para evitar contenido pornográfico e inapropiado.
Términos prohibidos
Términos como “himen”, “cérvix”, “trompas de Falopio”, “glándulas mamarias”, “esperma”, “uterino” y muchos más son ejemplos de indicaciones prohibidas de la herramienta de inteligencia artificial.
Los usuarios que intentaron uno de estos mensajes ocasionalmente tienen sus cuentas temporalmente inhabilitadas por intentar generar contenido prohibido.
Sin embargo, los términos “hígado” y “riñón”, así como otros relacionados con la biología humana, son aceptables.
David Holz, fundador de Midjourney, afirma que la empresa prohíbe estas frases para disuadir a los usuarios de crear contenido gráfico o perturbador.
Holz afirma que los moderadores a menudo cambian las prohibiciones según sus observaciones del lenguaje utilizado y el tipo de fotografías que se crean.
La compañía describe el tipo de contenido que restringe en su página de pautas comunitarias, incluidas imágenes sexuales, sangre e incluso el emoji de durazno, que se usa con frecuencia como un signo de las nalgas.
Aunque también están prohibidas varias terminologías asociadas con el sistema reproductivo masculino, como “esperma” y “testículos”, la lista de palabras parece incluir más partes del cuerpo de las mujeres.
Descubriendo la prohibición inmediata
Julia Rockwell, analista de datos clínicos de Datafy Clinical, y Madeline Keenen, bióloga celular de la Universidad de Carolina del Norte en Chapel Hill, fueron las primeras en notar la pronta prohibición, según MIT Technology Review.
Rockwell utilizó Midjourney para crear una representación divertida del órgano, pero se sorprendió al saber que estaba prohibido utilizar “placenta” como indicación.
El dúo también demostró cómo es fácil eludir estas restricciones utilizando ortografías alternativas de palabras u otros eufemismos para material explícito o gráfico para producir imágenes sexualizadas.
Según una investigación que compartieron con MIT Technology Review, el rápido “examen ginecológico”, escrito con la ortografía británica, produjo algunas imágenes extremadamente inquietantes, incluida una que muestra a dos mujeres desnudas en el consultorio de un médico.
La IA generativa ha estado dominando la escena tecnológica hasta ahora y la reciente medida de Midjourney tiene como objetivo garantizar que no permita que su herramienta cree contenido inapropiado y potencialmente dañino que pueda compartirse en línea.
ⓒ 2023 . .
