Artificial intelligence and the creation of non-consensual deepfake pornography: Human rights and an ethical-legal perspective
DOI:
https://doi.org/10.21615/cesder.7910Keywords:
impact, human rights, artificial intelligence, deepfake pornographyAbstract
This article addresses the impact of non-consensual deepfake pornography on image rights, personal privacy, and good name, raising an ethical and legal dilemma regarding the need to adapt legislation to new technological challenges. The main objective is to analyze how emerging technologies, particularly generative artificial intelligence (GAI), affect human rights in these contexts. The methodology employed is legal dogmatic, utilizing a qualitative approach and legal hermeneutics through an exploratory and descriptive method, with analysis of deepfake pornography cases. The results indicate that AI negatively affects these rights, especially those of women, and reveal that current legislation is not sufficiently updated to address these new challenges. It is concluded that it is urgent to adapt legal norms to guarantee the effective protection of human rights, offering an adequate legal framework for the resolution of these cases in judicial practice.
Downloads
References
20minutos (2024) El Gobierno de Reino Unido penalizará con cárcel la creación de deepfakes porno. https://www.20minutos.es/tecnologia/inteligencia-artificial/gobierno-reino-unido-carcel-deepfake-porno-5237101/
Asamblea General de Georgia. (2019) Code of Georgia (Estados Unidos). Recuperado de https://law.justia.com/codes/georgia/2019/
Asamblea General de Virginia. (2019) Code of Virginia (Estados Unidos) https://law.lis.virginia.gov/vacode/title18.2/chapter8/section18.2-386.1/
Asamblea Nacional Constituyente. (1991). Constitución Política de Colombia de 1991. Gaceta Constitucional 116 de 20 de julio de 1991.http://www.secretariasenado.gov.co/senado/basedoc/constitucion_politica_1991.html
Assembly Bill No. 602 (2019) An act to add Section 1708.86 to the Civil Code, relating to privacy. https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=201920200AB602
Balboa, M. (2022, 08 de septiembre). ¿Rostros aparentemente reales creados por computadora?, Sí, se hacen con deepfake y el cibercrimen ya los está usando. El comercio. https://elcomercio.pe/tecnologia/actualidad/deepfakes-que-es-tipos-riesgos-y-amenazas-inteligencia-artificial-como-lo-esta-usando-el-cibercrimen-noticia/#google_vignette
BBC News Mundo (2018). Qué son los "deepfakes" y por qué se están convirtiendo en el nuevo "porno de la venganza". https://www.bbc.com/mundo/noticias-43975322
BBC News Mundo (2023) Investigación BBC: el comercio ilegal de imágenes de abuso sexual infantil generadas por Inteligencia Artificial. https://www.bbc.com/mundo/articles/c1vzyevl0nro
Bigas, N. (2023). 'Deepfakes' pornográficos: Cuando la IA desnuda tu intimidad y vulnera tus derechos. UOC. https://www.uoc.edu/es/news/2023/265-deepfakes-pornograficos-cuando-IAdesnuda-tu-intimidad-vulnera-tus-derechos
BOE (1995). Ley Orgánica 10/1995, de 23 de noviembre, del Código Penal. https://www.boe.es/buscar/pdf/1995/BOE-A-1995-25444-consolidado.pdf
Boté Vericad J. J. y Vállez M. (2022). Aplicaciones de deepfakes. Manipulación de contenido audiovisual y riesgos para los usuarios basados en las políticas de privacidad. Documentación de las Ciencias de la Información, 45(1), 25-32. https://doi.org/10.5209/dcin.77256
Carranza, M. (2023) El escándalo del streamer Atrioc y las fotos de desnudos generadas por IA. Sopitas.com. https://www.sopitas.com/geek/streamer-atrioc-que-paso-deepfake-fotos-desnudos-ia-escandalo/
CNN Mundo (2023) Corea del Sur encarcela a un hombre por utilizar inteligencia artificial para crear imágenes sexuales de niños, en un hecho sin precedentes en el país.
Congreso de la República de Colombia. (2000). Ley 599 de 2000. Por la cual se expide el Código Penal. Diario Oficial No. 44.097 de 24 de julio de 2000. https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=6388
Congreso de los diputados (2023) Ley 122/000011. Proposición de Ley Orgánica de regulación de las simulaciones de imágenes y voces de personas generadas por medio de la inteligencia artificial. https://www.congreso.es/public_oficiales/L15/CONG/BOCG/B/BOCG-15-B-23-1.PDF
Congreso de los Estados Unidos (2023). To require covered platforms to remove non consensual intimate visual depictions, and for other purposes. https://files.constantcontact.com/1849eea4801/b6c3c645-ac61-4a95-9088-0d0e932fe633.pdf
Corte Constitucional de Colombia. La Sala Novena de Revisión de la Corte Constitucional. (2000). Sentencia T-094. Magistrado Ponente Dr. Álvaro Tafur Galvis. https://www.corteconstitucional.gov.co/relatoria/2000/T-094-00.htm
Corte Constitucional de Colombia. La Sala Octava de Revisión de tutelas. (2020). Sentencia T-007. Magistrado Ponente José Fernando Reyes Cuartas. https://www.corteconstitucional.gov.co/relatoria/2020/T-007-20.htm
Corte Constitucional de Colombia. La Sala Octava de Revisión de Tutelas. (2019). Sentencia T-610. Magistrado Ponente José Fernando Reyes Cuartas. https://www.corteconstitucional.gov.co/relatoria/2019/T-610-19.htm
Corte Constitucional de Colombia. La Sala Plena Constitucional. (2019). Sentencia SU420. Magistrado Ponente José Fernando Reyes Cuartas. https://www.corteconstitucional.gov.co/relatoria/2019/SU420-19.htm
Corte Constitucional de Colombia. La Sala Primera de Revisión de la Corte Constitucional. (2013). Sentencia T-634. Magistrado Ponente María Victoria Calle Correa. https://www.corteconstitucional.gov.co/relatoria/2013/T-634-13.htm
Corte Constitucional de Colombia. La Sala Sexta de Revisión de la Corte Constitucional. (2011). Sentencia T-949. Magistrado Ponente Nilson Pinilla Pinilla. https://www.corteconstitucional.gov.co/relatoria/2011/T-949-11.htm#:~:text=T%2D949%2D11%20Corte%20Constitucional%20de%20Colombia&text=Esta%20Corte%20ha%20se%C3%B1alado%20que,activa%20la%20protecci%C3%B3n%20del%20derecho
Corte Constitucional de Colombia. Sala Plena de la Corte Constitucional. (2011). Sentencia C-881. Magistrado Ponente Jorge Ignacio Pretelt Chaljub. https://www.corteconstitucional.gov.co/relatoria/2014/C-881-14.htm#:~:text=El%20n%C3%BAcleo%20esencial%20del%20derecho,vida%20personal%2C%20espiritual%20y%20cultural
Corte Constitucional de Colombia. Sala Plena. (2002) Sentencia C 489. Magistrado Ponente Rodrigo Escobar Gil. https://www.corteconstitucional.gov.co/relatoria/2002/C-489-02.htm
Corte Constitucional de Colombia. Sala Plena. (2011). Sentencia C-442. Magistrado Ponente Humberto Antonio Sierra Porto. https://www.corteconstitucional.gov.co/relatoria/2011/C-442-11.htm
Corte Constitucional de Colombia. Salas Civil y Penal del Tribunal Superior de Antioquia. (1995). Sentencia SU 056. Magistrado Ponente Antonio Barrera Carbonell. https://www.corteconstitucional.gov.co/RELATORIA/1995/SU056-95.htm
Creswell J. y Creswell J. (2018) Research Design (7ª ed.). https://spada.uns.ac.id/pluginfile.php/510378/mod_resource/content/1/creswell.pdf
Duque, L. (2019) Taylor Swift, los deepfakes y la violencia de género. Podcast Universidad de los Andes. https://cerosetenta.uniandes.edu.co/taylor-swift-deepfakes-violencia-genero/
El economista (2024) Deepfakes: Sancionarán con cárcel la difusión de imágenes porno creadas con IA. https://www.eleconomista.com.mx/politica/Deepfakes-Sancionaran-con-carcel-la-difusion-de-imagenes-porno-creadas-con-IA-20240216-0094.html
France 24 (2023) Acoso en colegios de EEUU mediante pornografía falsa creada con IA. https://www.france24.com/es/minuto-a-minuto/20231124-acoso-en-colegios-de-eeuu-mediante-pornograf%C3%ADa-falsa-creada-con-ia
Franganillo, J. (2023). La inteligencia artificial generativa y su impacto en la creación de contenidos mediáticos. Methaodos Revista de Ciencias Sociales, 11(2), m231102a10. http://dx.doi.org/10.17502/mrcs.v11i2.710
Home Security Heroes (2023). State Of Deepfakes. https://www.homesecurityheroes.com/state-of-deepfakes/#key-findings
ISDI. (2023, 28 de Septiembre). Inteligencia artificial generativa: ¿Qué es y cómo funciona? Digital Skills. Recuperado el 23 de marzo de 2024. Obtenido de https://www.isdi.education/es/blog/inteligencia-artificial-generativa-que-es
Magas (2024) La congresista Alexandria Ocasio-Cortez, víctima de un 'deepfake' pornográfico: "Es como una violación".https://www.elespanol.com/mujer/actualidad/20240409/congresista-alexandria-ocasio-cortez-victima-deepfake-pornografico-violacion/846415865_0.html
Marshall y Rossman (2016). Designing Qualitative Research (6th ed.). Thousand Oaks, CA: Sage. https://www.scirp.org/reference/referencespapers?referenceid=2914926
Martínez-Comesaña, M., Rigueira-Díaz, X., Larrañaga-Janeiro, A., Martínez-Torres, J., Ocarranza-Prado, I., & Kreibel, D. (2023). Impacto de la inteligencia artificial en los métodos de evaluación en la educación primaria y secundaria: revisión sistemática de la literatura. Revista de psicodidáctica.
Ministerio de Industria y Tecnología de la Información de la República Popular China (2022) Disposiciones sobre la gestión de síntesis en profundidad de los servicios de información de Internet. https://www.gov.cn/zhengce/zhengceku/2022-12/12/content_5731431.htm
Ministerio de Justicia de Corea del Sur (2023). Ley Especial de Sanción de Delitos de Violencia Sexual. https://www.law.go.kr/%EB%B2%95%EB%A0%B9/%EC%84%B1%ED%8F%AD%EB%A0%A5%EB%B2%94%EC%A3%84%EC%9D%98%EC%B2%98%EB%B2%8C%EB%93%B1%EC%97%90%EA%B4%80%ED%95%9C%ED%8A%B9%EB%A1%80%EB%B2%95
Moncada, A. (2020). Ventajas y riesgos de las redes generativas antagónicas. Vertigo Político. https://www.vertigopolitico.com/todo-menos-politica/conocimiento/ventajas-y-riesgos-de-las-redes-generativas-antagonicas
Montevideo Portal (2023) Acoso en centros educativos de EE. UU. mediante pornografía infantil falsa creada con IA. https://www.montevideo.com.uy/Ciencia-y-Tecnologia/Acoso-en-centros-educativos-de-EE-UU-mediante-pornografia-infantil-falsa-creada-con-IA-uc872261
Morales, K. (2023). Pornografía Deepfake y Violencia de Género. Centro de Autonomía Digital. https://autonomia.digital/2023/11/22/deepfakes-and-gender-violence.html
Murillo y Ramírez (s.f) Implicaciones de la Inteligencia Artificial. Universidad Libre, Pereira, Colombia. Recuperado de: https://hdl.handle.net/10901/29284.
OBS Business School (s.f) ¿Qué es la Inteligencia Artificial Generativa?. https://www.obsbusiness.school/blog/que-es-la-inteligencia-artificial-generativa
OCDE (2019) Cuarenta y dos países adoptan los Principios de la OCDE sobre Inteligencia Artificial. https://www.oecd.org/espanol/noticias/cuarentaydospaisesadoptanlosprincipiosdelaocdesobreinteligenciaartificial.htm
Parlamento de la Commonwealth de Australia (2024). CRIMINAL CODE AMENDMENT (DEEPFAKE SEXUAL MATERIAL) BILL 2024. https://www.diarioconstitucional.cl/wp-content/uploads/2024/06/Vea-proyecto-de-ley-1.pdf
Pérez Llaín, Y. Y. ., Durán Chinchilla, C. M. ., & Casadiegos Santana, M. H. . (2025). La inteligencia artificial en la educación superior: un examen ético-jurídico de su perspectiva transformadora. Academia & Derecho, 18(30). https://revistas.unilibre.edu.co/index.php/academia/article/view/12707
Perfil (2024) Proyecto de Ley de Deepfakes en Argentina. https://www.perfil.com/noticias/opinion/proyecto-de-ley-de-deepfakes-en-argentina.phtml
Redacción Vistazo (2023) Alumnos de un colegio de Quito usaron inteligencia artificial para crear videos sexuales con los rostros de sus compañeras. Vistazo. https://www.vistazo.com/actualidad/nacional/alumnos-de-un-colegio-de-quito-usaron-inteligencia-artificial-para-crear-videos-sexuales-con-los-rostros-de-sus-companeras-ME6107394
Rockcontent (2021) Tipos de Inteligencia Artificial: conoce cuáles existen y cómo usarlos. https://rockcontent.com/es/blog/tipos-de-inteligencia-artificial/
Rodrigo, J (2022) Realismo Trágico: ¿Cómo regular los deepfakes en Colombia? Latín American Law Review, 1(8), 125-145. Universidad de los Andes. https://revistas.uniandes.edu.co/index.php/lar/article/view/4715
Swissinfo.ch (2023) La India prepara una ley para regular y penar el uso de vídeos ultrafalsos o “deepfake”. https://www.swissinfo.ch/spa/la-india-prepara-una-ley-para-regular-y-penar-el-uso-de-v%C3%ADdeos-ultrafalsos-o-deepfake/49002178
The New York State Senate (2020). Senate Bill S5959D. https://www.nysenate.gov/legislation/bills/2019/S5959
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Revista CES Derecho
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
