Artificial intelligence, algorithmic discrimination and the European Union's regulatory response
DOI:
https://doi.org/10.21615/cesder.7943Keywords:
artificial intelligence, algorithmic discrimination, fundamental rights, equality, European UnionAbstract
This paper analyses the risks that artificial intelligence (AI) poses to fundamental rights, with particular emphasis on the principle of equality and the emergence of algorithmic discrimination. It shows that AI systems can reproduce and amplify biases embedded in data or design choices, disproportionately affecting vulnerable groups. By examining Regulation (EU) 2024/1689 of the European Parliament and of the Council laying down harmonized rules on artificial intelligence and Regulation (EU) 2016/679 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data (GDPR), the study assesses the EU's legal capacity to address these risks. It highlights the need to reinforce oversight mechanisms, ensure algorithmic transparency, and promote a model of digital governance that effectively safeguards human rights.
Downloads
References
A Civil Society Statement. (2021). "An EU Artificial Intelligence Act for Fundamental Rights". En: Civil Society Statement No. 1. Versión digital disponible en: https://edri.org/wp-content/uploads/2021/12/Political-statement-on-AI-Act.pdf
Arellano Toledo, W. (2019). "El derecho a la transparencia algorítmica en Big Data e inteligencia artificial". En: Revista General de Derecho Administrativo. Vol. 50. Madrid: Iustel, p. 1-25.
Arellano Toledo, W. (2023). Derecho, ética e inteligencia artificial. Valencia: Tirant lo Blanch.
Arroyo Jiménez, L. (2020). "Algoritmos y reglamentos". En: Almacén del Derecho No. 25. Versión digital disponible en: https://almacendederecho.org/algoritmos-y-reglamentos
Balaguer Callejón, F. (2023). La Constitución del algoritmo. Zaragoza: Fundación Manuel Giménez Abad de Estudios Parlamentarios y del Estado Autonómico.
Barrio Andrés, M. (2020). "Retos y desafíos del Estado algorítmico de Derecho". En: Análisis del Real Instituto Elcano. Vol. 82. Madrid: Real Instituto Elcano, p. 1-6.
Barrio Andrés, M. (2022). Manual de Derecho digital. Valencia: Tirant lo Blanch, 2.a edición.
Beck, U. (2008). La Sociedad del riesgo mundial. En busca de la seguridad Perdida. Barcelona: Paidós.
Belloso Martín, N. (2022). "La problemática de los sesgos algorítmicos (con especial referencia a los de género). ¿Hacia un derecho a la protección contra los sesgos?". En: Inteligencia Artificial y filosofía del Derecho. Murcia: Laborum, p. 45-78.
Boix Palop, A. (2020). "Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones". En: Revista de Derecho Público: teoría y método. Vol. 1, No. 1. Madrid: Centro de Estudios Políticos y Constitucionales, p. 223-269.
Borges Blázquez, R. (2020). "El sesgo de la máquina en la toma de decisiones en el proceso penal". En: Ius et Scientia. Revista electrónica de Derecho y Ciencia. Vol. 6, No. 2. Sevilla: Universidad de Sevilla, p. 54-71.
CEF – Laboral Social. (2022). "Derecho antidiscriminatorio. Ley 25/2022, una ley de garantías, general e integral". En: CEF Laboral Social No. 1. Versión digital disponible en: https://www.laboral-social.com/derecho-antidiscriminatorio-ley-15-2022-garantias-general-integral.html
Comisión Especial sobre Inteligencia Artificial en la Era Digital. (2022). "Informe sobre la inteligencia artificial en la era digital". En: Parlamento Europeo No. 2020/2266(INI). Versión digital disponible en: https://www.europarl.europa.eu/doceo/document/A-9-2022-0088_ES.pdf
Comisión Europea para la Eficiencia de la Justicia. (2018). "European ethical Charter on the use of Artificial Intelligence in judicial systems and their environment". En: CEPEJ No. 1. Versión digital disponible en: https://rm.coe.int/ethical-charter-en-for-publication-4-december-2018/16808f699c
Comisión Europea. (2018). "Comunicación de la Comisión: Inteligencia artificial para Europa". En: COM No. 237. Versión digital disponible en: https://eur-lex.europa.eu/legal-content/ES/TXT/?uri=COM%3A2018%3A237%3AFIN
Comisión Europea. (2021). "Proposal for a Regulation of the European Parliament and of the Council. Laying down harmonized rules on artificial intelligence (Artificial Intelligence Act)". En: COM No. 206. Versión digital disponible en: https://artificialintelligenceact.eu/wp-content/uploads/2024/01/AIA-Final-Draft-21-January-2024.pdf
Cotino Hueso, L. (2022). "Transparencia y Explicabilidad de la Inteligencia Artificial y Compañía (Comunicación, Interpretabilidad, Inteligibilidad, Auditabilidad, Testabilidad, Comprobabilidad, Simulabilidad...). Para qué, para quién y cuánta". En: Transparencia y explicabilidad de la Inteligencia Artificial. Valencia: Tirant Lo Blanch, p. 29-70.
Cotino Hueso, L. (2023). "Qué concreta transparencia e información de algoritmos e inteligencia artificial es la debida". En: Revista Española de Transparencia. Vol. 16. Madrid: Fundación Hay Derecho, p. 17-63.
Cotino Hueso, L. (2024). "La primera sentencia del Tribunal de Justicia de la Unión Europea sobre decisiones automatizadas y sus implicaciones para la protección de datos y el Reglamento de inteligencia artificial". En: Diario La Ley. Vol. 80. Madrid: Wolters Kluwer, p. 1-12.
De Asís Roig, R. (2015). Una mirada a la robótica desde los derechos humanos. Madrid: Dykinson.
De Asís Roig, R. (2023). "Sobre los derechos evidentes". En: Cuadernos Electrónicos de Filosofía del Derecho. Vol. 49. Valencia: Universitat de València, p. 602-611.
De Asís Roig, R. (2024). "De nuevo sobre Inteligencia Artificial y Derechos Humanos". En: Derechos y Libertades. Vol. 51, Época II. Madrid: Universidad Carlos III de Madrid, p. 25-40.
De la Cueva, J. (2018). "Código fuente, algoritmos y fuentes del Derecho". En: El Notario del siglo XXI: revista del Colegio Notarial de Madrid. Vol. 77. Madrid: Colegio Notarial de Madrid, p. 24-27.
De Salvador Carrasco, L. (2023). "Aprendizaje automático y protección de datos". En: Inteligencia artificial: los derechos humanos en el centro. Madrid: Dykinson, p. 131-154.
Esteve Pardo, J. (2003). "Ciencia y Derecho ante los riesgos para la salud. Evaluación, decisión y gestión". En: Documentación Administrativa. Vol. 265-266. Madrid: INAP, p. 137-149.
Fernández, C. B. (2020). "Primera sentencia europea que declara ilegal un algoritmo de evaluación de características personales de los ciudadanos". En: Diario La Ley No. 1. Versión digital disponible en: https://diariolaley.laleynext.es/Content/Documento.aspx?params=H4sIAAAAAAAEAMtMSbH1czUwMDAyNDa3NDJUK0stKs7Mz7M1MjACC6rl5aekhrg425bmpaSmZealpoCUZKZVuuQnh1QWpNqmJeYUp6qlJuXnZ6OYFA8zAQCfSdkrYwAAAA==WKE
Flores Anarte, L. (2023). "Sesgos de género en la inteligencia artificial: el Estado de Derecho frente a la discriminación algorítmica por razón de sexo". En: Revista Internacional de Pensamiento Político – I Época. Vol. 18. Huelva: Universidad de Huelva, p. 95-120.
Gómez Sánchez, Y. (2004). "La dignidad como fundamento de los derechos: especial referencia al derecho a la vida". En: Bioética: La cuestión de la dignidad. Madrid: Publicaciones de la Universidad Pontificia de Comillas, p. 75-104.
Grupo de Expertos de Alto Nivel sobre Inteligencia Artificial. (2019). "Directrices éticas para una IA fiable". En: Comisión Europea No. 1. Versión digital disponible en: https://digital-strategy.ec.europa.eu/es/library/ethics-guidelines-trustworthy-ai
Grupo de Trabajo sobre Protección de Datos del artículo 29. (2018). "Directrices del Comité Europeo sobre Protección de Datos referentes a decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679". En: Comisión Europea No. 1. Versión digital disponible en: https://www.aepd.es/documento/wp251rev01-es.pdf
Herranz, A. (2019). "De qué serán capaces la inteligencia artificial y el machine learning en 10 años: los mayores expertos nos responden". En: Xataca No. 1. Versión digital disponible en: https://www.xataka.com/robotica-e-ia/que-seran-capaces-inteligencia-artificial-machine-learning-10-anos-mayores-expertos-nos-responden
IALAB. (2021). "Sesgos algorítmicos de Género". En: Laboratorio de Innovación e Inteligencia Artificial de la Universidad de Buenos Aires No. 1. Versión digital disponible en:https://www.researchgate.net/publication/359115499_Sesgos_algoritmicos_de_genero/link/6228cf3697401151d20a1a41/download?_tp=eyJjb250ZXh0Ijp7ImZpcnN0UGFnZSI6InB1YmxpY2F0aW9uIiwicGFnZSI6InB1YmxpY2F0aW9uIn19
Jiménez-Castellanos Ballesteros, I. (2023). "Decisiones automatizadas y transparencia administrativa: nuevos retos para los derechos fundamentales". En: Revista Española de Transparencia. Vol. 16. Madrid: Fundación Hay Derecho, p. 191-215.
Laykite, M. (2024). "Reflexión sobre los derechos fundamentales en la nueva Ley de la Inteligencia Artificial". En: Derechos y Libertades. Vol. 51, Época II. Madrid: Universidad Carlos III de Madrid, p. 151-175.
Merchán Murillo, A. (2019). "Inteligencia artificial y Blockchain: retos jurídicos en paralelo". En: Revista General de Derecho Administrativo. Vol. 50. Madrid: Iustel, p. 1-20.
Ministerio de Asuntos Económicos y Transformación Digital. (2020). Estrategia Nacional de Inteligencia Artificial. Madrid: Ministerio de Asuntos Económicos y Transformación Digital.
Ministerio de Igualdad. (2022). Plan Estratégico para la Igualdad Efectiva de Mujeres y Hombres 2022-2025. Madrid: Ministerio de Igualdad.
Miró Llinares, F. (2019). "El modelo policial que viene: mitos y realidades del impacto de la inteligencia artificial y la ciencia de datos en la prevención policial del crimen". En: Libro Blanco de la Prevención y Seguridad Local Valenciana. Valencia: Instituto Valenciano de Seguridad Pública y Emergencias, p. 98-113.
Montano, P. J. (1995). "La responsabilidad de médicos y científicos ante las nuevas tecnologías biogenéticas". En: Cuadernos de Bioética. Vol. 1. Madrid: Asociación Española de Bioética y Ética Médica, p. 81-91.
Padilla Ruiz, P. (2019). "Inteligencia artificial y Administración pública. Posibilidades y aplicación de modelos básicos en el procedimiento administrativo". En: Consultor de los ayuntamientos y de los juzgados: Revista técnica en administración local y justicia municipal. Vol. 10. Madrid: Wolters Kluwer, p. 96-104.
Panea Márquez, J. M. (2005). "La imprescindible dignidad". En: Bioética y derechos humanos. Implicaciones sociales y jurídicas. Sevilla: Universidad de Sevilla, p. 17-28.
Pérez De la Fuente, O. (2005). Pluralismo cultural y derechos de las minorías una aproximación iusfilosófica. Madrid: Dykinson.
Pérez Ugena, M. (2024). "La inteligencia artificial: definición, regulación y riesgos para los derechos fundamentales". En: Estudios de Deusto. Vol. 72, No. 1. Bilbao: Universidad de Deusto, p. 307-337.
Rallo Lombarte, A. (2020). "Una nueva generación de derechos digitales". En: Revista de Estudios Políticos. Vol. 187. Madrid: Centro de Estudios Políticos y Constitucionales, p. 101-135.
Rubio, I. (2018). "Amazon prescinde de una inteligencia artificial de reclutamiento por discriminar a las mujeres". En: El País No. 1. Versión digital disponible en: https://elpais.com/tecnologia/2018/10/11/actualidad/1539278884_487716.html
Sánchez Barrilao, J. F. (2016). "El derecho constitucional ante la era de ultrón: la informática y la inteligencia artificial como objeto constitucional". En: Estudios de Deusto. Vol. 64, No. 2. Bilbao: Universidad de Deusto, p. 225-258.
Sánchez-Yara, G. (2021). "La AEPD impone a Mercadona una multa de 3,15 millones de euros por varias infracciones del RGPD relacionadas con su sistema de reconocimiento facial". En: RGPD Blog No. 1. Versión digital disponible en: https://rgpdblog.com/la-aepd-impone-a-mercadona-una-multa-de-315-millones-de-euros-por-varias-infracciones-del-rgpd-relacionadas-con-su-sistema-de-reconocimiento-facial-parte-1-2/
Simón Castellano, P. (2023). La evaluación de impacto algorítmico en los derechos fundamentales. Navarra: Aranzadi.
Torres Jarrín, M. (2021). "La UE & la gobernanza ética de la Inteligencia Artificial: Inteligencia Artificial & Diplomacia". En: Cuadernos Salmantinos de Filosofía. Vol. 48. Salamanca: Universidad de Salamanca, p. 213-234.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Revista CES Derecho
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
