Sesgo algorítmico , la enciclopedia libre

El Sesgo algorítmico ocurre cuando un sistema informático refleja los valores de los humanos que están implicados en la codificación y recolección de datos usados para entrenar el algoritmo. El sesgo algorítmico se puede encontrar en todos lados, como en los resultados de los motores de búsqueda o en las redes sociales y pueden tener un gran impacto en temas como la privacidad o agravar sesgos sociales como los existentes respecto a razas, género, sexualidad o etnias. El estudio del sesgo algorítmico esta enfocado sobre todo en algoritmos que reflejan "discriminación sistemática e injusta". Este tipo de sesgos han empezado a ser tenidos en cuenta en marcos legales recientemente, como el Control de Protección de Datos Generales de la Unión Europea en 2018.

Tan pronto como los algoritmos expanden su capacidad de organizar la sociedad, la política, las instituciones, y el comportamiento, los sociólogos han empezado a preocuparse con las maneras en que los resultados no previstos y la manipulación de datos pueden impactar el mundo físico. Como los algoritmos son a menudo considerados neutros y sin sesgos, puede parecer que son mejores que los propios humanos, y en algunos casos, relevar trabajo en un algoritmo puede reducir el control humano sobre los resultados. Los sesgos pueden repercutir en los algoritmos teniendo como origen influencias culturales, sociales, o institucionales; debido a limitaciones técnicas de su diseño; o por ser utilizado en contextos no esperados en un principio o por usuarios que no se habían considerado en el diseño inicial del software.

Los sesgos algorítmicos han afectado a temas como los resultados de las elecciones. Los problemas de comprensión, investigación, y descubrimiento de sesgos en los algoritmos provienen de la naturaleza de estos, ya que los propietarios no suelen dejar acceder a su implementación, y aunque fuera así, muchas veces son demasiado complejos para entender cómo funcionan. Además, los algoritmos pueden cambiar, o responder a diferentes entradas de maneras que no pueden ser previstas o fácilmente reproducidas para su análisis. En muchos casos, incluso dentro de un solo sitio web o aplicación, no hay un solo algoritmo para examinar, si no un conjunto de procesos y entradas de datos interrelacionados.

Los algoritmos son difíciles de definir, pero se pueden entender como conjuntos de instrucciones dentro de un ordenador que determinan cómo estos programas leen, recogen, procesan, y analizan datos para generar una salida legible.^[2]​^[3]​^: 13 Los ordenadores más nuevos pueden procesar millones de estas instrucciones algorítmicas por segundo, lo cual ha impulsado el diseño y adopción de tecnologías como machine learning e inteligencia artificial.^[4]​^: 14–15 Analizando y procesando datos, los algoritmos son el corazón de los motores de búsqueda, redes sociales, motores de recomendación, venta al detalle en línea, publicidad en línea, y otros.^[5]​^[6]​^[7]​^[8]​^[9]​^[10]​

Los científicos sociales contemporáneos están preocupados con procesos algorítmicos incluidos en el hardware y  software debido a su impacto político y social, y cuestionan la suposición de que un algoritmo es neutral.^[11]​^: 2 [12]​^{: 563 [13]}​^{: 294 [14]}​ El término sesgo algorítmico describe errores sistemáticos y repetidos que crean resultados injustos, como dar privilegios a un grupo de usuarios por encima otros de forma arbitraria. Por ejemplo, un algoritmo de puntuación de crédito puede negar un préstamo sin ser injusto, si se fija únicamente en criterios financieros pertinentes. Si el algoritmo recomienda préstamos a un grupo de usuarios, pero niega préstamos a otro conjunto de usuarios casi idénticos basándose en criterios no relacionados, y si este comportamiento se puede repetir en distintas ocasiones, se puede decir que es un algoritmo con sesgos.^: 332 Estos sesgos pueden ser intencionados o involuntarios.^: 332

El sesgo puede ser introducido a un algoritmo de varias maneras. Durante el montaje de una base de datos, el dato tiene que ser recogido, digitalizado, adaptado, e introducido según un diseño humano.^[15]​^: 3 Luego, los programadores asignan prioridades, o jerarquías, sobre cómo un programa evalúa y ordena los datos. Esto requiere decisiones humanas sobre cómo el dato es categorizado, y qué dato es incluido o descartado.^[15]​ Algunos algoritmos recogen sus propios datos basados en  criterios de selección humanos, los cuales también pueden reflejar sesgos de los diseñadores.^[15]​ Otros algoritmos pueden reforzar estereotipos y preferencias cuando procesan y muestran datos relevantes para los humanos, por ejemplo, al seleccionar información basada en elecciones anteriores de un usuario o grupo de usuarios similares.^[15]​

Más allá de reunir y procesar datos, los sesgos pueden surgir como resultado del diseño.^[16]​ Por ejemplo, algoritmos que usan ordenación en los datos, aquellos que determinan la asignación de recursos o escrutinio, o los que clasifican e identifican usuarios, los cuales pueden discriminar a un grupo cuándo calculan el riesgo basado en datos de usuarios similares.^[17]​^: 36 Por otro lado, los motores de recomendación que asocian a los usuarios con otros usuarios similares, o que infieren diferentes rasgos, podrían confiar en datos inexactos que reflejan estereotipos étnicos,de género, socioeconómicos, o raciales. Otro ejemplo surgiría de determinar los criterios que dicen que incluir y excluir de los resultados. Estos criterios podrían provocar resultados inesperados en las búsquedas, como un software de recomendaciones de compañías de vuelos  que omite los vuelos de compañías que no se patrocinan igual que el resto.^[16]​ Los algoritmos también pueden mostrar un sesgo de incertidumbre, ofreciendo valoraciones más seguras cuándo los conjuntos de datos son más grandes. Esto puede afectar a procesos algorítmicos que analizan muestras muy grandes, que hacen se ignoren los datos de poblaciones poco representadas.^[18]​^: 4

Los primeros programas de ordenador fueron diseñados para imitar el razonamiento y las deducciones humanas, y se consideró que funcionaban cuando llegaron a reproducir esa lógica humana de manera exitosa y consistente. En su libro de 1976 (Computer Power and Human Reason), el pionero de la Inteligencia Artificial Joseph Weizenbaum sugirió que el sesgo podría surgir tanto de los datos utilizados en un programa como de la forma en que se implementa un programa.^[19]​^: 149

Weizenbaum describió los programas como secuencias de reglas creadas por humanos para que las siga una computadora. Al seguir esas reglas consistentemente, tales programas "encarnan la ley"^[19]​^: 40, es decir, hacen cumplir una forma específica de resolver problemas. Las reglas que sigue una computadora se basan en las suposiciones de un programador sobre cómo se pueden resolver estos problemas. Esto significa que el código podría incorporar la imaginación del programador y sus ideas de cómo funciona el mundo, incluyendo sus prejuicios y expectativas.^[19]​^: 109 Mientras que un programa puede incorporar prejuicios de esta manera, Weizenbaum también señaló que cualquier dato alimentado a una máquina refleja adicionalmente los "procesos humanos de toma de decisiones" a medida que se van seleccionando los datos.^[19]​^{: 70, 105}

Finalmente, señaló que las máquinas también podrían transmitir buena información con consecuencias imprevistas si los usuarios no tienen claro cómo interpretar los resultados.^[19]​^: 65 Weizenbaum advirtió en contra de confiar en las decisiones tomadas por los programas que el usuario no entiende, comparando esa fe con la de un turista que puede encontrar su camino a una habitación de un hotel girando a la izquierda o a la derecha jugando a cara o cruz. El turista no tiene base para entender cómo o por qué llegó a su destino, y el hecho de llegar no significa que el proceso sea preciso o confiable.^[19]​^: 226

Uno de los primeros ejemplos de sesgo algorítmico resultó en que hasta 60 mujeres y personas pertenecientes a minorías étnicas se les negara la entrada a la Escuela de Medicina del Hospital St. George's cada año entre 1982 y 1986, basado en la implementación de un nuevo sistema de evaluación por ordenador que negaba la entrada a mujeres y hombres con "nombres que suenan extranjeros" basándose en las tendencias históricas de las admisiones.^[21]​

Pese a que los algoritmos bien diseñados frecuentemente determinan resultados que son igualmente (o más) equitativos que las decisiones de seres humanos, aún ocurren casos de sesgo, y son difíciles de predecir y analizar.^[22]​ La complejidad de analizar el sesgo algorítmico ha crecido a la vez que la complejidad de los programas y su diseño. Las decisiones que hace un diseñador o un equipo de diseñadores pueden ser oscurecidas entre las muchas partes de código creadas para un solo programa; a lo largo del tiempo estas decisiones y su impacto colectivo en la salida del programa se puede olvidar.^[23]​ En teoría, estos sesgos pueden crear nuevos patrones de conducta, o “scripts”, en relación con tecnologías específicas según el código interactúa con otros elementos de la sociedad.^[24]​ Los sesgos también pueden afectar cómo la sociedad se forma alrededor de puntos de datos que los algoritmos requieren. Por ejemplo, si los datos muestran un gran número de arrestos en una zona particular, un algoritmo podría asignar más patrullas de policía a esa zona, lo que puede llevar a más arrestos.^[25]​

Las decisiones de programas algorítmicos pueden verse como más autoritativas que las decisiones de los seres humanos que se supone que asisten,^[26]​ un proceso descrito por el escritor Clay Shirky como “autoridad algorítmica”.^[27]​ Shirky usa el término para describir “la decisión de considerar como autoritativo un proceso no gestionado de extraer valor de fuentes diversas y poco fiables”, como los resultados de búsqueda.^[27]​ Esta neutralidad también puede malinterpretarse por el lenguaje usado por los expertos y los medios de comunicación cuando los resultados son presentados al público. Por ejemplo, una lista de noticias seleccionada y presentada como “de moda” o “popular” puede ser creada basándose en criterios bastante más amplios que su popularidad.^[15]​

Por su conveniencia y autoridad, los algoritmos son teorizados como un medio de delegar la responsabilidad lejos de los humanos.^[26]​^[28]​ Esto puede tener el efecto de reducir opciones alternativas, compromisos o flexibilidad.^[26]​ El sociólogo Scott Lash ha criticado los algoritmos como una nueva forma de “poder generativo”, dado que son un medio virtual de generar fines reales. Donde previamente el comportamiento humano generaba datos para ser recogidos y estudiados, los algoritmos potentes podrían dar forma y definir los comportamientos humanos.^[29]​

Las preocupaciones sobre el impacto de los algoritmos en la sociedad han llevado a la creación de grupos de trabajo en organizaciones como Google y Microsoft, las cuales han cocreado un grupo de trabajo llamado Fairness, Accountability and Transparency in Machine Learning.^[30]​ Entre algunas ideas de Google se incluyen comunidades que patrullan los resultados de algoritmos y votan por controlar o restringir los resultados que consideran que tienen consecuencias negativas.^[30]​ En los últimos años, el estudio de Fairness, Accountability and Transparency (FAT) de los algoritmos ha surgido como un área interdisciplinaria de investigación con una conferencia anual llamada FAT.^[31]​

Un sesgo preexistentes en un algoritmo es consecuencia de ideologías sociales e institucionales subyacentes. Estas ideas pueden influir o crear sesgos personales en los diseñadores o programadores. Dichos perjuicios pueden ser explícitos y conscientes, o implícitos e inconscientes.^[13]​^[32]​ Datos de entrada mal seleccionados influirán en los resultados creados por las máquinas.^[20]​ La codificando de un sesgo preexistentes en el software puede preservar el sesgo social e institucional, y sin ninguna corrección podría replicarse en futuros usos de ese algoritmo.^[23]​^[28]​

Un ejemplo de este tipo de sesgo es el Programa de la Ley de Nacionalidad Británica, diseñado para automatizar la evolución de los nuevos ciudadanos de Reino Unido a partir de 1981.^[32]​ El programa reflejó con precisión los principios de la ley, que establecían que "un hombre es el padre solo de sus hijos legítimos, mientras que una mujer es la madre de todos sus hijos, legítimos o no”.^[32]​^[33]​ En su intento de transferir una lógica particular a un proceso algorítmico, el BNAP inscribió la lógica de la Ley de Nacionalidad Británica en su algoritmo, que la perpetuaría incluso si la ley fuera finalmente derogada.^[32]​

El sesgo en el aprendizaje automático se refiere a las disparidades sistemáticas e injustas en los resultados producidos por algoritmos de aprendizaje automático. Estos sesgos pueden manifestarse de diversas maneras y, a menudo, reflejan los datos con los que fueron entrenados dichos algoritmos. A continuación, se presentan algunos aspectos clave:

El sesgo lingüístico se refiere a un tipo de sesgo estadístico asociado con el idioma de una consulta, que provoca "una desviación sistemática en la muestra de información, impidiendo que esta represente con exactitud la verdadera cobertura de temas y puntos de vista disponibles en su repositorio".^[19]​ El trabajo de Luo et al.^[19]​ muestra que los modelos de lenguaje actuales, predominantemente entrenados con datos en inglés, suelen presentar las perspectivas angloamericanas como verdades, mientras minimizan sistemáticamente puntos de vista en otros idiomas, considerándolos irrelevantes, erróneos o "ruido". Por ejemplo, ante la pregunta "¿Qué es el liberalismo?", ChatGPT, entrenado con datos en su mayoría en inglés, tiende a describir el liberalismo desde una perspectiva angloamericana, enfatizando aspectos relacionados con los derechos humanos y la igualdad. Sin embargo, omite otros enfoques igualmente válidos, como "oponerse a la intervención estatal en la vida personal y económica", dominante en Vietnam, o la "limitación del poder gubernamental" prevalente en la perspectiva china.^[19]​

El sesgo de género se refiere a la tendencia de estos modelos a generar resultados que muestran prejuicios injustos hacia un género sobre otro. Este sesgo suele surgir de los datos utilizados para su entrenamiento. Por ejemplo, muchos modelos de lenguaje asignan roles y características basándose en normas de género tradicionales; así, pueden asociar profesiones como enfermería o secretaría predominantemente con mujeres y atribuir el rol de ingenieros o directores ejecutivos a hombres.^[34]​^[35]​

Más allá del género y la raza, estos modelos pueden reforzar una amplia gama de estereotipos, incluyendo aquellos basados en la edad, la nacionalidad, la religión o la ocupación. Esto puede generar resultados que generalizan o caricaturizan injustamente a ciertos grupos de personas, a veces de manera perjudicial o peyorativa.^[36]​

Un enfoque reciente en la investigación se centra en la compleja interacción entre las propiedades gramaticales de un idioma y los sesgos del mundo real que pueden quedar integrados en los sistemas de inteligencia artificial, perpetuando estereotipos y suposiciones dañinas. Un estudio sobre el sesgo de género en modelos de lenguaje entrenados con islandés —un idioma altamente marcado por el género gramatical— mostró que los modelos presentaban una predisposición significativa hacia el género gramatical masculino al referirse a términos ocupacionales, incluso en profesiones con mayoría de mujeres.^[37]​ Esto sugiere que los modelos amplifican los sesgos de género presentes en los datos de entrenamiento.

El sesgo político se refiere a la tendencia de los algoritmos a favorecer sistemáticamente ciertos puntos de vista, ideologías u orientaciones políticas sobre otros. Los modelos de lenguaje pueden mostrar también sesgos políticos. Dado que los datos de entrenamiento incluyen una amplia gama de opiniones políticas, los modelos podrían generar respuestas inclinadas hacia ideologías políticas particulares, dependiendo de la prevalencia de esas perspectivas en el conjunto de datos.^[38]​

El sesgo técnico surge a través de las limitaciones de un programa, la potencia computacional, su diseño u otra restricción en el sistema.^[32]​ Tal sesgo también puede ser una restricción de diseño, por ejemplo, se puede entender que un motor de búsqueda que muestra tres resultados por pantalla privilegia los tres primeros resultados un poco más que los tres siguientes, como en una pantalla de precios de una aerolínea.^[32]​ Otro caso es el software que se basa en la aleatoriedad para distribuciones justas de resultados. Si el mecanismo de generación de números aleatorios no es realmente aleatorio, puede introducir sesgos, por ejemplo, al sesgar las selecciones hacia los elementos al final o al principio de una lista.^[32]​

Un algoritmo descontextualizado utiliza información no relacionada para ordenar resultados, por ejemplo, un algoritmo de fijación de precios de vuelo que clasifica los resultados por orden alfabético estaría sesgado a favor de American Airlines sobre United Airlines.^[32]​ También puede aplicarse lo contrario, en el que los resultados se evalúan en contextos diferentes de los que se recopilan. Los datos pueden recopilarse sin un contexto externo crucial: por ejemplo, cuando el software de reconocimiento facial es utilizado por cámaras de vigilancia, pero evaluado por personal remoto en otro país o región, o evaluado por algoritmos no humanos sin conocimiento de lo que ocurre más allá del campo visual de la cámara. Esto podría crear una comprensión incompleta de la escena de un crimen, por ejemplo, confundir a los espectadores con quienes cometen el crimen.^[12]​

Por último, se puede crear un sesgo técnico al intentar formalizar las decisiones en pasos concretos bajo el supuesto de que el comportamiento humano funciona de la misma manera. Por ejemplo, el software valora puntos de datos para determinar si un acusado debe aceptar un acuerdo de culpabilidad, mientras ignora el impacto de la emoción en un jurado.^[32]​ Otro resultado no deseado de esta forma de sesgo se encontró en el software de detección de plagio Turnitin, que compara los textos escritos por los estudiantes con la información que se encuentra en línea y devuelve una puntuación de probabilidad de que el trabajo del estudiante sea una copia. Debido a que el software compara cadenas largas de texto, es más probable que identifique hablantes no nativos de inglés que hablantes nativos, ya que este último grupo podría cambiar mejor las palabras individuales, dividir cadenas de texto plagiado u oscurecer pasajes copiados a través de sinónimos. Debido a que es más fácil para los hablantes nativos evadir la detección como resultado de las limitaciones técnicas del software, esto crea un escenario en el que Turnitin identifica a los hablantes extranjeros de inglés para plagio mientras permite que más hablantes nativos evadan la detección.^[26]​

El sesgo emergente es el resultado del uso y confianza en algoritmos de contextos nuevos o imprevistos.^[39]​ Los algoritmos pueden no haber sido ajustados para considerar nuevas formas de conocimiento, como nuevos medicamentos o descubrimientos médicos, nuevas leyes, modelos de negocio o normas culturales que cambian.^[39]​ Esto puede excluir grupos mediante la tecnología, sin proporcionar contornos claros para entender quién es responsable de su marginación.^[25]​ De manera similar, pueden emerger problemas al entrenar datos (los ejemplos de los que “se alimenta” una máquina, por los que modela conclusiones concretas) que no se corresponden con contextos que un algoritmo encuentra en el mundo real.^[40]​

En 1990, un ejemplo de sesgo emergente se detectó en el software utilizado para asignar estudiantes de medicina en EE. UU. a residencias, el National Residency Match Program (NRMP).^[39]​ El algoritmo se diseñó en un momento en el que pocas parejas casadas buscaban residencia juntos. Según fueron entrando más mujeres a las escuelas de medicina, más probable era que los estudiantes solicitaran residencia junto a su pareja. El proceso pedía a cada candidato que aportara una lista de preferencias de ubicación alrededor de EE. UU., que después era ordenada y asignada cuando un hospital y un candidato acordaban un emparejamiento. En el caso de parejas casadas donde ambos buscaban residencia, el algoritmo consideraba las elecciones de ubicación de la persona más altamente valorada. El resultado era que con frecuencia se asignaban escuelas más preferidas al primer integrante de la pareja y menos preferidas al segundo, en lugar de buscar compromisos en preferencias de ubicación.^[39]​

Otros tipos de sesgo emergente son:

Correlaciones impredecibles pueden surgir cuando amplios conjuntos de datos son comparados entre sí. Por ejemplo, datos sobre patrones de navegación en la web pueden corresponderse con señales que marcan datos sensibles (como raza u orientación sexual). Seleccionando de acuerdo a cierto comportamiento o patrones, el efecto final sería casi idéntico a discriminación por el uso de datos directos de raza u orientación sexual.^[18]​ En otros casos, el algoritmo extrae conclusiones de correlaciones, sin ser capaz de entender esas correlaciones. Por ejemplo, un programa de clasificación dio menor prioridad a asmáticos que padecieran neumonía que a asmáticos que no la padecieran. El algoritmo hizo esto ya que simplemente comparaba cotas de supervivencia: los asmáticos con neumonía tenían un riesgo mayor. Históricamente, por la misma razón, los hospitales típicamente dan a dichos asmáticos el mejor y más inmediato cuidado.^[41]​

El sesgo emergente puede ocurrir cuando un algoritmo se usa por público imprevisto. Por ejemplo, las máquinas pueden requerir que los usuarios sepan leer, escribir o entender números, o relacionarse con una interfaz usando metáforas que no entienden.^[39]​ Estas exclusiones pueden convertirse en acentuadas según la tecnología sesgada o excluyente se va integrando más en la sociedad.^[25]​

Además de la exclusión, usos imprevistos pueden emerger por parte del usuario que confía en el software más que en su propio conocimiento. Por ejemplo, un grupo de usuarios imprevisto llevó a sesgo algorítmico en el Reino Unido, cuando ingenieros informáticos y abogados especializados en la inmigración crearon el British National Act Program como prueba de concepto con el fin de examinar de forma correcta para obtener la nacionalidad británica. Los diseñadores tenían acceso a mayores conocimientos legales que los usuarios en oficinas de inmigración, cuyo entendimiento tanto de software como de ley de inmigración seguramente fuera tosco. Los agentes que administraban las preguntas confiaban por completo en el software, lo que excluía distintos métodos de obtener la nacionalidad, y usaban el software incluso después de que los nuevos casos de leyes e interpretaciones legales llevaran a que el algoritmo estuviera anticuado. Como resultado de diseñar un algoritmo para los usuarios que presuntamente era inteligente en cuanto a la legalidad, el algoritmo del software llevó indirectamente a sesgo a favor de los candidatos que cumplían un conjunto restringido de criterios legales en lugar de los criterios más generales de la ley de inmigración.^[39]​

El sesgo emergente también podría crear un ciclo de realimentación, o recursión, si los datos recogidos para un algoritmo resultan ser respuestas reales que se vuelven a introducir al algoritmo.^[42]​^[43]​ Por ejemplo, simulaciones de software de policía predictiva (PredPol) desarrollados en Oakland, California, sugerían una presencia policial mayor en barrios de gente de raza negra basándose en los datos de crímenes denunciados por la gente.^[44]​ La simulación mostraba que la gente denunciaba crímenes basándose en si veían coches de policía, independientemente de lo que la policía hiciera. La simulación interpretó los avistamientos de coches de policía para modelar sus predicciones de crimen, y asignaba por tanto aún más presencia policial en dichos barrios. La institución Human Rights Data Analysis Group, que llevó a cabo la simulación, advirtió que en lugares donde la discriminación racial favorece los arrestos, estos ciclos de realimentación podrían incrementar la discriminación racial en la policía.^[43]​

Los sistemas de recomendación como los que se usan para recomendar vídeos en línea o artículos de noticias pueden crear ciclos de realimentación.^[45]​ Cuando los usuarios hacen clic en contenido sugerido por algoritmos, se influencia el siguiente conjunto de sugerencias. Con el paso del tiempo esto puede llevar a los usuarios a entrar en un filtro burbuja y no ser conscientes de contenido importante o útil.^[46]​^[47]​

Los algoritmos corporativos pueden estar sesgados para favorecer de manera invisible los acuerdos financieros o los acuerdos entre empresas, sin el conocimiento de un usuario que pueda confundir el algoritmo como imparcial. Por ejemplo, American Airlines creó un algoritmo de búsqueda de vuelos en la década de 1980. El software presentaba una gama de vuelos de varias aerolíneas a los clientes, pero sopesaba los factores que destacaban sus propios vuelos, independientemente del precio o la conveniencia. En testimonio ante el Congreso de los Estados Unidos, el presidente de la aerolínea declaró abiertamente que el sistema fue creado con la intención de obtener una ventaja competitiva a través de un trato preferencial.^[48]​^: 2 [32]​^: 331

En un artículo de 1998 que describe a Google, se demostró que los fundadores de la empresa adoptaron una política de transparencia en los resultados de las búsquedas sobre la colocación remunerada, argumentando que "los motores de búsqueda financiados por publicidad estarán intrínsecamente sesgados hacia los anunciantes y alejados de las necesidades de los consumidores",^[49]​ lo que constituiría una manipulación "invisible" del usuario.^[48]​^: 3

Una serie de estudios sobre votantes indecisos en los Estados Unidos y en la India descubrieron que los resultados de los motores de búsqueda podían cambiar los resultados de la votación en aproximadamente un 20%. Los investigadores concluyeron que los candidatos "no tiene manera de competir" si un algoritmo, con o sin intención, aumenta los resultados de búsqueda de páginas para un candidato rival.^[50]​ Los usuarios de Facebook que vieron mensajes relacionados con la votación tenían más probabilidades de votar. En 2010, una prueba aleatoria con usuarios de Facebook mostró un aumento del 20% (340,000 votos) entre los usuarios que vieron mensajes que promovían el voto, así como imágenes de sus amigos que habían votado.^[51]​ El experto en legislación Jonathan Zittrain advierte que esto podría crear un "amaño digital" en las elecciones, "la presentación selectiva de información por un intermediario para cumplir con sus intereses, en lugar de servir a los usuarios", si se manipula intencionalmente.^[52]​

En 2016, se descubrió que la red social de profesionales LinkedIn recomendaba variaciones masculinas de los nombres de las mujeres en respuesta a las consultas de búsqueda. El motor de búsqueda no hizo recomendaciones similares en la búsqueda de nombres masculinos. Por ejemplo, "Andrea" mostraba un mensaje preguntando si los usuarios querían decir "Andrew", pero las consultas por "Andrew" no preguntaban si los usuarios querían encontrar a "Andrea". La compañía dijo que esto fue el resultado de un análisis de las interacciones de los usuarios con el buscador.^[53]​

En 2012, la franquicia de tiendas por departamentos Target fue citada por recopilar datos para inferir cuándo las mujeres estaban embarazadas, incluso si no lo habían anunciado, y luego compartir esa información con sus socios de mercadeo.^[54]​^{: 94 [55]}​ Debido a que los datos habían sido pronosticados, en lugar de ser observados o reportados directamente, la compañía no tenía la obligación legal de proteger la privacidad de esos clientes.^[54]​^: 98

Los algoritmos de búsqueda web también han sido acusados de ser sesgados. Los resultados de Google pueden dar prioridad al contenido pornográfico en términos de búsqueda relacionados con la sexualidad, por ejemplo, "lesbiana". Este sesgo se extiende al motor de búsqueda que muestra contenido popular pero sexualizado en búsquedas neutrales. Por ejemplo, los artículos "Top 25 Sexiest Women Athletes" (Las 25 mujeres atletas más sexys) aparecen como resultados de primera página en las búsquedas de "mujeres atletas"^[56]​^: 31. En 2017, Google ajustó estos resultados junto con otros relacionados con opiniones racistas, abuso infantil y pornografía, y otros contenidos perturbadores y ofensivos.^[57]​ Otros ejemplos incluyen la exhibición de trabajos con mejor remuneración a los candidatos masculinos en los sitios web de búsqueda de empleo.^[58]​

En 2018, Amazon apagó un sistema que desarrolló para filtrar las solicitudes de empleo cuando se dieron cuenta de que estaba sesgado en contra de las mujeres.^[59]​

Los algoritmos se han criticado como método para tapar los prejuicios raciales a la hora de decidir.^[60]​ Debido a como ciertas razas y grupos étnicos fueron tratados en el pasado, la información actual puede contener ciertos sesgos ocultos. Por ejemplo, gente de raza negra son más proclives a recibir sentencias más largas que gente de raza blanca, las cuales cometieron el mismo delito.^[61]​^[62]​ Esto puede suponer que un sistema amplíe los sesgos originales en los datos.

Un ejemplo es el uso de evaluaciones de riesgos en sentencias penales en los Estados Unidos y audiencias de libertad condicional, donde a los jueces se les presentaba mediante un algoritmo, el riesgo de que un preso reincidiese en un crimen.^[63]​ El periodo que comprende 1920 y 1970, la nacionalidad del padre de un criminal se tenía en cuenta en dichas evaluaciones de riesgo.^[64]​ A día de hoy, estos resultados se comparten con jueces en Arizona, Colorado, Delaware, Kentucky, Louisiana, Oklahoma, Virginia, Washington y Wisconsin. Una investigación independiente por ProPublica, descubrió que estos resultados obtenidos eran inexactos en el 80% de los casos y desproporcionadamente sesgados por sugerir que personas negras tenían un 77% más de probabilidades de reincidir que una persona blanca.^[63]​

En 2015, Google se disculpó cuando personas negras se quejaron de que el algoritmo de identificación de imágenes en la aplicación de Fotos los identificaba como gorilas.^[65]​ En 2010, las cámaras Nikon fueron criticadas debido a que su algoritmo de identificación preguntaba constantemente a los usuarios asiáticos si estaban parpadeando.^[66]​ Estos ejemplos son producto del sesgo en el conjunto de datos biométricos.^[65]​ Dichos datos biométricos se obtienen de aspectos del cuerpo, incluyendo las características raciales observadas, las cuales pueden entonces transferirse en puntos de datos.^[60]​ La tecnología de reconocimiento de voz puede tener diferentes exactitudes dependiendo del acento del usuario. Esto se puede deber a la falta de datos de entrenamiento para usuarios de dicho acento.^[67]​

Los datos biométricos sobre la raza pueden también inferirse en lugar de observarse. Por ejemplo, en 2012 un estudio demostró que los nombre asociados con las personas negras eran más proclives a devolver resultados de búsqueda relacionados con arrestos, independientemente de si hay o no un registro policial para individuos con ese nombre.^[68]​

Un estudio sobre “Riesgo, Raza y Reincidencia: Sesgo Predictivo e Impacto Dispar” alegó que existía una probabilidad el doble de mayor (45% contra 23%) de que personas negras fueran clasificadas de mayor riesgo incluso después de haber permanecido durante un periodo de dos años sin ninguna reincidencia documentada.^[69]​

En 2019 un estudio de investigación reveló que un algoritmo de atención médica vendido por Optum favorecía a pacientes blancos por delante de pacientes negros, incluso estos estando más enfermos. El algoritmo predice cuánto costará el sistema de atención médica en el futuro. Sin embargo, el coste no es neutral con respecto a la raza, debido a que los pacientes negros incurrieron en aproximadamente 1.800$ menos en costes médicos por año que los pacientes blancos con el mismo número de problemas crónicos, lo que llevó al algoritmo a calificar a dichos pacientes blancos a tener el mismo riesgo de padecer ciertos problemas de salud en el futuro que los pacientes negros, los cuales sufrían significativamente de más enfermedades.^[70]​

En 2017 un algoritmo de Facebook diseñado para eliminar el discurso de odio en línea en favor de los hombres blancos frente a los negros a la hora de juzgar de manera objetiva el contenido, según documentos internos de Facebook.^[71]​ El algoritmo, el cual es una combinación de programas informáticos y revisión humana, fue creado para proteger amplias categorías en lugar de subcategorías. Por ejemplo, publicaciones en contra de los “musulmanes” sería bloqueadas, mientras que aquellas que denunciaban a los “musulmanes radicales” sí serían permitidas. Un resultado inesperado del algoritmo es que permite el discurso de odio contra los niños negros, ya que denuncian la subcategoría de “niños” de los negros, en lugar de “todos los negros”, mientras que “todos los hombres blancos” daría lugar a un bloqueo, debido a que blancos y hombres no son considerados una subcategoría.^[71]​ Además, se encontró que Facebook permitía a compradores de anuncios de dirigirse a “antijudíos” como una categoría de usuarios, que, según la compañía, fue resultado de los datos y los algoritmos usados. La compañía también permitió a los compradores de anuncios impedir que los afroamericanos vean anuncios de viviendas.^[72]​

El software que contienen las cámaras de vigilancia puede considerarse intrínsecamente político debido a que requiere algoritmos para distinguir comportamientos normales y anormales, y determinar quien pertenece a ciertos lugares en ciertos momentos.^[12]​ La habilidad de dichos algoritmos de reconocer rostros de un espectro racial se ha demostrado que esta limitado por la diversidad racial de las imágenes en su base de datos de entrenamiento; Si la mayoría de las imágenes pertenecen a una raza o género, el software es mejor a la hora de reconocer otros miembros de esa raza o género.^[73]​ Un análisis de software de 2002 utilizado para identificar individuos en imágenes de CCTV encontró varios ejemplos de predisposición cuando se ejecutan con las bases de datos de delincuentes. el software identificaba con más frecuencia a los hombres que a las mujeres, a las personas mayores más que a las jóvenes y a asiáticos, afroamericanos y otras razas con más frecuencia que a los blancos.^[25]​ Otros estudios sobre el software de reconocimientos han encontrado lo contrario cuando se entrena con bases de datos de no criminales, siendo el software el menos preciso para identificar a las mujeres de pieles más oscuras.^[74]​

En 2011, usuarios de la aplicación de citas para homosexuales Grindr reportaron que el algoritmo de recomendación de Google Play estaba vinculando a Grindr con aplicaciones diseñadas para encontrar delincuentes sexuales, que según los críticos relacionaban incorrectamente la homosexualidad con la pedofilia. El escritor Mike Ananny criticó esta asociación en The Atlantic, argumentando que tales asociaciones estigmatizaron aún más a los hombres homosexuales.^[75]​ En 2009, la compañía de comercio electrónico Amazon anuló 57.000 libros después de que un cambio algorítmico expandiese su lista negra de “contenido para adultos” para incluir cualquier libro que abordase temas de sexualidad o gay, como la novela aclamada por la crítica Brokeback Mountain.^[76]​^[77]​

En 2019 se descubrió que, en Facebook, las búsquedas de “fotos de mis amigas” arrojaron sugerencias como “en bikini” o “en la playa”. En contraste, las búsquedas de “fotos de mis amigos” no arrojaron resultados.^[78]​

Estos resultados muestran que la sociedad en su conjunto tiene una amplia gama de ideas sexistas sobre las mujeres. Aunque los usuarios son los que generan estos resultados en la parte superior de la página, Google no ha logrado eliminar los comentarios sexistas y racistas. En Algoritmos de Opresión,^[79]​ Safiya Noble señala un ejemplo cuando realizas la búsqueda “chicas negras”. Una mujer estaba buscando en Internet actividades para entretener a un preadolescente y a sus primos de la misma edad. Después de buscar “chicas negras”, imágenes de pornografía llenaron la pantalla. Estos resultados son una correlación directa con los viejos medios en una nueva arquitectura de medios. Debido al algoritmo de Google, no puede borrar las páginas a menos que se consideren ilegales.^[80]​

Muchos problemas impiden el estudio del sesgo algorítmico a gran escala, obstaculizando la aplicación de estudios académicos rigurosos y la comprensión pública.^[11]​

Los algoritmos comerciales son patentados y pueden tratarse como secretos comerciales.^[11]​^[81]​^[25]​ El tratamiento de los algoritmos como secretos comerciales protege a las empresas, como los motores de búsqueda, donde un algoritmo transparente puede revelar tácticas para manipular el posicionamiento de los resultados de búsqueda.^[82]​ Esto dificulta a los investigadores realizar entrevistas o análisis para descubrir como estos algoritmos funcionan.^[83]​ Los expertos sugieren que este tipo de secreto puede ocultar métodos no éticos usados en la producción o el procesamiento de la salida de los algoritmos.^[82]​

Los procesos de los algoritmos son complejos, a menudo excediendo la comprensión de la gente que los usa.^[11]​^[81]​ Las operaciones a gran escala pueden no ser comprendidas incluso por quienes están involucrados en crearlas.^[84]​ Los métodos y los procesos de los programas de hoy en día a menudo se ven oscurecidos por la incapacidad de conocer cada permutación de una entrada o salida de código.^[25]​

El científico social Bruno Latour ha identificado este proceso como cajanegrizar. Según él mismo, cajanegrizar es "el camino mediante el cual el trabajo científico o técnico se vuelve invisible a causa de su propio éxito. Cuando una máquina funciona eficientemente o un hecho está establecido con firmeza, uno solo necesita concentrarse en los beneficios que genere y no en su complejidad interior. Así, paradójicamente sucede que la ciencia y la tecnología cuanto más éxito obtienen más opacas se vuelven."^[85]​ Otros han criticado la metáfora de la caja negra, sugiriendo que los algoritmos actuales no son una caja negra, sino una interconexión de varias.^[86]​

Un ejemplo de esta complejidad se puede encontrar en el rango de entradas para personalizar la retroalimentación. Facebook tuvo en cuenta al menos 100.000 puntos de datos para determinar la disposición de una feed de redes sociales de un usuario en 2013.^[87]​ Además, equipos grandes de programadores pueden operar en aislamiento relativo unos de otros y no ser conscientes de los efectos acumulados de las decisiones pequeñas con los algoritmos conectados y elaborados.^[23]​ No todo el código es original, y puede ser cogido de otras librerías, creando un conjunto complicado de relaciones entre el procesamiento de datos y los sistemas de entrada de datos.^[83]​

Existe complejidad adicional a través del aprendizaje automático y la personalización de algoritmos basada en interacciones del usuario como los clics, el tiempo pasado en un sitio y otras métricas. Estos ajustes personales pueden confundir intentos generales de entender los algoritmos.^[81]​^[82]​ Un servicio de transmisión de radio no identificado informó de que usaba cinco algoritmos únicos de selección de música que había seleccionado para sus usuarios, basándose en su comportamiento. Esto crea diferentes experiencias del mismo servicio de transmisión entre diferentes usuarios, haciendo más difícil de entender qué hacen estos algoritmos.^[11]​ Las empresas también realizan pruebas A/B frecuentes para ajustar los algoritmos basadas en las respuestas de los usuarios. Por ejemplo, el motor de búsqueda Bing puede ejecutar hasta diez millones de variaciones de su servicio por día, creando diferentes experiencias del servicio entre cada uso y/o usuario.^[11]​

Una barrera significativa para entender la lucha contra el sesgo en la práctica es que las categorías, como la demografía de las personas protegidas por la ley antidiscriminatoria, a menudo no se consideran de forma explícita al recopilar y procesar los datos.^[88]​ En algunos casos, hay una pequeña oportunidad de recopilar estos datos explícitamente, como en la toma de huellas de dispositivos, la computación ubicua y el Internet de las Cosas. En otros casos, el responsable de los datos puede no querer recopilar esos datos por razones de reputación, o porque representa un mayor riesgo de responsabilidad y seguridad. También puede ser el caso de que, al menos en relación con el Reglamento General de Protección de Datos de la Unión Europea, esos datos entran en las disposiciones de “categoría especial” y por lo tanto conllevan más restricciones en su recogida y tratamiento.

Algunos profesionales han intentado estimar e imputar estas categorizaciones sensibles que no existen para permitir la mitigación del sesgo, por ejemplo, construyendo sistemas para deducir la etnia de los nombres.^[89]​ Sin embargo, esto puede introducir otras formas de sesgo si no se realiza con cuidado.^[90]​ Los investigadores de machine learning se han basado en tecnologías que mejoran la privacidad criptográfica, tales como la computación segura multipartita para proponer métodos mediante los cuales el sesgo algorítmico pueda ser evaluado o mitigado sin que estos datos estén nunca disponibles para los modeladores en texto plano.^[91]​

El sesgo algorítmico no sólo incluye categorías protegidas, sino que también incluye características menos observables o codificables, como los puntos de vista políticos. En estos casos, raramente hay una verdad fundamental fácilmente accesible o no controvertida, y eliminar el sesgo de un sistema así es más difícil.^[92]​

Además, pueden surgir correlaciones falsas y accidentales de una falta de comprensión de las categorías protegidas, por ejemplo, tasas de seguro basadas en datos de historiales de accidentes de coches que pueden solaparse, por casualidad, con grupos residenciales de minorías étnicas.^[93]​

Ha habido varios intentos de crear métodos y herramientas que puedan detectar y observar sesgos dentro de un algoritmo. Este campo emergente se centra en las herramientas que generalmente se aplican a los datos (de capacitación) utilizados por el programa en lugar de los procesos internos del algoritmo. Estos métodos también pueden analizar el resultado de un programa y su utilidad y, por lo tanto, pueden involucrar el análisis de su matriz de confusión (o tabla de confusión).^[94]​^[95]​^[96]​^[97]​^[98]​^[99]​^[100]​^[101]​^[102]​

Actualmente, se está redactando un nuevo estándar IEEE que tiene como objetivo especificar metodologías que ayuden a los creadores de algoritmos a eliminar problemas de sesgo y articular la transparencia (es decir, a las autoridades o usuarios finales) sobre la función y los posibles efectos de sus algoritmos. El proyecto fue aprobado en febrero de 2017 y está patrocinado por el Comité de Estándares de Ingeniería de Sistemas y Software, un comité constituido por la IEEE Computer Society. Se espera que un borrador de la norma se someta a votación en junio de 2019.^[103]​^[104]​

Este nuevo estándar es el IEEE P7003 y forma parte de una serie de 11 estándares éticos IEEE P70xx. Tiene como objetivo convertir los principios del documento “Diseño Éticamente Alineado” en directrices prácticas para crear un marco que pueda ser implementado como estándar en la industria. Con este marco se busca que los desarrolladores y responsables de implementar sistemas algorítmicos puedan identificar y mitigar sesgos no intencionados, injustificados o inapropiados en los resultados de estos sistemas. ^[105]​

El estándar aborda tanto el sesgo injustificado, que se refiere al trato diferencial sin justificación operativa, como el sesgo inapropiado, aquel considerado legal o moralmente inaceptable en el contexto social donde se usa el sistema, como la discriminación basada en raza, género o sexualidad. Para ayudar a evitar estos problemas, el IEEE P7003 describe metodologías específicas, incluyendo guías de diseño ético, procedimientos de evaluación de sesgos, criterios de control de calidad de los datos de validación, y métodos para definir y comunicar los límites de aplicación del sistema. También incorpora estrategias para gestionar las expectativas del usuario y así reducir interpretaciones incorrectas de los resultados, como confundir correlación con causalidad.^[106]​

La estructura del estándar se organiza en secciones principales, abordando áreas como la taxonomía de sesgos, los marcos legales y el contexto cultural de los sesgos. Estas secciones proporcionan un contexto esencial para comprender los problemas éticos y mejorar la implementación. En la etapa de diseño, se consideran la categorización de usuarios, la representatividad de los datos y la transparencia del sistema, mientras que los casos de uso ofrecen ejemplos de sistemas que han causado sesgos, explicando cómo el marco propuesto puede mitigar estos problemas.^[107]​

El proceso de desarrollo de IEEE P7003 es deliberativo y abierto. Se divide en dos fases: una inicial exploratoria para identificar temas relevantes, y una de consolidación y especificación en la que se asignan responsabilidades y equipos para la redacción de contenido. ^[108]​

Actualmente, el borrador de IEEE P7003 está en fase de desarrollo, con la última modificación realizada el 27 de octubre de 2024. El borrador sigue siendo un "draft" y está gestionado por Christy Bahn, Program Manager de IEEE. ^[109]​

Un estudio de 84 directrices de política sobre IA ética concluyó que la imparcialidad y la "mitigación del sesgo indeseado" eran preocupaciones frecuentes, abordadas mediante una combinación de soluciones técnicas, transparencia y monitoreo, derecho a reparación y mayores esfuerzos en diversidad e inclusión.^[110]​

Se han propuesto diversos métodos y herramientas para detectar y observar sesgos en un algoritmo. Estas iniciativas suelen aplicarse a los datos de entrenamiento utilizados por el programa más que a los procesos internos del propio algoritmo. Además, pueden analizar la utilidad de sus resultados, a menudo a través del estudio de su matriz de confusión.^[111]​^[112]​^[113]​^[114]​^[115]​^[116]​^[117]​^[118]​^[119]​ La IA explicable (Explainable AI) se ha propuesto como un medio para detectar la existencia de sesgos en un algoritmo o en un modelo de aprendizaje.^[120]​ El uso de aprendizaje automático para detectar sesgos se conoce como "auditoría de IA", donde el “auditor” es un algoritmo que examina el modelo y sus datos de entrenamiento para identificar prejuicios.^[121]​

Asegurar que una herramienta de IA, como un clasificador, esté libre de sesgos es más complejo que simplemente eliminar la información sensible de las entradas, ya que esta puede inferirse de otras variables. Por ejemplo, los pasatiempos, deportes o escuelas de un candidato pueden revelar indirectamente su género, incluso si se ha eliminado el dato explícito. Las soluciones a este problema involucran el entrenamiento de agentes inteligentes que no puedan reconstruir información protegida o sensible del sujeto. Esto se demostró inicialmente en un trabajo donde se entrenó una red profunda para aprender una tarea, siendo a la vez completamente agnóstica respecto a la característica protegida.^[122]​ Un método más simple se propuso en el contexto de las incrustaciones de palabras (word embeddings), que consiste en eliminar la información correlacionada con la característica protegida.^[123]​

Actualmente, se está redactando un nuevo estándar de la IEEE para especificar metodologías que ayuden a creadores de algoritmos a eliminar problemas de sesgo y a articular la transparencia (ya sea ante autoridades o usuarios finales) sobre el funcionamiento y posibles efectos de sus algoritmos. El proyecto fue aprobado en febrero de 2017 y está patrocinado por el Software & Systems Engineering Standards Committee, un comité de la IEEE Computer Society. Se esperaba un borrador del estándar para su votación en junio de 2019.^[124]​^[125]​

Las directrices éticas sobre IA señalan la necesidad de rendición de cuentas, recomendando la adopción de medidas para mejorar la interpretabilidad de los resultados.^[126]​ Entre estas soluciones se contempla el “derecho a comprender” las decisiones basadas en aprendizaje automático y a evitar su despliegue en situaciones donde las decisiones no puedan ser explicadas o revisadas.^[127]​ Para ello, ya existe un movimiento por la "Inteligencia artificial explicable" (Explainable AI), impulsado por organizaciones como DARPA, con fines que van más allá de la simple corrección de sesgos.^[128]​ Por ejemplo, PwC sugiere que el monitoreo de los resultados implica diseñar sistemas de manera que los componentes individuales puedan aislarse y desactivarse si se detectan sesgos.^[129]​

Una aproximación inicial a la transparencia ha incluido la publicación abierta (open source) de los algoritmos.^[130]​ Si bien esto permite el escrutinio y la mejora colaborativa del código, no garantiza transparencia si la audiencia no comprende la información brindada. Por ello, la presencia de una audiencia crítica y entendida es crucial para la rendición de cuentas. Sin una audiencia capaz de analizar y cuestionar estos algoritmos, no se puede lograr una verdadera responsabilidad.^[131]​

Desde una perspectiva regulatoria, la Declaración de Toronto insta a aplicar un marco de derechos humanos a los daños ocasionados por el sesgo algorítmico.^[132]​ Esto incluye legislar la debida diligencia en el diseño de algoritmos, así como crear mecanismos de responsabilidad cuando actores privados no protejan el interés público, reconociendo que estos derechos pueden verse oscurecidos por la complejidad de la cadena de responsabilidades.^[133]​ Otros autores proponen la necesidad de mecanismos claros de seguros de responsabilidad civil.^[134]​

Existe preocupación respecto a que el desarrollo de sistemas de IA esté en gran medida en manos de hombres blancos, lo que puede acentuar sesgos algorítmicos.^[135]​ Diversos expertos han sugerido que una mayor inclusión en el equipo de diseñadores de sistemas de IA ayudaría a minimizar el sesgo.^[127]​^[110]​ Por ejemplo, solo el 12% de los ingenieros de aprendizaje automático son mujeres,^[136]​ y líderes negros en IA han señalado una "crisis de diversidad" en este campo.^[137]​ Agrupaciones como Black in AI y Queer in AI buscan crear espacios más inclusivos en la comunidad de IA y oponerse a intereses corporativos que pueden orientar el rumbo de la investigación en IA de manera perjudicial.^[138]​ Las críticas a los esfuerzos de inclusión señalan que los programas de diversidad no abordan formas de desigualdad entrecruzadas, lo que lleva a proponer una perspectiva interseccional en el diseño de algoritmos.^[139]​^[140]​^: 4 Investigadores de la Universidad de Cambridge han argumentado que abordar la diversidad racial se dificulta por la "blanquitud" cultural presente en el campo de la IA.^[141]​

La integración de la interdisciplinariedad y la colaboración en el desarrollo de sistemas de IA puede desempeñar un papel crítico en la reducción del sesgo algorítmico. Incluir perspectivas de disciplinas ajenas a la informática puede ayudar a comprender mejor el impacto social de las soluciones basadas en datos. Un ejemplo es PACT (Participatory Approach to enable Capabilities in communiTies), un marco propuesto para fomentar la colaboración en el desarrollo de soluciones de IA con impacto social.^[142]​ PACT enfatiza la importancia de la descolonización y el cambio de poder en el diseño de IA centrada en las personas.

La iniciativa del Instituto de IA Centrada en el Humano de la Universidad de Stanford (Stanford Institute for Human-Centered Artificial Intelligence) busca fomentar la colaboración multidisciplinaria para mejorar la condición humana a través de la IA.^[143]​

La colaboración con expertos externos y diversos actores ayuda a desarrollar sistemas inteligentes éticos, inclusivos y responsables. Esto implica considerar aspectos éticos, entender el contexto sociocultural, promover el diseño centrado en el ser humano, aprovechar la experiencia técnica y abordar políticas y aspectos legales.^[144]​ En suma, la interdisciplinariedad es esencial para mitigar el sesgo en sistemas de IA y asegurar que estas tecnologías sean justas, transparentes y responsables.

El Reglamento General de Protección de Datos (RGPD), el régimen revisado de protección de datos de la Unión Europea que se implementó en 2018, aborda en su Artículo 22 la “Toma de decisiones individuales automatizada, incluida la elaboración de perfiles”. Estas normas prohíben “únicamente” las decisiones automatizadas que tengan un efecto “significativo” o “legal” sobre un individuo, a menos que estén explícitamente autorizadas por el consentimiento, el contrato o la legislación de un Estado miembro. En los casos en que estén permitidos, deben existir salvaguardias, como el derecho a human-in-the-loop y el derecho a una explicación no vinculante de las decisiones adoptadas. Aunque estas normas se consideran comúnmente nuevas, en el Artículo 15 de la Directiva de Protección de Datos existen disposiciones casi idénticas en toda Europa desde 1995. Las reglas y salvaguardias originales de las decisiones automatizadas que se encuentran en la legislación francesa desde finales de los años setenta.^[145]​

El RGPD aborda el sesgo algorítmico en los sistemas de elaboración de perfiles, así como los enfoques estadísticos posibles para limpiarlos, directamente en el considerando 71,^[110]​^[146]​ señalando que

… el responsable del tratamiento debe utilizar procedimientos matemáticos o estadísticos adecuados para la elaboración de perfiles, aplicar medidas técnicas y organizativas adecuadas … que eviten, entre otras cosas, los efectos discriminatorios sobre las personas físicas por motivos de origen racial o étnico, opinión política, religión o convicciones, afiliación sindical, situación genética o sanitaria u orientación sexual, o que den lugar a medidas que tengan tal efecto.

Al igual que el derecho a una explicación en el considerando 71,^[110]​^[146]​ el problema es el carácter no vinculante de los considerandos.^[147]​ Aunque el Grupo de trabajo del Artículo 29, que asesoró sobre la aplicación de la legislación de protección de datos, lo ha tratado como un requisito,^[146]​ sus dimensiones prácticas no están claras. Se ha argumentado que las evaluaciones del impacto de la protección de datos para la elaboración de perfiles de datos de alto riesgo (junto con otras medidas preventivas dentro de la protección de datos) pueden ser una mejor manera de abordar los problemas de discriminación algorítmica, ya que restringen las acciones de quienes despliegan algoritmos, en lugar de exigir a los consumidores que presenten quejas o soliciten cambios.^[148]​

Estados Unidos no tiene una legislación general que controle el sesgo algorítmico, abordando el problema a través de varias leyes estatales y federales que pueden variar según la industria, el sector y la forma en que se utiliza un algoritmo.^[127]​ Muchas políticas son ejecutadas o controladas por la Comisión Federal de Comercio.^[127]​ En 2016, la administración Obama lanzó el Plan Estratégico Nacional de Investigación y Desarrollo de Inteligencia Artificial,^[149]​ el cual tenía la intención de guiar a los responsables de la formulación de políticas hacia una evaluación crítica de los algoritmos. Recomendó a los investigadores que “diseñen estos sistemas de manera que sus acciones y la toma de decisiones sean transparentes y fáciles de interpretar por los humanos, y así puedan contener, en lugar de simplemente aprender y repetir estos sesgos”. Pensado solo como una guía, el informe no sentó ningún precedente legal.^[150]​

En 2017, la ciudad de Nueva York aprobó el primer proyecto de ley de rendición de cuentas algorítmica en los Estados Unidos.^[151]​ El proyecto de ley, que entró en vigor el 1 de enero de 2018, requería “la creación de un grupo de trabajo que proporcione recomendaciones sobre cómo la información sobre los sistemas de decisión automatizados de las organizaciones debería ser compartida con el público, y cómo esas organizaciones deberían abordar los casos en que las personas se ven perjudicadas por sistemas de decisión automatizados de la organización”.^[152]​ Se requiere que el grupo de trabajo presente hallazgos y recomendaciones para acciones reguladoras adicionales en 2019.^[153]​

El 31 de julio de 2018, se presentó un borrador del proyecto de ley de datos personales.^[154]​ El borrador propone estándares para el almacenamiento, procesamiento y transmisión de los datos. Si bien no utiliza el término algoritmo, establece disposiciones para “…daños resultantes de cualquier procesamiento o cualquier tipo de procesamiento realizado por el fiduciario”. Define “cualquier denegación o retirada de un servicio, beneficio o bien resultante de una decisión de evaluación sobre el propietario de los datos” o “cualquier tratamiento discriminatorio” como una fuente de daño que podría surgir del uso indebido de los datos. También establece disposiciones especiales para las personas con “estatus intersexual”.^[155]​

• Noble, Safiya Umoja (2018). Algoritmos de opresión. Nueva York: New York University Press.
• Equidad (aprendizaje automático)