Sesgo algorítmico , la enciclopedia libre

El Sesgo algorítmico ocurre cuando un sistema informático refleja los valores de los humanos que están implicados en la codificación y recolección de datos usados para entrenar el algoritmo. El sesgo algorítmico se puede encontrar en todos lados, como en los resultados de los motores de búsqueda o en las redes sociales y pueden tener un gran impacto en temas como la privacidad o agravar sesgos sociales como los existentes respecto a razas, género, sexualidad o etnias. El estudio del sesgo algorítmico esta enfocado sobre todo en algoritmos que reflejan "discriminación sistemática e injusta". Este tipo de sesgos han empezado a ser tenidos en cuenta en marcos legales recientemente, como el Control de Protección de Datos Generales de la Unión Europea en 2018.

Tan pronto como los algoritmos expanden su capacidad de organizar la sociedad, la política, las instituciones, y el comportamiento, los sociólogos han empezado a preocuparse con las maneras en que los resultados no previstos y la manipulación de datos pueden impactar el mundo físico. Como los algoritmos son a menudo considerados neutros y sin sesgos, puede parecer que son mejores que los propios humanos, y en algunos casos, relevar trabajo en un algoritmo puede reducir el control humano sobre los resultados. Los sesgos pueden repercutir en los algoritmos teniendo como origen influencias culturales, sociales, o institucionales; debido a limitaciones técnicas de su diseño; o por ser utilizado en contextos no esperados en un principio o por usuarios que no se habían considerado en el diseño inicial del software.

Los sesgos algorítmicos han afectado a temas como los resultados de las elecciones. Los problemas de comprensión, investigación, y descubrimiento de sesgos en los algoritmos provienen de la naturaleza de estos, ya que los propietarios no suelen dejar acceder a su implementación, y aunque fuera así, muchas veces son demasiado complejos para entender cómo funcionan. Además, los algoritmos pueden cambiar, o responder a diferentes entradas de maneras que no pueden ser previstas o fácilmente reproducidas para su análisis. En muchos casos, incluso dentro de un solo sitio web o aplicación, no hay un solo algoritmo para examinar, si no un conjunto de procesos y entradas de datos interrelacionados.

Los algoritmos son difíciles de definir, pero se pueden entender como conjuntos de instrucciones dentro de un ordenador que determinan cómo estos programas leen, recogen, procesan, y analizan datos para generar una salida legible.^[2]​^[3]​^: 13 Los ordenadores más nuevos pueden procesar millones de estas instrucciones algorítmicas por segundo, lo cual ha impulsado el diseño y adopción de tecnologías como machine learning e inteligencia artificial.^[4]​^: 14–15 Analizando y procesando datos, los algoritmos son el corazón de los motores de búsqueda, redes sociales, motores de recomendación, venta al detalle en línea, publicidad en línea, y otros.^[5]​^[6]​^[7]​^[8]​^[9]​^[10]​

Los científicos sociales contemporáneos están preocupados con procesos algorítmicos incluidos en el hardware y  software debido a su impacto político y social, y cuestionan la suposición de que un algoritmo es neutral.^[11]​^: 2 [12]​^{: 563 [13]}​^{: 294 [14]}​ El término sesgo algorítmico describe errores sistemáticos y repetidos que crean resultados injustos, como dar privilegios a un grupo de usuarios por encima otros de forma arbitraria. Por ejemplo, un algoritmo de puntuación de crédito puede negar un préstamo sin ser injusto, si se fija únicamente en criterios financieros pertinentes. Si el algoritmo recomienda préstamos a un grupo de usuarios, pero niega préstamos a otro conjunto de usuarios casi idénticos basándose en criterios no relacionados, y si este comportamiento se puede repetir en distintas ocasiones, se puede decir que es un algoritmo con sesgos.^: 332 Estos sesgos pueden ser intencionados o involuntarios.^: 332

El sesgo puede ser introducido a un algoritmo de varias maneras. Durante el montaje de una base de datos, el dato tiene que ser recogido, digitalizado, adaptado, e introducido según un diseño humano.^[15]​^: 3 Luego, los programadores asignan prioridades, o jerarquías, sobre cómo un programa evalúa y ordena los datos. Esto requiere decisiones humanas sobre cómo el dato es categorizado, y qué dato es incluido o descartado.^[15]​ Algunos algoritmos recogen sus propios datos basados en  criterios de selección humanos, los cuales también pueden reflejar sesgos de los diseñadores.^[15]​ Otros algoritmos pueden reforzar estereotipos y preferencias cuando procesan y muestran datos relevantes para los humanos, por ejemplo, al seleccionar información basada en elecciones anteriores de un usuario o grupo de usuarios similares.^[15]​

Más allá de reunir y procesar datos, los sesgos pueden surgir como resultado del diseño.^[16]​ Por ejemplo, algoritmos que usan ordenación en los datos, aquellos que determinan la asignación de recursos o escrutinio, o los que clasifican e identifican usuarios, los cuales pueden discriminar a un grupo cuándo calculan el riesgo basado en datos de usuarios similares.^[17]​^: 36 Por otro lado, los motores de recomendación que asocian a los usuarios con otros usuarios similares, o que infieren diferentes rasgos, podrían confiar en datos inexactos que reflejan estereotipos étnicos,de género, socioeconómicos, o raciales. Otro ejemplo surgiría de determinar los criterios que dicen que incluir y excluir de los resultados. Estos criterios podrían provocar resultados inesperados en las búsquedas, como un software de recomendaciones de compañías de vuelos  que omite los vuelos de compañías que no se patrocinan igual que el resto.^[16]​ Los algoritmos también pueden mostrar un sesgo de incertidumbre, ofreciendo valoraciones más seguras cuándo los conjuntos de datos son más grandes. Esto puede afectar a procesos algorítmicos que analizan muestras muy grandes, que hacen se ignoren los datos de poblaciones poco representadas.^[18]​^: 4

Los primeros programas de ordenador fueron diseñados para imitar el razonamiento y las deducciones humanas, y se consideró que funcionaban cuando llegaron a reproducir esa lógica humana de manera exitosa y consistente. En su libro de 1976 (Computer Power and Human Reason), el pionero de la Inteligencia Artificial Joseph Weizenbaum sugirió que el sesgo podría surgir tanto de los datos utilizados en un programa como de la forma en que se implementa un programa.^[19]​^: 149

Weizenbaum describió los programas como secuencias de reglas creadas por humanos para que las siga una computadora. Al seguir esas reglas consistentemente, tales programas "encarnan la ley"^[19]​^: 40, es decir, hacen cumplir una forma específica de resolver problemas. Las reglas que sigue una computadora se basan en las suposiciones de un programador sobre cómo se pueden resolver estos problemas. Esto significa que el código podría incorporar la imaginación del programador y sus ideas de cómo funciona el mundo, incluyendo sus prejuicios y expectativas.^[19]​^: 109 Mientras que un programa puede incorporar prejuicios de esta manera, Weizenbaum también señaló que cualquier dato alimentado a una máquina refleja adicionalmente los "procesos humanos de toma de decisiones" a medida que se van seleccionando los datos.^[19]​^{: 70, 105}

Finalmente, señaló que las máquinas también podrían transmitir buena información con consecuencias imprevistas si los usuarios no tienen claro cómo interpretar los resultados.^[19]​^: 65 Weizenbaum advirtió en contra de confiar en las decisiones tomadas por los programas que el usuario no entiende, comparando esa fe con la de un turista que puede encontrar su camino a una habitación de un hotel girando a la izquierda o a la derecha jugando a cara o cruz. El turista no tiene base para entender cómo o por qué llegó a su destino, y el hecho de llegar no significa que el proceso sea preciso o confiable.^[19]​^: 226

Uno de los primeros ejemplos de sesgo algorítmico resultó en que hasta 60 mujeres y personas pertenecientes a minorías étnicas se les negara la entrada a la Escuela de Medicina del Hospital St. George's cada año entre 1982 y 1986, basado en la implementación de un nuevo sistema de evaluación por ordenador que negaba la entrada a mujeres y hombres con "nombres que suenan extranjeros" basándose en las tendencias históricas de las admisiones.^[21]​

Pese a que los algoritmos bien diseñados frecuentemente determinan resultados que son igualmente (o más) equitativos que las decisiones de seres humanos, aún ocurren casos de sesgo, y son difíciles de predecir y analizar.^[22]​ La complejidad de analizar el sesgo algorítmico ha crecido a la vez que la complejidad de los programas y su diseño. Las decisiones que hace un diseñador o un equipo de diseñadores pueden ser oscurecidas entre las muchas partes de código creadas para un solo programa; a lo largo del tiempo estas decisiones y su impacto colectivo en la salida del programa se puede olvidar.^[23]​ En teoría, estos sesgos pueden crear nuevos patrones de conducta, o “scripts”, en relación con tecnologías específicas según el código interactúa con otros elementos de la sociedad.^[24]​ Los sesgos también pueden afectar cómo la sociedad se forma alrededor de puntos de datos que los algoritmos requieren. Por ejemplo, si los datos muestran un gran número de arrestos en una zona particular, un algoritmo podría asignar más patrullas de policía a esa zona, lo que puede llevar a más arrestos.^[25]​

Las decisiones de programas algorítmicos pueden verse como más autoritativas que las decisiones de los seres humanos que se supone que asisten,^[26]​ un proceso descrito por el escritor Clay Shirky como “autoridad algorítmica”.^[27]​ Shirky usa el término para describir “la decisión de considerar como autoritativo un proceso no gestionado de extraer valor de fuentes diversas y poco fiables”, como los resultados de búsqueda.^[27]​ Esta neutralidad también puede malinterpretarse por el lenguaje usado por los expertos y los medios de comunicación cuando los resultados son presentados al público. Por ejemplo, una lista de noticias seleccionada y presentada como “de moda” o “popular” puede ser creada basándose en criterios bastante más amplios que su popularidad.^[15]​

Por su conveniencia y autoridad, los algoritmos son teorizados como un medio de delegar la responsabilidad lejos de los humanos.^[26]​^[28]​ Esto puede tener el efecto de reducir opciones alternativas, compromisos o flexibilidad.^[26]​ El sociólogo Scott Lash ha criticado los algoritmos como una nueva forma de “poder generativo”, dado que son un medio virtual de generar fines reales. Donde previamente el comportamiento humano generaba datos para ser recogidos y estudiados, los algoritmos potentes podrían dar forma y definir los comportamientos humanos.^[29]​

Las preocupaciones sobre el impacto de los algoritmos en la sociedad han llevado a la creación de grupos de trabajo en organizaciones como Google y Microsoft, las cuales han cocreado un grupo de trabajo llamado Fairness, Accountability and Transparency in Machine Learning.^[30]​ Entre algunas ideas de Google se incluyen comunidades que patrullan los resultados de algoritmos y votan por controlar o restringir los resultados que consideran que tienen consecuencias negativas.^[30]​ En los últimos años, el estudio de Fairness, Accountability and Transparency (FAT) de los algoritmos ha surgido como un área interdisciplinaria de investigación con una conferencia anual llamada FAT.^[31]​

Un sesgo preexistentes en un algoritmo es consecuencia de ideologías sociales e institucionales subyacentes. Estas ideas pueden influir o crear sesgos personales en los diseñadores o programadores. Dichos perjuicios pueden ser explícitos y conscientes, o implícitos e inconscientes.^[13]​^[32]​ Datos de entrada mal seleccionados influirán en los resultados creados por las máquinas.^[20]​ La codificando de un sesgo preexistentes en el software puede preservar el sesgo social e institucional, y sin ninguna corrección podría replicarse en futuros usos de ese algoritmo.^[23]​^[28]​

Un ejemplo de este tipo de sesgo es el Programa de la Ley de Nacionalidad Británica, diseñado para automatizar la evolución de los nuevos ciudadanos de Reino Unido a partir de 1981.^[32]​ El programa reflejó con precisión los principios de la ley, que establecían que "un hombre es el padre solo de sus hijos legítimos, mientras que una mujer es la madre de todos sus hijos, legítimos o no”.^[32]​^[33]​ En su intento de transferir una lógica particular a un proceso algorítmico, el BNAP inscribió la lógica de la Ley de Nacionalidad Británica en su algoritmo, que la perpetuaría incluso si la ley fuera finalmente derogada.^[32]​

El sesgo técnico surge a través de las limitaciones de un programa, la potencia computacional, su diseño u otra restricción en el sistema.^[32]​ Tal sesgo también puede ser una restricción de diseño, por ejemplo, se puede entender que un motor de búsqueda que muestra tres resultados por pantalla privilegia los tres primeros resultados un poco más que los tres siguientes, como en una pantalla de precios de una aerolínea.^[32]​ Otro caso es el software que se basa en la aleatoriedad para distribuciones justas de resultados. Si el mecanismo de generación de números aleatorios no es realmente aleatorio, puede introducir sesgos, por ejemplo, al sesgar las selecciones hacia los elementos al final o al principio de una lista.^[32]​

Un algoritmo descontextualizado utiliza información no relacionada para ordenar resultados, por ejemplo, un algoritmo de fijación de precios de vuelo que clasifica los resultados por orden alfabético estaría sesgado a favor de American Airlines sobre United Airlines.^[32]​ También puede aplicarse lo contrario, en el que los resultados se evalúan en contextos diferentes de los que se recopilan. Los datos pueden recopilarse sin un contexto externo crucial: por ejemplo, cuando el software de reconocimiento facial es utilizado por cámaras de vigilancia, pero evaluado por personal remoto en otro país o región, o evaluado por algoritmos no humanos sin conocimiento de lo que ocurre más allá del campo visual de la cámara. Esto podría crear una comprensión incompleta de la escena de un crimen, por ejemplo, confundir a los espectadores con quienes cometen el crimen.^[12]​

Por último, se puede crear un sesgo técnico al intentar formalizar las decisiones en pasos concretos bajo el supuesto de que el comportamiento humano funciona de la misma manera. Por ejemplo, el software valora puntos de datos para determinar si un acusado debe aceptar un acuerdo de culpabilidad, mientras ignora el impacto de la emoción en un jurado.^[32]​ Otro resultado no deseado de esta forma de sesgo se encontró en el software de detección de plagio Turnitin, que compara los textos escritos por los estudiantes con la información que se encuentra en línea y devuelve una puntuación de probabilidad de que el trabajo del estudiante sea una copia. Debido a que el software compara cadenas largas de texto, es más probable que identifique hablantes no nativos de inglés que hablantes nativos, ya que este último grupo podría cambiar mejor las palabras individuales, dividir cadenas de texto plagiado u oscurecer pasajes copiados a través de sinónimos. Debido a que es más fácil para los hablantes nativos evadir la detección como resultado de las limitaciones técnicas del software, esto crea un escenario en el que Turnitin identifica a los hablantes extranjeros de inglés para plagio mientras permite que más hablantes nativos evadan la detección.^[26]​

El sesgo emergente es el resultado del uso y confianza en algoritmos de contextos nuevos o imprevistos.^[34]​ Los algoritmos pueden no haber sido ajustados para considerar nuevas formas de conocimiento, como nuevos medicamentos o descubrimientos médicos, nuevas leyes, modelos de negocio o normas culturales que cambian.^[34]​ Esto puede excluir grupos mediante la tecnología, sin proporcionar contornos claros para entender quién es responsable de su marginación.^[25]​ De manera similar, pueden emerger problemas al entrenar datos (los ejemplos de los que “se alimenta” una máquina, por los que modela conclusiones concretas) que no se corresponden con contextos que un algoritmo encuentra en el mundo real.^[35]​

En 1990, un ejemplo de sesgo emergente se detectó en el software utilizado para asignar estudiantes de medicina en EE. UU. a residencias, el National Residency Match Program (NRMP).^[34]​ El algoritmo se diseñó en un momento en el que pocas parejas casadas buscaban residencia juntos. Según fueron entrando más mujeres a las escuelas de medicina, más probable era que los estudiantes solicitaran residencia junto a su pareja. El proceso pedía a cada candidato que aportara una lista de preferencias de ubicación alrededor de EE. UU., que después era ordenada y asignada cuando un hospital y un candidato acordaban un emparejamiento. En el caso de parejas casadas donde ambos buscaban residencia, el algoritmo consideraba las elecciones de ubicación de la persona más altamente valorada. El resultado era que con frecuencia se asignaban escuelas más preferidas al primer integrante de la pareja y menos preferidas al segundo, en lugar de buscar compromisos en preferencias de ubicación.^[34]​

Otros tipos de sesgo emergente son:

Correlaciones impredecibles pueden surgir cuando amplios conjuntos de datos son comparados entre sí. Por ejemplo, datos sobre patrones de navegación en la web pueden corresponderse con señales que marcan datos sensibles (como raza u orientación sexual). Seleccionando de acuerdo a cierto comportamiento o patrones, el efecto final sería casi idéntico a discriminación por el uso de datos directos de raza u orientación sexual.^[18]​ En otros casos, el algoritmo extrae conclusiones de correlaciones, sin ser capaz de entender esas correlaciones. Por ejemplo, un programa de clasificación dio menor prioridad a asmáticos que padecieran neumonía que a asmáticos que no la padecieran. El algoritmo hizo esto ya que simplemente comparaba cotas de supervivencia: los asmáticos con neumonía tenían un riesgo mayor. Históricamente, por la misma razón, los hospitales típicamente dan a dichos asmáticos el mejor y más inmediato cuidado.^[36]​

El sesgo emergente puede ocurrir cuando un algoritmo se usa por público imprevisto. Por ejemplo, las máquinas pueden requerir que los usuarios sepan leer, escribir o entender números, o relacionarse con una interfaz usando metáforas que no entienden.^[34]​ Estas exclusiones pueden convertirse en acentuadas según la tecnología sesgada o excluyente se va integrando más en la sociedad.^[25]​

Además de la exclusión, usos imprevistos pueden emerger por parte del usuario que confía en el software más que en su propio conocimiento. Por ejemplo, un grupo de usuarios imprevisto llevó a sesgo algorítmico en el Reino Unido, cuando ingenieros informáticos y abogados especializados en la inmigración crearon el British National Act Program como prueba de concepto con el fin de examinar de forma correcta para obtener la nacionalidad británica. Los diseñadores tenían acceso a mayores conocimientos legales que los usuarios en oficinas de inmigración, cuyo entendimiento tanto de software como de ley de inmigración seguramente fuera tosco. Los agentes que administraban las preguntas confiaban por completo en el software, lo que excluía distintos métodos de obtener la nacionalidad, y usaban el software incluso después de que los nuevos casos de leyes e interpretaciones legales llevaran a que el algoritmo estuviera anticuado. Como resultado de diseñar un algoritmo para los usuarios que presuntamente era inteligente en cuanto a la legalidad, el algoritmo del software llevó indirectamente a sesgo a favor de los candidatos que cumplían un conjunto restringido de criterios legales en lugar de los criterios más generales de la ley de inmigración.^[34]​

El sesgo emergente también podría crear un ciclo de realimentación, o recursión, si los datos recogidos para un algoritmo resultan ser respuestas reales que se vuelven a introducir al algoritmo.^[37]​^[38]​ Por ejemplo, simulaciones de software de policía predictiva (PredPol) desarrollados en Oakland, California, sugerían una presencia policial mayor en barrios de gente de raza negra basándose en los datos de crímenes denunciados por la gente.^[39]​ La simulación mostraba que la gente denunciaba crímenes basándose en si veían coches de policía, independientemente de lo que la policía hiciera. La simulación interpretó los avistamientos de coches de policía para modelar sus predicciones de crimen, y asignaba por tanto aún más presencia policial en dichos barrios. La institución Human Rights Data Analysis Group, que llevó a cabo la simulación, advirtió que en lugares donde la discriminación racial favorece los arrestos, estos ciclos de realimentación podrían incrementar la discriminación racial en la policía.^[38]​

Los sistemas de recomendación como los que se usan para recomendar vídeos en línea o artículos de noticias pueden crear ciclos de realimentación.^[40]​ Cuando los usuarios hacen clic en contenido sugerido por algoritmos, se influencia el siguiente conjunto de sugerencias. Con el paso del tiempo esto puede llevar a los usuarios a entrar en un filtro burbuja y no ser conscientes de contenido importante o útil.^[41]​^[42]​

Los algoritmos corporativos pueden estar sesgados para favorecer de manera invisible los acuerdos financieros o los acuerdos entre empresas, sin el conocimiento de un usuario que pueda confundir el algoritmo como imparcial. Por ejemplo, American Airlines creó un algoritmo de búsqueda de vuelos en la década de 1980. El software presentaba una gama de vuelos de varias aerolíneas a los clientes, pero sopesaba los factores que destacaban sus propios vuelos, independientemente del precio o la conveniencia. En testimonio ante el Congreso de los Estados Unidos, el presidente de la aerolínea declaró abiertamente que el sistema fue creado con la intención de obtener una ventaja competitiva a través de un trato preferencial.^[43]​^: 2 [32]​^: 331

En un artículo de 1998 que describe a Google, se demostró que los fundadores de la empresa adoptaron una política de transparencia en los resultados de las búsquedas sobre la colocación remunerada, argumentando que "los motores de búsqueda financiados por publicidad estarán intrínsecamente sesgados hacia los anunciantes y alejados de las necesidades de los consumidores",^[44]​ lo que constituiría una manipulación "invisible" del usuario.^[43]​^: 3

Una serie de estudios sobre votantes indecisos en los Estados Unidos y en la India descubrieron que los resultados de los motores de búsqueda podían cambiar los resultados de la votación en aproximadamente un 20%. Los investigadores concluyeron que los candidatos "no tiene manera de competir" si un algoritmo, con o sin intención, aumenta los resultados de búsqueda de páginas para un candidato rival.^[45]​ Los usuarios de Facebook que vieron mensajes relacionados con la votación tenían más probabilidades de votar. En 2010, una prueba aleatoria con usuarios de Facebook mostró un aumento del 20% (340,000 votos) entre los usuarios que vieron mensajes que promovían el voto, así como imágenes de sus amigos que habían votado.^[46]​ El experto en legislación Jonathan Zittrain advierte que esto podría crear un "amaño digital" en las elecciones, "la presentación selectiva de información por un intermediario para cumplir con sus intereses, en lugar de servir a los usuarios", si se manipula intencionalmente.^[47]​

En 2016, se descubrió que la red social de profesionales LinkedIn recomendaba variaciones masculinas de los nombres de las mujeres en respuesta a las consultas de búsqueda. El motor de búsqueda no hizo recomendaciones similares en la búsqueda de nombres masculinos. Por ejemplo, "Andrea" mostraba un mensaje preguntando si los usuarios querían decir "Andrew", pero las consultas por "Andrew" no preguntaban si los usuarios querían encontrar a "Andrea". La compañía dijo que esto fue el resultado de un análisis de las interacciones de los usuarios con el buscador.^[48]​

En 2012, la franquicia de tiendas por departamentos Target fue citada por recopilar datos para inferir cuándo las mujeres estaban embarazadas, incluso si no lo habían anunciado, y luego compartir esa información con sus socios de mercadeo.^[49]​^{: 94 [50]}​ Debido a que los datos habían sido pronosticados, en lugar de ser observados o reportados directamente, la compañía no tenía la obligación legal de proteger la privacidad de esos clientes.^[49]​^: 98

Los algoritmos de búsqueda web también han sido acusados de ser sesgados. Los resultados de Google pueden dar prioridad al contenido pornográfico en términos de búsqueda relacionados con la sexualidad, por ejemplo, "lesbiana". Este sesgo se extiende al motor de búsqueda que muestra contenido popular pero sexualizado en búsquedas neutrales. Por ejemplo, los artículos "Top 25 Sexiest Women Athletes" (Las 25 mujeres atletas más sexys) aparecen como resultados de primera página en las búsquedas de "mujeres atletas"^[51]​^: 31. En 2017, Google ajustó estos resultados junto con otros relacionados con opiniones racistas, abuso infantil y pornografía, y otros contenidos perturbadores y ofensivos.^[52]​ Otros ejemplos incluyen la exhibición de trabajos con mejor remuneración a los candidatos masculinos en los sitios web de búsqueda de empleo.^[53]​

En 2018, Amazon apagó un sistema que desarrolló para filtrar las solicitudes de empleo cuando se dieron cuenta de que estaba sesgado en contra de las mujeres.^[54]​

Los algoritmos se han criticado como método para tapar los prejuicios raciales a la hora de decidir.^[55]​ Debido a como ciertas razas y grupos étnicos fueron tratados en el pasado, la información actual puede contener ciertos sesgos ocultos. Por ejemplo, gente de raza negra son más proclives a recibir sentencias más largas que gente de raza blanca, las cuales cometieron el mismo delito.^[56]​^[57]​ Esto puede suponer que un sistema amplíe los sesgos originales en los datos.

Un ejemplo es el uso de evaluaciones de riesgos en sentencias penales en los Estados Unidos y audiencias de libertad condicional, donde a los jueces se les presentaba mediante un algoritmo, el riesgo de que un preso reincidiese en un crimen.^[58]​ El periodo que comprende 1920 y 1970, la nacionalidad del padre de un criminal se tenía en cuenta en dichas evaluaciones de riesgo.^[59]​ A día de hoy, estos resultados se comparten con jueces en Arizona, Colorado, Delaware, Kentucky, Louisiana, Oklahoma, Virginia, Washington y Wisconsin. Una investigación independiente por ProPublica, descubrió que estos resultados obtenidos eran inexactos en el 80% de los casos y desproporcionadamente sesgados por sugerir que personas negras tenían un 77% más de probabilidades de reincidir que una persona blanca.^[58]​

En 2015, Google se disculpó cuando personas negras se quejaron de que el algoritmo de identificación de imágenes en la aplicación de Fotos los identificaba como gorilas.^[60]​ En 2010, las cámaras Nikon fueron criticadas debido a que su algoritmo de identificación preguntaba constantemente a los usuarios asiáticos si estaban parpadeando.^[61]​ Estos ejemplos son producto del sesgo en el conjunto de datos biométricos.^[60]​ Dichos datos biométricos se obtienen de aspectos del cuerpo, incluyendo las características raciales observadas, las cuales pueden entonces transferirse en puntos de datos.^[55]​ La tecnología de reconocimiento de voz puede tener diferentes exactitudes dependiendo del acento del usuario. Esto se puede deber a la falta de datos de entrenamiento para usuarios de dicho acento.^[62]​

Los datos biométricos sobre la raza pueden también inferirse en lugar de observarse. Por ejemplo, en 2012 un estudio demostró que los nombre asociados con las personas negras eran más proclives a devolver resultados de búsqueda relacionados con arrestos, independientemente de si hay o no un registro policial para individuos con ese nombre.^[63]​

Un estudio sobre “Riesgo, Raza y Reincidencia: Sesgo Predictivo e Impacto Dispar” alegó que existía una probabilidad el doble de mayor (45% contra 23%) de que personas negras fueran clasificadas de mayor riesgo incluso después de haber permanecido durante un periodo de dos años sin ninguna reincidencia documentada.^[64]​

En 2019 un estudio de investigación reveló que un algoritmo de atención médica vendido por Optum favorecía a pacientes blancos por delante de pacientes negros, incluso estos estando más enfermos. El algoritmo predice cuánto costará el sistema de atención médica en el futuro. Sin embargo, el coste no es neutral con respecto a la raza, debido a que los pacientes negros incurrieron en aproximadamente 1.800$ menos en costes médicos por año que los pacientes blancos con el mismo número de problemas crónicos, lo que llevó al algoritmo a calificar a dichos pacientes blancos a tener el mismo riesgo de padecer ciertos problemas de salud en el futuro que los pacientes negros, los cuales sufrían significativamente de más enfermedades.^[65]​

En 2017 un algoritmo de Facebook diseñado para eliminar el discurso de odio en línea en favor de los hombres blancos frente a los negros a la hora de juzgar de manera objetiva el contenido, según documentos internos de Facebook.^[66]​ El algoritmo, el cual es una combinación de programas informáticos y revisión humana, fue creado para proteger amplias categorías en lugar de subcategorías. Por ejemplo, publicaciones en contra de los “musulmanes” sería bloqueadas, mientras que aquellas que denunciaban a los “musulmanes radicales” sí serían permitidas. Un resultado inesperado del algoritmo es que permite el discurso de odio contra los niños negros, ya que denuncian la subcategoría de “niños” de los negros, en lugar de “todos los negros”, mientras que “todos los hombres blancos” daría lugar a un bloqueo, debido a que blancos y hombres no son considerados una subcategoría.^[66]​ Además, se encontró que Facebook permitía a compradores de anuncios de dirigirse a “antijudíos” como una categoría de usuarios, que, según la compañía, fue resultado de los datos y los algoritmos usados. La compañía también permitió a los compradores de anuncios impedir que los afroamericanos vean anuncios de viviendas.^[67]​

El software que contienen las cámaras de vigilancia puede considerarse intrínsecamente político debido a que requiere algoritmos para distinguir comportamientos normales y anormales, y determinar quien pertenece a ciertos lugares en ciertos momentos.^[12]​ La habilidad de dichos algoritmos de reconocer rostros de un espectro racial se ha demostrado que esta limitado por la diversidad racial de las imágenes en su base de datos de entrenamiento; Si la mayoría de las imágenes pertenecen a una raza o género, el software es mejor a la hora de reconocer otros miembros de esa raza o género.^[68]​ Un análisis de software de 2002 utilizado para identificar individuos en imágenes de CCTV encontró varios ejemplos de predisposición cuando se ejecutan con las bases de datos de delincuentes. el software identificaba con más frecuencia a los hombres que a las mujeres, a las personas mayores más que a las jóvenes y a asiáticos, afroamericanos y otras razas con más frecuencia que a los blancos.^[25]​ Otros estudios sobre el software de reconocimientos han encontrado lo contrario cuando se entrena con bases de datos de no criminales, siendo el software el menos preciso para identificar a las mujeres de pieles más oscuras.^[69]​

En 2011, usuarios de la aplicación de citas para homosexuales Grindr reportaron que el algoritmo de recomendación de Google Play estaba vinculando a Grindr con aplicaciones diseñadas para encontrar delincuentes sexuales, que según los críticos relacionaban incorrectamente la homosexualidad con la pedofilia. El escritor Mike Ananny criticó esta asociación en The Atlantic, argumentando que tales asociaciones estigmatizaron aún más a los hombres homosexuales.^[70]​ En 2009, la compañía de comercio electrónico Amazon anuló 57.000 libros después de que un cambio algorítmico expandiese su lista negra de “contenido para adultos” para incluir cualquier libro que abordase temas de sexualidad o gay, como la novela aclamada por la crítica Brokeback Mountain.^[71]​^[72]​

En 2019 se descubrió que, en Facebook, las búsquedas de “fotos de mis amigas” arrojaron sugerencias como “en bikini” o “en la playa”. En contraste, las búsquedas de “fotos de mis amigos” no arrojaron resultados.^[73]​

Estos resultados muestran que la sociedad en su conjunto tiene una amplia gama de ideas sexistas sobre las mujeres. Aunque los usuarios son los que generan estos resultados en la parte superior de la página, Google no ha logrado eliminar los comentarios sexistas y racistas. En Algoritmos de Opresión,^[74]​ Safiya Noble señala un ejemplo cuando realizas la búsqueda “chicas negras”. Una mujer estaba buscando en Internet actividades para entretener a un preadolescente y a sus primos de la misma edad. Después de buscar “chicas negras”, imágenes de pornografía llenaron la pantalla. Estos resultados son una correlación directa con los viejos medios en una nueva arquitectura de medios. Debido al algoritmo de Google, no puede borrar las páginas a menos que se consideren ilegales.^[75]​

Muchos problemas impiden el estudio del sesgo algorítmico a gran escala, obstaculizando la aplicación de estudios académicos rigurosos y la comprensión pública.^[11]​

Los algoritmos comerciales son patentados y pueden tratarse como secretos comerciales.^[11]​^[76]​^[25]​ El tratamiento de los algoritmos como secretos comerciales protege a las empresas, como los motores de búsqueda, donde un algoritmo transparente puede revelar tácticas para manipular el posicionamiento de los resultados de búsqueda.^[77]​ Esto dificulta a los investigadores realizar entrevistas o análisis para descubrir como estos algoritmos funcionan.^[78]​ Los expertos sugieren que este tipo de secreto puede ocultar métodos no éticos usados en la producción o el procesamiento de la salida de los algoritmos.^[77]​

Los procesos de los algoritmos son complejos, a menudo excediendo la comprensión de la gente que los usa.^[11]​^[76]​ Las operaciones a gran escala pueden no ser comprendidas incluso por quienes están involucrados en crearlas.^[79]​ Los métodos y los procesos de los programas de hoy en día a menudo se ven oscurecidos por la incapacidad de conocer cada permutación de una entrada o salida de código.^[25]​

El científico social Bruno Latour ha identificado este proceso como cajanegrizar. Según él mismo, cajanegrizar es "el camino mediante el cual el trabajo científico o técnico se vuelve invisible a causa de su propio éxito. Cuando una máquina funciona eficientemente o un hecho está establecido con firmeza, uno solo necesita concentrarse en los beneficios que genere y no en su complejidad interior. Así, paradójicamente sucede que la ciencia y la tecnología cuanto más éxito obtienen más opacas se vuelven."^[80]​ Otros han criticado la metáfora de la caja negra, sugiriendo que los algoritmos actuales no son una caja negra, sino una interconexión de varias.^[81]​

Un ejemplo de esta complejidad se puede encontrar en el rango de entradas para personalizar la retroalimentación. Facebook tuvo en cuenta al menos 100.000 puntos de datos para determinar la disposición de una feed de redes sociales de un usuario en 2013.^[82]​ Además, equipos grandes de programadores pueden operar en aislamiento relativo unos de otros y no ser conscientes de los efectos acumulados de las decisiones pequeñas con los algoritmos conectados y elaborados.^[23]​ No todo el código es original, y puede ser cogido de otras librerías, creando un conjunto complicado de relaciones entre el procesamiento de datos y los sistemas de entrada de datos.^[78]​

Existe complejidad adicional a través del aprendizaje automático y la personalización de algoritmos basada en interacciones del usuario como los clics, el tiempo pasado en un sitio y otras métricas. Estos ajustes personales pueden confundir intentos generales de entender los algoritmos.^[76]​^[77]​ Un servicio de transmisión de radio no identificado informó de que usaba cinco algoritmos únicos de selección de música que había seleccionado para sus usuarios, basándose en su comportamiento. Esto crea diferentes experiencias del mismo servicio de transmisión entre diferentes usuarios, haciendo más difícil de entender qué hacen estos algoritmos.^[11]​ Las empresas también realizan pruebas A/B frecuentes para ajustar los algoritmos basadas en las respuestas de los usuarios. Por ejemplo, el motor de búsqueda Bing puede ejecutar hasta diez millones de variaciones de su servicio por día, creando diferentes experiencias del servicio entre cada uso y/o usuario.^[11]​

Una barrera significativa para entender la lucha contra el sesgo en la práctica es que las categorías, como la demografía de las personas protegidas por la ley antidiscriminatoria, a menudo no se consideran de forma explícita al recopilar y procesar los datos.^[83]​ En algunos casos, hay una pequeña oportunidad de recopilar estos datos explícitamente, como en la toma de huellas de dispositivos, la computación ubicua y el Internet de las Cosas. En otros casos, el responsable de los datos puede no querer recopilar esos datos por razones de reputación, o porque representa un mayor riesgo de responsabilidad y seguridad. También puede ser el caso de que, al menos en relación con el Reglamento General de Protección de Datos de la Unión Europea, esos datos entran en las disposiciones de “categoría especial” y por lo tanto conllevan más restricciones en su recogida y tratamiento.

Algunos profesionales han intentado estimar e imputar estas categorizaciones sensibles que no existen para permitir la mitigación del sesgo, por ejemplo, construyendo sistemas para deducir la etnia de los nombres.^[84]​ Sin embargo, esto puede introducir otras formas de sesgo si no se realiza con cuidado.^[85]​ Los investigadores de machine learning se han basado en tecnologías que mejoran la privacidad criptográfica, tales como la computación segura multipartita para proponer métodos mediante los cuales el sesgo algorítmico pueda ser evaluado o mitigado sin que estos datos estén nunca disponibles para los modeladores en texto plano.^[86]​

El sesgo algorítmico no sólo incluye categorías protegidas, sino que también incluye características menos observables o codificables, como los puntos de vista políticos. En estos casos, raramente hay una verdad fundamental fácilmente accesible o no controvertida, y eliminar el sesgo de un sistema así es más difícil.^[87]​

Además, pueden surgir correlaciones falsas y accidentales de una falta de comprensión de las categorías protegidas, por ejemplo, tasas de seguro basadas en datos de historiales de accidentes de coches que pueden solaparse, por casualidad, con grupos residenciales de minorías étnicas.^[88]​

Ha habido varios intentos de crear métodos y herramientas que puedan detectar y observar sesgos dentro de un algoritmo. Este campo emergente se centra en las herramientas que generalmente se aplican a los datos (de capacitación) utilizados por el programa en lugar de los procesos internos del algoritmo. Estos métodos también pueden analizar el resultado de un programa y su utilidad y, por lo tanto, pueden involucrar el análisis de su matriz de confusión (o tabla de confusión).^[89]​^[90]​^[91]​^[92]​^[93]​^[94]​^[95]​^[96]​^[97]​

Actualmente, se está redactando un nuevo estándar IEEE que tiene como objetivo especificar metodologías que ayuden a los creadores de algoritmos a eliminar problemas de sesgo y articular la transparencia (es decir, a las autoridades o usuarios finales) sobre la función y los posibles efectos de sus algoritmos. El proyecto fue aprobado en febrero de 2017 y está patrocinado por el Comité de Estándares de Ingeniería de Sistemas y Software, un comité constituido por la IEEE Computer Society. Se espera que un borrador de la norma se someta a votación en junio de 2019.^[98]​^[99]​

Este nuevo estándar es el IEEE P7003 y forma parte de una serie de 11 estándares éticos IEEE P70xx. Tiene como objetivo convertir los principios del documento “Diseño Éticamente Alineado” en directrices prácticas para crear un marco que pueda ser implementado como estándar en la industria. Con este marco se busca que los desarrolladores y responsables de implementar sistemas algorítmicos puedan identificar y mitigar sesgos no intencionados, injustificados o inapropiados en los resultados de estos sistemas. ^[100]​

El estándar aborda tanto el sesgo injustificado, que se refiere al trato diferencial sin justificación operativa, como el sesgo inapropiado, aquel considerado legal o moralmente inaceptable en el contexto social donde se usa el sistema, como la discriminación basada en raza, género o sexualidad. Para ayudar a evitar estos problemas, el IEEE P7003 describe metodologías específicas, incluyendo guías de diseño ético, procedimientos de evaluación de sesgos, criterios de control de calidad de los datos de validación, y métodos para definir y comunicar los límites de aplicación del sistema. También incorpora estrategias para gestionar las expectativas del usuario y así reducir interpretaciones incorrectas de los resultados, como confundir correlación con causalidad.^[101]​

La estructura del estándar se organiza en secciones principales, abordando áreas como la taxonomía de sesgos, los marcos legales y el contexto cultural de los sesgos. Estas secciones proporcionan un contexto esencial para comprender los problemas éticos y mejorar la implementación. En la etapa de diseño, se consideran la categorización de usuarios, la representatividad de los datos y la transparencia del sistema, mientras que los casos de uso ofrecen ejemplos de sistemas que han causado sesgos, explicando cómo el marco propuesto puede mitigar estos problemas.^[102]​

El proceso de desarrollo de IEEE P7003 es deliberativo y abierto. Se divide en dos fases: una inicial exploratoria para identificar temas relevantes, y una de consolidación y especificación en la que se asignan responsabilidades y equipos para la redacción de contenido. ^[103]​

Actualmente, el borrador de IEEE P7003 está en fase de desarrollo, con la última modificación realizada el 27 de octubre de 2024. El borrador sigue siendo un "draft" y está gestionado por Christy Bahn, Program Manager de IEEE. ^[104]​

El Reglamento General de Protección de Datos (RGPD), el régimen revisado de protección de datos de la Unión Europea que se implementó en 2018, aborda en su Artículo 22 la “Toma de decisiones individuales automatizada, incluida la elaboración de perfiles”. Estas normas prohíben “únicamente” las decisiones automatizadas que tengan un efecto “significativo” o “legal” sobre un individuo, a menos que estén explícitamente autorizadas por el consentimiento, el contrato o la legislación de un Estado miembro. En los casos en que estén permitidos, deben existir salvaguardias, como el derecho a human-in-the-loop y el derecho a una explicación no vinculante de las decisiones adoptadas. Aunque estas normas se consideran comúnmente nuevas, en el Artículo 15 de la Directiva de Protección de Datos existen disposiciones casi idénticas en toda Europa desde 1995. Las reglas y salvaguardias originales de las decisiones automatizadas que se encuentran en la legislación francesa desde finales de los años setenta.^[105]​

El RGPD aborda el sesgo algorítmico en los sistemas de elaboración de perfiles, así como los enfoques estadísticos posibles para limpiarlos, directamente en el considerando 71,^[106]​^[107]​ señalando que

… el responsable del tratamiento debe utilizar procedimientos matemáticos o estadísticos adecuados para la elaboración de perfiles, aplicar medidas técnicas y organizativas adecuadas … que eviten, entre otras cosas, los efectos discriminatorios sobre las personas físicas por motivos de origen racial o étnico, opinión política, religión o convicciones, afiliación sindical, situación genética o sanitaria u orientación sexual, o que den lugar a medidas que tengan tal efecto.

Al igual que el derecho a una explicación en el considerando 71,^[106]​^[107]​ el problema es el carácter no vinculante de los considerandos.^[108]​ Aunque el Grupo de trabajo del Artículo 29, que asesoró sobre la aplicación de la legislación de protección de datos, lo ha tratado como un requisito,^[107]​ sus dimensiones prácticas no están claras. Se ha argumentado que las evaluaciones del impacto de la protección de datos para la elaboración de perfiles de datos de alto riesgo (junto con otras medidas preventivas dentro de la protección de datos) pueden ser una mejor manera de abordar los problemas de discriminación algorítmica, ya que restringen las acciones de quienes despliegan algoritmos, en lugar de exigir a los consumidores que presenten quejas o soliciten cambios.^[109]​

Estados Unidos no tiene una legislación general que controle el sesgo algorítmico, abordando el problema a través de varias leyes estatales y federales que pueden variar según la industria, el sector y la forma en que se utiliza un algoritmo.^[110]​ Muchas políticas son ejecutadas o controladas por la Comisión Federal de Comercio.^[110]​ En 2016, la administración Obama lanzó el Plan Estratégico Nacional de Investigación y Desarrollo de Inteligencia Artificial,^[111]​ el cual tenía la intención de guiar a los responsables de la formulación de políticas hacia una evaluación crítica de los algoritmos. Recomendó a los investigadores que “diseñen estos sistemas de manera que sus acciones y la toma de decisiones sean transparentes y fáciles de interpretar por los humanos, y así puedan contener, en lugar de simplemente aprender y repetir estos sesgos”. Pensado solo como una guía, el informe no sentó ningún precedente legal.^[112]​

En 2017, la ciudad de Nueva York aprobó el primer proyecto de ley de rendición de cuentas algorítmica en los Estados Unidos.^[113]​ El proyecto de ley, que entró en vigor el 1 de enero de 2018, requería “la creación de un grupo de trabajo que proporcione recomendaciones sobre cómo la información sobre los sistemas de decisión automatizados de las organizaciones debería ser compartida con el público, y cómo esas organizaciones deberían abordar los casos en que las personas se ven perjudicadas por sistemas de decisión automatizados de la organización”.^[114]​ Se requiere que el grupo de trabajo presente hallazgos y recomendaciones para acciones reguladoras adicionales en 2019.^[115]​

El 31 de julio de 2018, se presentó un borrador del proyecto de ley de datos personales.^[116]​ El borrador propone estándares para el almacenamiento, procesamiento y transmisión de los datos. Si bien no utiliza el término algoritmo, establece disposiciones para “…daños resultantes de cualquier procesamiento o cualquier tipo de procesamiento realizado por el fiduciario”. Define “cualquier denegación o retirada de un servicio, beneficio o bien resultante de una decisión de evaluación sobre el propietario de los datos” o “cualquier tratamiento discriminatorio” como una fuente de daño que podría surgir del uso indebido de los datos. También establece disposiciones especiales para las personas con “estatus intersexual”.^[117]​

• Noble, Safiya Umoja (2018). Algoritmos de opresión. Nueva York: New York University Press.
• Equidad (aprendizaje automático)