Cuando Apple presentó tu propia tarjeta de crédito, la Apple Card, en colaboración con Goldman Sachs, aquello parecía un primer pero contundente paso de la empresa en el ámbito financiero. El producto, como suele suceder en Apple, generó una gran expectación.
Ahora la polémica rodea a dicha tarjeta: David Heinemeier Hansson (@DHH), un influyente desarrollador -creó Ruby on Rails y es CEO de Basecamp- ha criticado duramente a Apple por concederle la Apple Card a él y a su mujer, pero haciendo que ella tenga 20 veces menos crédito que él aun estando ambos en la misma situación. Acusa a Apple de no tomar cartas en el asunto y sobre todo ha reimpulsado el debate sobre esos oscuros algoritmos propietarios que creemos que son perfectos y omnipotentes, que controlan nuestras vidas y que pueden ser subjetivos y tener prejuicios. En este caso, afirma DHH, el algoritmo es "jodidamente sexista".
Algoritmos sexistas
Los mensajes de Heinemeier Hansson en Twitter la semana pasada mostraban una situación paradójica: están casados desde hace años en régimen de gananciales, declaran a la Hacienda estadounidense de forma conjunta y de hecho su mujer es la que es estadounidense: él es danés y consiguió el visado de residencia hace años.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) 7 de noviembre de 2019
A pesar de todo eso, confesaba, "el algoritmo de caja negra de Apple cree que yo merezco 20 veces el límite de crédito que ella". La crítica era dura y contundente, y destacaba que incluso cuando ella paga ese límite por completo antes de tiempo y cubre esos gastos, la tarjeta no le deja hacer más gastos hasta el siguiente periodo de facturación.
El problema no solo es Apple, sino la confianza ciega de los empleados -e incluso de muchos de los que respondían en Twitter- en un algoritmo creado para determinar a quién se le concede la tarjeta, a quién no, y con cuánto crédito contarán esas personas a las que se les concede.
Los propios empleados del servicio de atención al cliente de Apple no lograron resolver el problema, a pesar de responder rápidamente al problema y ser amables con la queja: no daban respuesta, y cuando lo hicieron -debido a la presión mediática- acabaron dejando el crédito de su mujer como el de él sin más. Cuando se pusieron en contacto de nuevo con el servicio técnico para tratar de averiguar qué había pasado, los empleados respondieron que no sabían que había pasado "pero le juro que no estamos discriminando, es el algoritmo, simplemente".
EL ALGORITMO
Esa explicación fue lo que más enfureció a Heinemeier, que se mostraba frustrado porque "nadie entiende EL ALGORITMO. Nadie tiene la capacidad de examinar o chequear EL ALGORITMO. Y a pesar de ello, toda la gente con la que he hablado tanto en Apple como en Goldman Sachs están TAN SEGUROS que EL ALGORITMO no está sesgado ni discrimina en forma alguna. Eso es lo que yo llamaría un buen manejo de la disonancia cognitiva".
So nobody understands THE ALGORITHM. Nobody has the power to examine or check THE ALGORITHM. Yet everyone we’ve talked to from both Apple and GS are SO SURE that THE ALGORITHM isn’t biased and discriminating in any way. That’s some grade-A management of cognitive dissonance.
— DHH (@dhh) 8 de noviembre de 2019
Esa fe ciega en el algoritmo por parte de los representantes de Apple y de los usuarios es lo realmente preligroso para el CEO de Basecamp, que añadía que "también es una mierda que eligieran incrementar el límite de mi esposa sin tratar de ir nunca a la raíz del problema. Vamos, esencialmente, a sobornar a un bocazas en Twitter, y así no tendremos que examinar nuestra fe defectuosa en EL ALGORITMO".
Heinemeier incluso se gastó 50 dólares para que él y su mujer supieran exactamente cuál era su puntuación de crédito, una medida de la confianza que las entidades bancarias y de crédito tienen en esa persona en general. Con ella, por ejemplo, se establece la probabilidad esperada de que esa persona pagará sus facturas.
Just read this thread. My wife has a way better score than me, almost 850, has a higher salary and was given a credit limit 1/3 of mine. We had joked that maybe Apple is just sexist. Seems like it’s not a joke. Beyond f’ed up.
— Carmine Granucci (@whoiscarmine) 9 de noviembre de 2019
Este tipo de puntuaciones se usan en diversos países europeos y son especialmente comunes en Estados Unidos, donde por ejemplo entidades como la tristemente célebre Equifax -afectado por el que se considera como el mayor robo de datos personales de la historia- gestiona esa información crítica.
Pues bien: la esposa de Heinemeier tenía aún más puntuación que él, algo que se repetía en otros casos de gente que le respondía en Twitter con situaciones similares.
The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.
— Steve Wozniak (@stevewoz) 10 de noviembre de 2019
Hasta el propio Steve Wozniak, cofundador de Apple, afirmaba que le había pasado lo mismo con su mujer. Él obtuvo 10 veces el crédito que había recibido su mujer aun cuando no tenían cuentas o activos separados. "A pesar de ello es difícil contactar con alguien humano para corregirlo. Gran tecnología en 2019".
Goldman Sachs tiran balones fuera, Apple no se pronuncia
La crítica de Heinemeier es en realidad un ejemplo de cómo nuestro mundo probablemente ha depositado demasiada confianza en unos algoritmos que pueden estar muy lejos de ser perfectos o justos.
We wanted to address some recent questions regarding the #AppleCard credit decision process. pic.twitter.com/TNZJTUZv36
— GS Bank Support (@gsbanksupport) 11 de noviembre de 2019
De hecho, apuntaba este desarrollador y emprendedor de éxito, todo esto nos lleva a una reflexión clara que parece demostrar según él que equipos en los que la diversidad (por ejemplo de raza, sexo o credo) es amplia permiten "crear mejores productos". Afirmaba que "me sorprendería enterarme de que el equipo de Apple que trabaja en esto no está sobrerrepresentado por hombres, o al menos por mujeres que no han tenido que preocuparse por la aprobación de ese crédito. Es fácil mantener el status quo cuando todo fluye para ti".
La polémica generada por los tuits de DHH ha provocado una fría respuesta por parte de Goldman Sachs, cuyo departamento de soporte ha publicado un mensaje en Twitter en el que afirman que "no tomamos ni tomaremos decisiones basadas en factores como el sexo". Según este banco, cada solicitud toma en cuenta factores como la puntuación de crédito, cuánta deuda tiene la persona y cómo se ha gestionado esa deuda.
Según Bloomberg la tarjeta de crédito de Apple está totalmente gestionada por Goldman Sachs, "que es responsable de todas las decisiones de crédito de la tarjeta". Las entidades de crédito cada vez ceden más el control de esas decisiones a máquinas y algoritmos "como parte de una estrategia para reducir costes e impulsar las solicitudes de préstamos".
El comentario de Goldman Sachs no ha detenido a los reguladores de Wall Street, que están iniciando una investigación sobre las prácticas de esta entidad de crédito. Como indican en Bloomberg, esta decisión se produce poco después de que esa misma entidad reguladora iniciase una investigación de UnitedHealth Group Inc. tras descubrirse que su algoritmo favorecía a pacientes de raza blanca frente a los de raza negra a la hora de conceder seguros sanitarios. No es, ni de lejos, la primera vez que pasa algo así.
Apple no se ha pronunciado aún sobre la cuestión, algo que el propio Heineman ha criticado. En Xataka nos hemos puesto en contacto con sus responsables pero aún no hemos recibido respuesta. Si lo hacemos actualizaremos esta información con esos datos.
Ver 50 comentarios
50 comentarios
kal1973
Respuesta de Apple: La estáis usando mal.
Caboorrrl!!
O no lo he leído bien o este articulo apesta a sensacionalismo que tira para atrás. Está bastante mal escrito y ni se distingue entre tanta negrita, uso de las mayúsculas y citas muy mal traducidas (y usadas).
Este artículo es "jodidamente" difícil de leer.
macuesto
Y cómo es que en Applesfera no hacen referencia, a ésta hora, sobre ésta noticia?
Cualquiera sabe, igual por que están traduciendo la susodicha y aún no ha terminado, o si lo han entendido bien y resulta perjudical para Apple... ojos que no ven.....
elfrikiencasa
Vamos a ver...
Si esta misma diferencia se da entre dos hombres o entre dos mujeres , no se habría armado tanto revuelo. Lo achacarían a un fallo del algoritmo.
Pero... amigo mío, cuando la diferencia se da con una mujer... con la iglesia hemos topado. Ya es un problema de machismo, sexismo, etc.....
En fin... como siempre. Todo lo que sea un percance con una mujer.... es intolerable....
miguel.amandi
Si es un algoritmo basado en reglas tiene arreglo, si es un algoritmo entrenado no tiene solución, es lo que el algoritmo aprende de los datos que obtiene.
Personalmente no creo que en el código halla un si mujer entonces tu limite es.... lo único que pueden excluir de la dimensión de entradas el genero, pero el algoritmo aprenderá a diferenciar quien es quien en cada caso(y si en sus parametros entra dar tanto credito en función de tal o cual cosa, por ejemplo movimientos de tarjeta, pues lo hará), del mismo modo que pueden saber si una persona espera un hijo por su historial de compras(que se hace y se estudia como proponer productos a las embarazadas sin destapar que sabes de su estado) y lo mismo que con embarazadas con enfermos y con otras condiciones delicadas que igual preferiríamos que no se supiera.
A lo que voy es que el algoritmo no tiene complejos. La culpa no es del algortimo sino con los parametros que se mueve y aunque trampeen los datos de entrenamiento, acabara volviendo al punto en que maximice esos parámetros y eso no lo establece un informático sino un directivo.
A no ser claro que sea un algoritmo de los 90 y tenga la regla si mujer entonces.... pero eso es improbable, por que a dia de hoy es ineficiente y por que los departamentos de compliance de Apple hubieran saltado antes de salir a prodcción
aprepalemesoceno
Son solo tres casos entre cientos de miles de personas, si no millones, que han recibido la tarjeta. Será necesario tener información agregada para ver si efectivamente discrimina en función de sexo a igualdad de ingresos/activos. Quizás simplemente esas tres mujeres tenían alguna pauta de pagos que resultó sospechosa por algún patrón del algoritmo. Quizás son más jóvenes o más viejas o viajan más o menos. Sería raro que el algoritmo discrimine explícitamente por género y aún más raro que las mujeres lleven pautas de mayor riesgo financiero que los hombres a igualdad de ingresos.
ae123
Menuda basura el uso de ML en sistemas financieros.
Se ve que no está funcionando en campo igualado. Goldman Sachs tiene la culpa, pero también Apple al dar ese tipo de aprobaciones para usar esa clase de algoritmos.
ML no parece aportar los dichosos beneficios que algunos esperaban.
Usuario desactivado
Sin justificar a Apple ni negar el sexismo, y desconociendo el contenido de EL ALGORITMO, soy consciente de que, por mucho que nos duela admitirlo, los datos no mienten. Si un grupo de personas recibe una penalización será por alguna razón estadística. No creo que ninguna empresa quiera voluntariamente ponerse la etiqueta de sexista, racista o cualquier otra *ista.
vacez
Vamos a ver, puede que ese algoritmo esté mal implementado o mal diseñado; pero no deja de ser un puñado de directrices y variables que interactúan entre sí de manera lógica; por lo que sus decisiones deberían de ser imparciales.
El algoritmo no te odia, no ejerce juicios de valor, simplemente toma como correctas las premisas iniciales que se le dan y actua en consecuencia; y por eso mismo toma decisiones sin tener en cuenta muchas cosas, como a los ofendiditos de las redes sociales por poner un ejemplo.
Si un algoritmo da resultados que se alejan demasiado del pensamiento lógico de sus contrapartidas humanas o de la realidad, pues es evidente que hay que revisarlo para asegurarse de que no hay sesgo en sus premisas iniciales ni en los datos de entrada que toma.
Si una vez revisado y comprobado, sigue dando resultados similares; a lo mejor los que tendríamos que revisar nuestras premisas somos nosotros.
Y digo eso porque nuestra supuesta imparcialidad tiene montones de sesgos socioculturales aceptados pero que no son lógicos; por ejemplo, si una persona le da una bofetada a otra, le damos distinta importancia dependiendo del sexo del agresor y del agredido, cuando una bofetada es una bofetada.
Estamos en plena época del big data, tenemos nuestra vida almacenada en servidores, y para colmo no sabemos a que datos acceden esos algoritmos; ¿Quien sabe? a lo mejor ese algoritmo tuvo acceso a toda la vida de la pareja y dedujo que era muy posible que acabasen divorciados y teniendo eso en cuenta decidió dar más crédito al conyuge que más dinero aportaba a la relación.
Lo que no podemos hacer es crear un algoritmo que tiene en cuenta muchísimos más datos y variables de los que podría tener cualquier humano, que además no sigue los convencionalismos sociales ni los sesgos socioculturales y despues llevarnos las manos a la cabeza cuando sus cálculos arrojan respuestas que serían completamente inapropiadas para un humano.
miguel.amandi
Hay una premisa falsa, yo y mi compañera compartimos gastos pero nuestra economía no es ni parecida. Ella trabaja en otra empresa en otro sector con otras condiciones. Yo vería normal que obtuviera resultados diferentes.
Es que no es de cajón que obtenga el mismo resultado y en un mundo de divorcios express pues francamente es irrisorio pretender que salga lo mismo.
Y pretender que alguien te explique un algoritmo complejo, pues vete a la universidad, darle crédito a ese señor es un poco tonto, la verdad.
Siguiendo con el tema, que pretende que le pongan con el departamento de ingeniería del software de apple por teléfono? Que pretencioso, la verdad. Además de incendiario y además de ridículo.
Aunque hay una cosa muy cierta, la comunicación de Apple ha sido deficiente. Deberían preveer que alguien preguntaría por que le deniegan o conceden el prestamo y tener una respuesta preparada.
servs
Se llama Análisis de Riesgo y no sólo lo usa Apple, sino cualquier entidad que pretenda ofrecer créditos o seguros.
Es probable que el CEO de Basecamp haya obtenido un límite de crédito mayor porque su ingreso económico es mayor. Esto independientemente de si la cuenta bancaria es mancomunada.
Delpy
Está claro que por fin alguien ha pensado en una tarjeta para los Alfa, ellas deben ser atadas en corto que no saben de dinero.
Que grande eres apple!
xD:::
Usuario desactivado
Me parece un error de Apple pero confió que siendo una empresa tan inclusiva lo solucione rápidamente, no es necesario ser tan derrotista.
myboo9632
Pero hay que estar casado para que les otorguen dicho crédito
rennoib.tg
Yo tengo una duda, ¿es posible que ese algoritmo use información dotada por el propio móvil de esa persona y en función de la forma de uso determine la fiabilidad de la persona? Esto podría explicarlo, ya que con el uso del móvil se podría reducir bien el riesgo en una persona.
miguel.amandi
Lol, lo triste es que carguen contra el equipo de trabajo.... como si quien implementa el desarrollo tuviera que ver con las decisiones que se toman en su diseño a un nivel mas allá del técnico.
Ktdn25
Tan difícil es probar que es sexista, mete los mismos datos diciendo que es hombre y repetimos pero con mujer, y a comparar sea dicho
elindividuo
Seguramente la mujer no tien los mismos hábitos de copra, no hace tantos movimientos bancarios, créditos, números de cuotas, pagos dirigidos, años de relaciones bancarias etc etc que su pareja
miguelangelnt
Tres casos?
En serio?
Ese es un sesgo mucho mayor al que le quieren achacar al algoritmo.
rafaello76
No le dan más crédito porque es mujer o porque su situación personal/profesional es diferente a la del marido?
No hay casos en los que el hombre cobra menos que su mujer?
Si no hubiera casos en que el hombre tiene menos crédito que su mujer, entendería el artículo.
sarlacc
Y que put. Idea tiene apple de tarjetas de credito y su funcionamiento? si es el gigante Goldman Sachs quen simplemente esta prestando los servicios y apple solo pone el logo y tratandose de dinero pues como no intentarlo, es un gane asegurado para ambos. Esto es como decir que la cientifica Jennifer Lopez creo una formula quimica para una fragancia que llevara su nombre o que el Ingeniero en electronica Dr Dre creo unos audifonos, hasta cuando la gente dejara de ser tan simplona e ignorante, ( para los que se quejan de las tildes y probablemente les de un derrame por el de atras pues lo siento ya que uso teclado gringo).
perajtomerya
El es CEO de una empresa, ella no se menciona que es, pueden tener todo a nombre de los 2, pero si el es CEO y ella no, pues el algoritmo verá que la nómina de el es escandalosamente más alta, ergo su limite de crédito será mayor, aunque la hucha sea común.
No hay discriminación sexual por ningún lado.
Seguro que Lisa Su CEO de AMD tiene un límite de crédito mayor que su marido.
bocajarro
Exactamente la queja cual es? que piensan que en el algoritmo se ha puesto:
"Si es mujer, credito/10"
Vamos, fijo que no. Se acabara descubriendo que la mujer quebro una empresa, o dejo sin pagar el creduito de vete a saber que. Joder con los llorones de tuiter...