Cuando Apple presentó tu propia tarjeta de crédito, la Apple Card, en colaboración con Goldman Sachs, aquello parecía un primer pero contundente paso de la empresa en el ámbito financiero. El producto, como suele suceder en Apple, generó una gran expectación.
Ahora la polémica rodea a dicha tarjeta: David Heinemeier Hansson (@DHH), un influyente desarrollador -creó Ruby on Rails y es CEO de Basecamp- ha criticado duramente a Apple por concederle la Apple Card a él y a su mujer, pero haciendo que ella tenga 20 veces menos crédito que él aun estando ambos en la misma situación. Acusa a Apple de no tomar cartas en el asunto y sobre todo ha reimpulsado el debate sobre esos oscuros algoritmos propietarios que creemos que son perfectos y omnipotentes, que controlan nuestras vidas y que pueden ser subjetivos y tener prejuicios. En este caso, afirma DHH, el algoritmo es "jodidamente sexista".
Algoritmos sexistas
Los mensajes de Heinemeier Hansson en Twitter la semana pasada mostraban una situación paradójica: están casados desde hace años en régimen de gananciales, declaran a la Hacienda estadounidense de forma conjunta y de hecho su mujer es la que es estadounidense: él es danés y consiguió el visado de residencia hace años.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) 7 de noviembre de 2019
A pesar de todo eso, confesaba, "el algoritmo de caja negra de Apple cree que yo merezco 20 veces el límite de crédito que ella". La crítica era dura y contundente, y destacaba que incluso cuando ella paga ese límite por completo antes de tiempo y cubre esos gastos, la tarjeta no le deja hacer más gastos hasta el siguiente periodo de facturación.
El problema no solo es Apple, sino la confianza ciega de los empleados -e incluso de muchos de los que respondían en Twitter- en un algoritmo creado para determinar a quién se le concede la tarjeta, a quién no, y con cuánto crédito contarán esas personas a las que se les concede.
Los propios empleados del servicio de atención al cliente de Apple no lograron resolver el problema, a pesar de responder rápidamente al problema y ser amables con la queja: no daban respuesta, y cuando lo hicieron -debido a la presión mediática- acabaron dejando el crédito de su mujer como el de él sin más. Cuando se pusieron en contacto de nuevo con el servicio técnico para tratar de averiguar qué había pasado, los empleados respondieron que no sabían que había pasado "pero le juro que no estamos discriminando, es el algoritmo, simplemente".
EL ALGORITMO
Esa explicación fue lo que más enfureció a Heinemeier, que se mostraba frustrado porque "nadie entiende EL ALGORITMO. Nadie tiene la capacidad de examinar o chequear EL ALGORITMO. Y a pesar de ello, toda la gente con la que he hablado tanto en Apple como en Goldman Sachs están TAN SEGUROS que EL ALGORITMO no está sesgado ni discrimina en forma alguna. Eso es lo que yo llamaría un buen manejo de la disonancia cognitiva".
So nobody understands THE ALGORITHM. Nobody has the power to examine or check THE ALGORITHM. Yet everyone we’ve talked to from both Apple and GS are SO SURE that THE ALGORITHM isn’t biased and discriminating in any way. That’s some grade-A management of cognitive dissonance.
— DHH (@dhh) 8 de noviembre de 2019
Esa fe ciega en el algoritmo por parte de los representantes de Apple y de los usuarios es lo realmente preligroso para el CEO de Basecamp, que añadía que "también es una mierda que eligieran incrementar el límite de mi esposa sin tratar de ir nunca a la raíz del problema. Vamos, esencialmente, a sobornar a un bocazas en Twitter, y así no tendremos que examinar nuestra fe defectuosa en EL ALGORITMO".
Heinemeier incluso se gastó 50 dólares para que él y su mujer supieran exactamente cuál era su puntuación de crédito, una medida de la confianza que las entidades bancarias y de crédito tienen en esa persona en general. Con ella, por ejemplo, se establece la probabilidad esperada de que esa persona pagará sus facturas.
Just read this thread. My wife has a way better score than me, almost 850, has a higher salary and was given a credit limit 1/3 of mine. We had joked that maybe Apple is just sexist. Seems like it’s not a joke. Beyond f’ed up.
— Carmine Granucci (@whoiscarmine) 9 de noviembre de 2019
Este tipo de puntuaciones se usan en diversos países europeos y son especialmente comunes en Estados Unidos, donde por ejemplo entidades como la tristemente célebre Equifax -afectado por el que se considera como el mayor robo de datos personales de la historia- gestiona esa información crítica.
Pues bien: la esposa de Heinemeier tenía aún más puntuación que él, algo que se repetía en otros casos de gente que le respondía en Twitter con situaciones similares.
The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.
— Steve Wozniak (@stevewoz) 10 de noviembre de 2019
Hasta el propio Steve Wozniak, cofundador de Apple, afirmaba que le había pasado lo mismo con su mujer. Él obtuvo 10 veces el crédito que había recibido su mujer aun cuando no tenían cuentas o activos separados. "A pesar de ello es difícil contactar con alguien humano para corregirlo. Gran tecnología en 2019".
Goldman Sachs tiran balones fuera, Apple no se pronuncia
La crítica de Heinemeier es en realidad un ejemplo de cómo nuestro mundo probablemente ha depositado demasiada confianza en unos algoritmos que pueden estar muy lejos de ser perfectos o justos.
We wanted to address some recent questions regarding the #AppleCard credit decision process. pic.twitter.com/TNZJTUZv36
— GS Bank Support (@gsbanksupport) 11 de noviembre de 2019
De hecho, apuntaba este desarrollador y emprendedor de éxito, todo esto nos lleva a una reflexión clara que parece demostrar según él que equipos en los que la diversidad (por ejemplo de raza, sexo o credo) es amplia permiten "crear mejores productos". Afirmaba que "me sorprendería enterarme de que el equipo de Apple que trabaja en esto no está sobrerrepresentado por hombres, o al menos por mujeres que no han tenido que preocuparse por la aprobación de ese crédito. Es fácil mantener el status quo cuando todo fluye para ti".
La polémica generada por los tuits de DHH ha provocado una fría respuesta por parte de Goldman Sachs, cuyo departamento de soporte ha publicado un mensaje en Twitter en el que afirman que "no tomamos ni tomaremos decisiones basadas en factores como el sexo". Según este banco, cada solicitud toma en cuenta factores como la puntuación de crédito, cuánta deuda tiene la persona y cómo se ha gestionado esa deuda.
Según Bloomberg la tarjeta de crédito de Apple está totalmente gestionada por Goldman Sachs, "que es responsable de todas las decisiones de crédito de la tarjeta". Las entidades de crédito cada vez ceden más el control de esas decisiones a máquinas y algoritmos "como parte de una estrategia para reducir costes e impulsar las solicitudes de préstamos".
El comentario de Goldman Sachs no ha detenido a los reguladores de Wall Street, que están iniciando una investigación sobre las prácticas de esta entidad de crédito. Como indican en Bloomberg, esta decisión se produce poco después de que esa misma entidad reguladora iniciase una investigación de UnitedHealth Group Inc. tras descubrirse que su algoritmo favorecía a pacientes de raza blanca frente a los de raza negra a la hora de conceder seguros sanitarios. No es, ni de lejos, la primera vez que pasa algo así.
Apple no se ha pronunciado aún sobre la cuestión, algo que el propio Heineman ha criticado. En Xataka nos hemos puesto en contacto con sus responsables pero aún no hemos recibido respuesta. Si lo hacemos actualizaremos esta información con esos datos.
Ver 50 comentarios