La IA puntúa mal a una inquilina por error y ella paga las consecuencias: más de 400 personas aseguran haber sufrido lo mismo
Una empresa fue demandada y tuvo que pagar 2,3 millones de dólares.
Hay un número que Mary Louis no olvidará nunca, ya que marcó su destino en la búsqueda de un hogar: 324. Una puntuación calculada por el software SafeRent, una herramienta de selección de inquilinos basada en inteligencia artificial, selló su rechazo para alquilar un apartamento en un suburbio del este de Massachusetts.
Aunque Louis contaba con un historial de pagos puntuales de alquiler respaldado por su casero de 17 años, la puntuación de SafeRent, sin explicaciones ni opciones de apelación, dictaminó: "Recomendación de puntuación: RECHAZAR".
"Mary, lamentamos informarle que el servicio externo que utilizamos para evaluar a todos los posibles inquilinos ha rechazado su contrato de alquiler", decía el correo electrónico que recibió. "Desafortunadamente, la puntuación de alquiler de SafeRent del servicio fue inferior a la permitida según nuestros estándares de alquiler", añadía.
Como consecuencia, la mujer tuvo que alquilar un apartamento más caro. La gerencia no le asignó una puntuación algorítmica, pero descubrió que su experiencia con SafeRent no era única.
Una demanda por justicia
En 2022, más de 400 inquilinos en Massachusetts que utilizan vales de vivienda denunciaron que SafeRent denunciaron que el programa otorgaba sistemáticamente puntuaciones más bajas a minorías raciales, como personas negras o hispanas, que utilizan vales de vivienda en comparación con solicitantes blancos.
Estos inquilinos argumentaron que el software daba un peso indebido a factores como puntuaciones crediticias bajas o deudas no relacionadas con la vivienda, mientras ignoraba la garantía financiera que proporcionan los vales de la Sección 8.
La experiencia de Louis la llevó a encabezar una demanda colectiva contra SafeRent. Junto a Monica Douglas y otros demandantes, alegaron que el algoritmo de la empresa reforzaba patrones discriminatorios, violando la Ley de Equidad en la Vivienda.
Aunque SafeRent negó haber actuado fuera de la legalidad, finalmente acordó un pago de 2,3 millones de dólares y se comprometió a dejar de usar sistemas de puntuación para solicitantes que empleen vales de vivienda durante los próximos cinco años. Asimismo, cualquier nuevo sistema que desarrolle la empresa deberá ser validado por una organización independiente especializada en vivienda justa.
"Eliminar la determinación de aprobación o rechazo permite a los inquilinos demostrar que son excelentes candidatos", declaró Todd Kaplan, abogado de los demandantes. Esta decisión podría sentar un precedente para la regulación de la IA en la selección de inquilinos y en otros ámbitos donde estas tecnologías están siendo adoptadas.
