introduction
Miriam n'avait que 21 ans lorsqu'elle a rencontré Nick. Elle était photographe, récemment diplômée de l'université et servait des tables. Il avait 16 ans son aîné et possédait une entreprise en finance. Il était charmant et charismatique; l'a emmenée à des dates fantaisistes et a tout payé. Elle tomba rapidement sous son influence.
Tout a commencé avec une seule carte de crédit. Elle était la seule avec Miriam à ce moment-là. Nick a augmenté sa dette avec des achats commerciaux de 5 000 $ et a payé rapidement le lendemain. Miriam, qui m'a demandé de ne pas révéler leurs vrais noms de peur d'interférer avec la procédure de divorce, a trouvé que le truc de Nick augmentait sa cote de crédit. Ayant grandi avec un père célibataire dans une famille à faible revenu, elle faisait plus confiance au savoir-faire de Nick qu'à elle-même. Nick l'a volontiers soutenue, disant qu'elle ne comprenait pas la finance. Elle a ouvert plusieurs autres cartes de crédit pour lui en son propre nom.
Le problème a commencé trois ans plus tard. Nick a demandé à Miriam de quitter son emploi pour l'aider dans l'entreprise, ce qu'elle a fait. Nick lui a dit d'aller à l'école supérieure et de ne pas s'inquiéter qu'elle aggrave sa dette étudiante existante. Miriam obéit à nouveau à Nick. Il a promis de s'occuper de tout, et elle le croyait. Peu de temps après, Nick a cessé de payer les factures de carte de crédit. Le récit de Miriam a commencé à s'estomper.
Et pourtant, Miriam est restée avec Nick. Ils se sont mariés et ont eu trois enfants. Et puis un jour, des agents du FBI ont fait une descente chez eux et ont arrêté Nick. Un juge fédéral a déclaré Nick coupable de près de 250 000 $ de fraude. Miriam a découvert le montant de la dette en dizaines de milliers de dollars, que Nick a émis en son nom. «Le jour où il est allé en prison, j'avais 250 $ en espèces, une maison et une voiture sous caution et trois enfants», raconte Miriam. «En un mois, je suis passée de la possibilité d'engager une nounou, de vivre dans une belle maison et tout ce genre de vraie pauvreté.
Miriam a vécu ce qu'elle a appelé la «dette forcée», une forme de violence généralement commise par un partenaire proche ou un membre de la famille. Les abus économiques sont un problème de longue date: la banque numérique a facilité l'ouverture de comptes et le prêt au nom de la victime, déclare Carla Sanchez-Adams, avocate à l'aide juridique au Texas RioGrande. À l'ère des algorithmes automatisés de notation de crédit, les conséquences peuvent être beaucoup plus dévastatrices.
Les scores de crédit ont été utilisés pour évaluer la solvabilité des consommateurs pendant des décennies, mais maintenant que le calcul est basé sur des algorithmes, ils importent beaucoup plus: ils représentent non seulement beaucoup plus de données, à la fois en termes de volume et de type, mais ils influent de plus en plus sur la possibilité de le faire. acheter une voiture, louer un appartement ou obtenir un emploi permanent. Leur impact omniprésent signifie que si vous avez un mauvais crédit, il est presque impossible de récupérer. Pire encore, les algorithmes appartiennent à des entreprises privées qui ne divulguent pas comment ces algorithmes arrivent à leurs solutions. Les victimes peuvent descendre une échelle sociale qui finit parfois par perdre leur maison ou retourner auprès de leur agresseur.
Les algorithmes de notation du crédit ne sont pas les seuls à affecter le bien-être économique des personnes et leur accès aux services de base. Les algorithmes décident désormais quels enfants se retrouvent en famille d'accueil, quels patients reçoivent des soins médicaux, quelles familles ont accès à un logement stable. Ceux d’entre nous qui en ont les moyens peuvent vivre leur vie sans en avoir conscience. Mais pour les personnes à faible revenu, la croissance rapide et l'introduction de systèmes de prise de décision automatisés ont créé un réseau caché de pièges interconnectés.
Heureusement, de plus en plus d'avocats civils s'organisent autour de cette question. Ayant emprunté un manuel sur la lutte contre les algorithmes d'évaluation des risques dans le monde criminel, ils s'efforcent d'étudier ces systèmes, de créer une communauté et de développer des stratégies de comportement en contentieux. «Fondamentalement, chaque avocat civil commence à traiter ce matériel parce que tous nos clients sont en quelque sorte affectés par ces systèmes», explique Michelle Gilman, professeur de droit clinique à l'Université de Baltimore. - Nous devons nous réveiller et apprendre. Si nous voulons être de très bons avocats holistiques, nous devons être conscients de ce qui se passe. "
"Vais-je contre-examiner l'algorithme?"
Gilman pratique le droit à Baltimore depuis 20 ans. Son travail en tant que défenseure civile et anti-pauvreté s'est toujours résumée à la même chose: elle a représenté des personnes qui ont perdu l'accès aux besoins de base tels que le logement, la nourriture, l'éducation, le travail ou les soins de santé. Parfois, ce genre de travail implique des affrontements avec une agence gouvernementale. Dans d'autres cas, il s'agit de l'agence d'évaluation du crédit ou du propriétaire. De plus en plus, la lutte pour le droit du client affecte l'un ou l'autre algorithme.
«Avec nos clients, cela se fait progressivement», dit-elle. «Ils sont liés à de nombreux algorithmes différents qui empêchent l'utilisation des services de base. Et les clients peuvent ne pas en être conscients car bon nombre de ces systèmes sont invisibles. "
Pour les personnes à faible revenu, une difficulté économique temporaire peut conduire à un cercle vicieux qui se termine parfois par la faillite ou l'itinérance.
Gilman ne se souvient pas exactement quand elle a réalisé que certaines décisions d'acceptabilité sont prises par des algorithmes. Mais lorsque cette transition ne faisait que commencer, elle était rarement évidente. À une occasion, Gilman a représenté une cliente âgée handicapée qui était inexplicablement coupée de ses soins à domicile parrainés. «Nous ne pouvions pas comprendre pourquoi», se souvient-elle. Elle empirait et généralement, si vous empirez, vous obtenez plus d'heures, pas moins. "
Ce n'est que lorsque Gilman et son client se sont tenus dans la salle d'audience au milieu de l'audience qu'un témoin représentant l'État a rapporté que le gouvernement venait de mettre en place un nouvel algorithme. Le témoin, l'infirmière, ne pouvait rien expliquer.
"Bien sûr que non - ils l'ont acheté dans le commerce [à propos du produit en vrac à ne pas commander]", a déclaré Gilman. «C'est une infirmière, pas une informaticienne. Elle n'a pas pu répondre aux facteurs qui influencent le comportement du système. Comment sont-ils pesés? Quels sont les résultats attendus? " J'étais donc avec mon avocat étudiant qui était dans ma clinique juridique avec moi et il m'a demandé quelque chose comme: "Oh, est-ce que je vais contre-interroger l'algorithme?"
Pour Kevin De Liban, avocat au cabinet d'avocats Arkansas Legal Aid, le changement était tout aussi perfide. En 2014, son État a également introduit un nouveau système de distribution de soins de santé à domicile financés, coupant un certain nombre de personnes qui étaient auparavant éligibles à ces soins. À l'époque, lui et ses collègues étaient incapables de déterminer la cause profonde de ce seuil. Ils savaient seulement que quelque chose avait changé. «On pouvait comprendre qu'il y avait un changement dans les systèmes de notation d'un questionnaire papier avec 20 questions à un questionnaire électronique avec 283 questions», admet-il.
Seulement deux ans plus tard, lorsqu'une erreur dans l'algorithme a de nouveau conduit à une action en justice, De Liban est finalement entré dans le vif du sujet. Il s'est rendu compte que les infirmières disaient aux patients: "Eh bien, c'est l'ordinateur qui l'a fait - ce n'est pas moi."
«C'est ce qui nous a alertés», dit-il. «Si je savais ce que je savais en 2016, je protégerais probablement mieux le client en 2014», ajoute De Liban.
Une personne passe par de nombreux systèmes chaque jour
Depuis, Gilman a acquis une grande expérience. Représentant des clients avec une gamme de problèmes, elle a observé l'émergence et la collision de deux réseaux algorithmiques. Le premier réseau se compose d'algorithmes d'évaluation du crédit, tels que ceux piégés par Miriam, qui affectent l'accès aux biens et services privés tels que les voitures, les maisons et les emplois. Le deuxième réseau contient des algorithmes adoptés par les agences gouvernementales qui influencent l'accès aux biens publics tels que les soins de santé, le chômage et les services de soutien aux enfants.
En matière de reporting crédit, la croissance des algorithmes est tirée par la prolifération de données plus faciles que jamais à collecter et à diffuser. Les rapports de crédit ne sont pas nouveaux, mais leur impact est beaucoup plus étendu ces jours-ci. Les agences d'évaluation des consommateurs, y compris les bureaux de crédit, les sociétés de vérification des locataires, etc., collectent ces informations à partir d'une grande variété de sources: archives publiques, médias sociaux, navigation Web, services bancaires, utilisation des applications, etc. Les algorithmes attribuent ensuite aux gens des scores de «dignité», qui contribuent grandement à la vérification des antécédents effectuée par les prêteurs, les employeurs, les propriétaires et même les écoles.
Les agences gouvernementales, en revanche, sont obligées d'adopter des algorithmes lorsqu'elles souhaitent mettre à niveau leurs systèmes. L'adoption des applications Web et des outils numériques a commencé au début des années 2000 et s'est poursuivie avec le passage à des systèmes automatisés plus axés sur les données et à l'intelligence artificielle. Il y a de bonnes raisons de lutter pour un tel changement. Pendant la pandémie, de nombreux systèmes de prestations de chômage ont eu du mal à faire face au volume considérable de nouvelles demandes, ce qui a entraîné des retards importants. La mise à niveau de ces anciens systèmes promet des résultats plus rapides et plus fiables.
Mais le processus d'achat de logiciels est rarement transparent et il n'y a donc pas de responsabilité. Les agences gouvernementales achètent souvent des outils de prise de décision automatisés directement auprès de fournisseurs privés. En conséquence, lorsque les systèmes tournent mal, les personnes concernées et leurs avocats sont laissés dans l'ignorance. «Ils ne mettent en garde à ce sujet nulle part», se plaint Julia Simon-Michel, avocate du cabinet d'avocats Philadelphia Legal Assistance. «Ceci est rarement écrit dans les manuels ou dans l'aide. Nous sommes désavantagés. "
Le manque de contrôle public rend également les algorithmes plus sujets aux erreurs. L'un des problèmes les plus graves s'est produit au Michigan en 2013. Après de nombreux efforts pour automatiser le système national d'indemnisation du chômage, l'algorithmea mal étiqueté plus de 34 000 personnes en tant qu'escrocs . «Cela a entraîné une énorme perte d'avantages», dit Simon-Michel. - Il y a eu des faillites, il y a eu malheureusement des suicides. C'était un désordre complet. "
Gilman craint que les dettes et les expulsions liées au coronavirus soient codifiées dans les cotes de crédit, ce qui rendra à jamais difficile pour les gens d'obtenir des emplois, des appartements et des prêts.
Les personnes à faible revenu sont les principales victimes de la transition vers les algorithmes. Ce sont les personnes les plus vulnérables aux difficultés économiques temporaires qui sont codifiées dans les rapports des consommateurs, et celles qui ont besoin et recherchent des avantages. Au fil des ans, Gilman a vu de plus en plus de cas où les clients risquent d'entrer dans un cercle vicieux. «Une personne passe par de nombreux systèmes chaque jour», dit-elle. - Je veux dire que ça arrive à tout le monde. Mais les conséquences sont bien pires pour les pauvres et les minorités. »
Elle cite un cas en cours dans sa clinique juridique à titre d'exemple. Un membre de la famille a perdu son emploi en raison de la pandémie et a été privé de prestations de chômage en raison d'une défaillance du système automatisé. La famille a alors cessé de payer leur loyer, ce qui a conduit leur propriétaire à les poursuivre pour expulsion. Bien que l'expulsion ne soit pas légale en raison d'un moratoire sur le contrôle et la prévention des maladies, la réclamation sera toujours enregistrée publiquement. Ces enregistrements peuvent ensuite être utilisés dans les algorithmes de sélection des locataires, ce qui peut rendre difficile pour une famille de trouver un logement stable à l'avenir. Leur incapacité à payer leur loyer et leurs services publics peut également porter atteinte à leurs cotes de crédit, avec à nouveau des conséquences. «Si les gens essaient d'utiliser un téléphone portable ou de contracter un prêt, d'acheter une voiture ou de postuler à un emploi, ces effets d'entraînement en cascade se produiront», dit Gilman.
Chaque situation humaine se transformera en situation d'algorithme
En septembre, Gilman, qui travaille maintenant à l'Institute for Data and Society Research, a publié un rapport qui décrit tous les algorithmes auxquels les avocats spécialisés dans la pauvreté peuvent être confrontés. Rapport intitulé «Algorithmes de pauvreté» ( Poverty Lawgorithms ) et conçu comme un guide pour les avocats dans le domaine. Le rapport est divisé en domaines de pratique spécifiques tels que le droit de la consommation, le droit de la famille, le droit du logement et les biens publics. Le rapport explique comment relever les défis posés par les algorithmes et autres technologies basées sur les données dans le cadre de la législation existante.
Par exemple, si un client se voit refuser l'achat d'un appartement en raison d'une faible cote de crédit, le rapport recommande qu'un avocat vérifie d'abord si les données saisies dans le système de notation sont exactes. En vertu de la Fair Credit Reporting Act, les agences d'évaluation sont tenues de garantir l'exactitude de leurs informations, mais ce n'est pas toujours le cas. La contestation de toute réclamation erronée peut aider à restaurer le crédit du client et donc l'accès au logement. Cependant, le rapport reconnaît que les lois existantes ne peuvent que contribuer à atteindre cet objectif. Il y a encore des lacunes réglementaires à combler, dit Gilman.
Gilman espère que le rapport servira de signal d'alarme. Beaucoup de ses collègues ne comprennent toujours pas ce qui se passe et sont incapables de poser les bonnes questions pour découvrir des algorithmes. Des personnes conscientes des problèmes sont dispersées à travers les États-Unis, étudiant le problème, se dirigeant vers le point problématique et combattant seuls les algorithmes. Gilman voit une opportunité de les réunir et de créer une communauté plus large de personnes qui peuvent s'entraider. «Nous devons tous en apprendre davantage et en savoir plus - non seulement en termes de droit, mais aussi en termes de systèmes eux-mêmes», déclare Gilman. En fin de compte, il semble que chaque situation humaine se transforme en situation d'algorithme. "
À plus long terme, Gilman cherche l'inspiration dans le monde de la justice pénale. Les criminalistes «ont travaillé en avance sur la courbe», dit-elle. Ils se sont organisés en communauté et ont combattu les algorithmes d'évaluation des risques définissant le jugement, retardant leur mise en œuvre. Gilman souhaite que les avocats civils fassent de même: créer un mouvement pour apporter plus de contrôle public et de réglementation au réseau caché d'algorithmes auxquels leurs clients sont confrontés. «Dans certains cas, le système devrait probablement simplement s'arrêter parce qu'il n'y a aucun moyen de le rendre équitable», dit-elle.
Quant à Miriam, après la condamnation de Nick, elle était partie pour toujours. Miriam et ses enfants ont déménagé dans le nouvel État et ont contacté une organisation à but non lucratif qui soutient les survivants de l'endettement forcé et de la violence domestique. Avec l'aide de l'organisation, Miriam a suivi plusieurs cours pour lui apprendre à gérer ses finances. L'organisation a aidé Miriam à fermer de nombreuses dettes forcées et à en apprendre davantage sur les algorithmes de crédit. Lorsqu'elle est allée acheter une voiture avec l'aide de son père, devenu sponsor, sa cote de crédit a à peine atteint le minimum requis. Depuis lors, ses paiements de voiture constants et sa dette étudiante augmentent régulièrement sa cote de crédit.
Miriam doit encore être à l'affût. Nick a son numéro de sécurité sociale et ils n'ont pas encore divorcé. Elle craint constamment que Nick ouvre d'autres comptes et contracte de nouveaux prêts en son nom. Pendant un certain temps, elle a vérifié quotidiennement son relevé de carte de crédit à la recherche de fraude. Mais maintenant, elle regarde vers l'avenir. Le père de Miriam, qui a la soixantaine, veut prendre sa retraite et déménager. Les deux se concentrent désormais sur la préparation de l'achat d'une maison. "Je suis très excité à ce sujet. Mon objectif est de les porter à 700 d'ici la fin de l'année », dit-elle à propos de ses cotes de crédit,« et je serai certainement prête à acheter une maison. » «Je n'ai jamais vécu dans ma propre maison», ajoute-t-elle. "Mon père et moi travaillons ensemble pour économiser de l'argent sur notre propre maison."
N'oubliez pas le code promo HABR , qui ajoute 10% à la réduction sur la bannière.
E
- Développeur frontal
- Profession développeur Web
- Cours Python pour le développement Web
- Cours avancé "Machine Learning Pro + Deep Learning"
- Cours d'apprentissage automatique
- Cours "Mathématiques et apprentissage automatique pour la science des données"
- Profession hacker éthique
- Développeur de jeux Unity
- Cours JavaScript
- Profession de développeur Java
- C++
- DevOps
- iOS-
- Android-