La quadrature du net alerte !

Il serait temps…
 
Petit à petit, la lumière se fait sur un système de surveillance de masse particulièrement pernicieux : L’utilisation par la CAF d’un algorithme de notation des allocataires visant à prédire quels allocataires seraient (in)dignes de confiance et doivent être contrôlés. Rien de nouveau chez les flics, en somme…
Déjà, chez la « CISA », à l’été 2016, je vous avais décrit le fonctionnement du logiciel « BBR » destiné à la prévention des attentats (cf. I-Cube (l'exilé): Laudato si… (0) (flibustier20260.blogspot.com)). L’idée était née au moment de l’attentat de Nice : J’avais été interpelé par la décision du Maire de Calvi (Balagne) d’annuler la soirée « feu d’artifice », officiellement « pour des raisons de sécurité », alors que le vent était calme…
Depuis, « BBR » a évolué et couvre pratiquement toute la planète, et nos polices usent de ses petits-frères et cousins et l’enrichissent avec les logiciels de reconnaissance faciale.
Ce qui n’est pas fondamentalement « prédictif » d’attentat ni même de délit ou de crime, mais ça rajoute au confort d’utilisation « en direct ».
 
La CAF reste une naine sur le sujet et utilise une technique qui n’est d’ailleurs pas nouvelle et qui est le quotidien, depuis des décennies, certes « à la main » avant d’être automatisée, de l’administration fiscale avec ses « bulletins de recoupement ».
Comment croyez-vous que votre déclaration de revenus arrive toute déjà préremplie au moment de la signer ?
Ils savent tout de tout de vous et vous n’avez plus qu’à signer.
 
Pour rappel, l’algorithme de la CAF est construit à partir de l’analyse des centaines de données qu’elle détient sur chaque allocataire, et comme en Chine « dictatoriale », assigne un « score de suspicion » à chaque allocataire.
Ce score, mis à jour chaque premier du mois, est compris entre zéro et un.
Plus il est proche de un, plus l’algorithme juge qu’une allocataire est suspecte : Un contrôle est déclenché lorsqu’il se rapproche de sa valeur maximale.
Les critiques potentielles portent tant sur la nature de cette « surveillance prédictive » aux accents dystopiques que sur le fait que l’algorithme cible hélas délibérément les plus précaires.
Ce qui reste un peu logique : Ce sont ceux-là qui, pour survivre, font preuve de plus de sagacité quant à l’offre disponible de subsides versés par la CAF.
Pour les autres, c’est moins crucial.
 
Mais face à la montée de la contestation, les dirigeants de la CAF se sont réfugiés à tort derrière l’opacité entourant l’algorithme pour minimiser tant cet état de fait que leur responsabilité dans l’établissement d’une politique de contrôle délibérément discriminatoire.
Un directeur de la CAF est allé jusqu’à avancer que « l’algorithme est neutre » et serait même « l’inverse d’une discrimination puisque nul ne peut expliquer pourquoi un dossier est ciblé ».
Ce qui n’est d’ailleurs pas totalement faux : Il n’y a pas de présomption de « discrimination à la gueule » de la part des agents de contrôle de la CAF (et URSSAF), c’est « la machine » qui fait…
 
En réalité, à la lecture du code source des deux modèles utilisés entre 2010 et 2018 confirme tout d’abord l’ampleur du système de surveillance de détection des allocataires « suspects » mis en place par la CAF : Ce n’est pas une surprise.
Situation familiale, professionnelle, financière, lieu de résidence, type et montants des prestations reçues, fréquence des connexions à l’espace web, délai depuis le dernier déplacement à l’accueil, nombre de mails échangés, délai depuis le dernier contrôle, nombre et types de déclarations : La liste de la quarantaine de paramètres pris en compte par l’algorithme révèle le degré d’intrusion de la surveillance à l’œuvre permise en croisant plusieurs bases de données, internes et externe à l’organisme.
Elle s’attache à la fois aux données déclarées par un allocataire, à celles liées à la gestion de son dossier et celles concernant ses interactions, au sens large, avec la CAF.
Chaque paramètre est enfin analysé selon un historique dont la durée est variable.
Visant tant les allocataires que leurs proches, elle porte sur les plus de 32 millions de personnes, dont 13 millions d’enfants, vivant dans un foyer bénéficiant d’une prestation de la CAF.
Personnellement, je ne savais pas qu’autant de citoyens vivants sur le territoire bénéficiaient des largesses de la CAF…
En revanche, j’avais fait le calcul que quand on « poursuit » les puces électroniques en activité dans le monde (pour les rattacher à des personnes physiques) on doit prévoir des milliers de péta-données si ce n’est pas des dizaines d’hexa-données (10 puissance 18, pour donner une idée de la grandeur… 18 zéros après le 1…).
C’est de la cotisation sociale payée exclusivement par les entreprises, hors les budgets de la puissance publique pour des missions régaliennes relevant en principe de la commune, du département, de la région, de l’État ou de l’Europe : Il y en a pour tous les goûts…
 
Quant à la question du ciblage des plus précaires, la publication du code source vient donner la preuve définitive du caractère discriminant des critères retenus. Ainsi, parmi les variables augmentant le « score de suspicion », on trouve notamment : Le fait de disposer de revenus faibles (logique), le fait d’être ou non au chômage, le fait d’être allocataire du RSA, le fait d’habiter dans un quartier « défavorisé », de consacrer une partie importante de ses revenus à son loyer, de ne pas avoir de travail ou de revenus stables, etc.
Logique.
Mais, comble du cynisme, l’algorithme vise délibérément les personnes en situation de handicap : Le fait de bénéficier de l’Allocation Adulte Handicapé (AAH) tout en travaillant est un des paramètres impactant le plus fortement, et à la hausse, le score d’un allocataire.
Pas mal l’idée, n’est-ce pas ?
 
Bien entendu, ces facteurs sont corrélés et ne peuvent être considérés indépendamment les uns des autres. Il est ainsi probable qu’une personne aux faibles revenus ait connu des périodes de chômage ou bénéficie de minima sociaux etc…
Les profils-types reconstitués par les « experts » de la « quadrature du net », pour tester le logiciel, correspondent tous à des foyers comprenant deux enfants à charge et sont censés correspondre à :
Une famille « aisée » aux revenus stables et élevés,
Une famille « modeste » dont les deux parents gagnent le SMIC,
Un parent isolé gagnant aussi le SMIC,
Une famille dont les deux parents sont bénéficiaires des minima sociaux,
Une famille dont un des parents est travailleur en situation de handicap : « Pour ce profil, nous simulons le score de la personne bénéficiant de l’AAH trimestrialisée. »
Et très logiquement les résultats sont éclairants : Les « scores de suspicion » des foyers les plus aisés sont bien plus faibles que ceux des foyers bénéficiant des minima sociaux ou de l’AAH trimestrialisée.
CQFD ou l’art d’enfoncer les portes ouvertes…
 
Ils observent également le ciblage des familles monoparentales, dont 80 % sont des femmes. Les simulations indiquent que ce ciblage se fait indirectement – la CAF ayant peut-être jugé que l’inclusion d’une variable « mère célibataire » était trop risquée politiquement – en intégrant des variables comme le revenu total du foyer et le nombre de mois en activité cumulés sur un an des responsables du foyer, dont la nature vient mécaniquement défavoriser les foyers ne comprenant pas deux parents.
Tout cela est parfaitement réglé.
Et, qui plus est, légal.
 
Là où le bât-blesse, c’est qu’il y a quelques mois, la CAF cherchait à minimiser la stigmatisation des plus précaires engendrée par son algorithme en expliquant que « les scores de risques les plus élevés » ne concernent pas « toujours les personnes les plus pauvres » car « le score de risque n’intègre pas comme seule donnée la situation financière ».
Ce sont pourtant celles-là qui ont le plus besoin de « solidarité »…
Ce que montrent leur simulation c’est justement que les variables socio-économiques ont un poids prépondérant dans le calcul du score, désavantageant structurellement les personnes en situation de précarité.
Sauf que le risque d’être contrôlé suite à un événement considéré comme « facteur de risque » par l’algorithme – déménagement, séparation, décès – se révèle inexistant pour un allocataire aisé puisque son score est initialement proche de zéro.
À l’inverse, pour un allocataire du RSA dont le score est déjà particulièrement élevé, le moindre de ces évènements risque de faire basculer son score au-delà du seuil à partir duquel un contrôle est déclenché !
Le malheur attire et se nourrit du malheur…
 
Pire, la plupart des variables non financières sont en fait liées à des situations d’instabilité et d’écart à la norme – séparation récente, déménagements, changements de loyers multiples, modification répétée de l’activité professionnelle, perte de revenus, erreurs déclaratives, faible nombre de connexions web… – dont tout laisse à penser qu’elles sont elles-mêmes liées à des situations de précarité.
À l’opposé de ce que veut faire croire la CAF, tout indique que son algorithme fonctionne plutôt comme une « double peine » : Il cible celles et ceux qui, parmi les plus précaires, traversent une période particulièrement compliquée.
Autrement dit, pas de problème avec la CAF si vous êtes riche, bien portant et non susceptible d’avoir un casier judiciaire chargé.
 
Si l’algorithme de la CAF a été promu au nom de la « lutte contre la fraude », il a en réalité été conçu pour détecter les « indus » (trop-perçus).
Ce choix a été fait pour des questions de rentabilité : Les indus sont plus nombreux et plus faciles à détecter que des cas de fraude dont la caractérisation nécessite, en théorie, de prouver une intention.
Or, ces indus ont pour cause principale des erreurs déclaratives involontaires, dont toutes les études montrent qu’elles se concentrent principalement sur les personnes aux minima sociaux et de manière plus générale sur les allocataires en difficulté.
Je note de mon côté que c’est souvent le cas en matière fiscale (mon ex-spécialité) : Les condamnations pénales pour fraude fiscale sont rares, beaucoup plus que les pénalités pour « mauvaise foi » du kon-tribuable.
 
Cette concentration s’explique d’abord par le fait que ces prestations sont encadrées par des règles complexes – fruit des politiques successives de « lutte contre l’assistanat » – multipliant le risque d’erreurs possibles.
Pour reprendre les termes d’un directeur de la lutte contre la fraude de la CNAF : « Ce sont les prestations sociales elles-mêmes qui génèrent le risque (…) ceci est d’autant plus vrai pour les prestations liées à la précarité (…), très tributaires de la situation familiale, financière et professionnelle des bénéficiaires ».
On aura compris…
En bref, on éradiquerait les fraudes sociales s’il n’y avait plus de prestation à verser.
Un peu comme pour les impôts : On détruirait aisément les paradis fiscaux si on supprimait tous les enfers fiscaux…
 
Nul besoin donc de connaître le détail de la formule de l’algorithme pour prédire quelles populations seront ciblées car c’est l’objectif politique de l’algorithme – détecter les trop-perçus – qui le détermine.
C’est pourquoi laisser s’installer un débat autour de l’inclusion de telle ou telle variable est un peu un jeu de dupes statistiques : La CAF pourra toujours substituer à une variable jugée politiquement « sensible » d’autres critères jugés « acceptables » permettant d’aboutir au même résultat, comme elle semble déjà le faire pour les mères célibataires.
 
Mais dire cela, c’est enfin dépasser le débat technique et reconnaître que cet algorithme n’est que le reflet de la diffusion de logiques gestionnaires et policières au sein de nos administrations sociales au nom des politiques de « lutte contre la fraude ».
C’est en transformant les allocataires en « assistés », puis en « risques » pour la survie de notre système social que le discours de « lutte contre l’assistanat » a fait de leur contrôle un impératif de « bonne gestion ».
En fait, qu’importe que toutes les estimations montrent que la « fraude sociale » est marginale et que c’est au contraire le non-recours aux aides qui se révèle être un phénomène massif.
Notez, au moins, que ne rien réclamer, c’est l’assurance qu’on n’est pas emmerdé et ça coûte moins cher au kon-tribuable qui, d’une façon ou d’une autre, le retrouve tôt ou tard dans son assiette, dans le prix de ce qu’il mange et boit : C’est mécanique !
 
Mais devenu objectif institutionnel, le contrôle doit être rationalisé. Le numérique devient alors l’outil privilégié de « la lutte contre la fraude sociale » par la capacité qu’il offre aux dirigeants de répondre aux injonctions de résultats tout en offrant un alibi technique quant aux pratiques de discrimination généralisée que leur tenue impose.
Ces logiques se retrouvent dans la réponse de la CAF pour s’opposer à la transmission du code de son algorithme, avant d’y être contrainte par la Commission d’Accès aux Documents Administratifs (CADA) : Elle assume ouvertement un discours policier en avançant comme principal argument que cette communication consisterait en une « atteinte à la sécurité publique » car « en identifiant les critères constituant des facteurs de ciblage, des fraudeurs pourraient organiser et monter des dossiers frauduleux ».
Comme quoi, même à la CAF, on y trouve des agents qui sont bornés : Comme si on n’avait pas deviné comment il fallait faire pour chasser le fraudeur… Et donc éviter de se faire piquer !
 
Toutefois, un chiffre transmis dans la même réponse témoigne de l’emballement gestionnaire à l’œuvre et vient souligner la disproportion entre les moyens techniques déployés et les enjeux financiers. L’algorithme est entraîné pour détecter des trop-perçus s’élevant à 600 euros sur deux ans.
Soit donc, 32 millions d’intimités violées par un algorithme à la recherche de… 25 euros par mois.
Et puis, c’est un renseignement précieux pour tous les fraudeurs : Sous ce seuil, moins d’un euro/jour, on vous fout la paix !!!
 
Ce qu’il faut savoir, c’est que l’Assurance maladie, l’Assurance vieillesse, les Mutualités Sociales Agricoles ou dans une moindre mesure Pôle Emploi, tous utilisent ou développent des algorithmes en tout point similaires.
La CAF n’est pas la seule administration à utiliser ce type d’algorithmes, mais elle fut la première à le faire (après l’administrations fiscale et celle des douanes).
Si l’algorithme lui-même n’utilise que quelques dizaines de variables pour calculer la note des allocataires, celles-ci sont sélectionnées après une phase dite d’« entraînement » mobilisant plus de 1.000 informations par allocataire.
Et comme partout, les contrôles à la CAF sont de trois types : Les contrôles automatisés sont des procédures de vérification des déclarations des allocataires (revenus, situation professionnelle…), organisés via à l’interconnexion des fichiers administratifs (impôts, pôle emploi…). Ce sont de loin les plus nombreux.
Les contrôles sur pièces consistent en la demande de pièces justificatives supplémentaires à l’allocataire.
Enfin les contrôles sur place sont les plus rares mais aussi les plus intrusifs. Réalisé par un contrôleur de la CAF, ils consistent en un contrôle approfondi de la situation de l’allocataire.
Je l’ai vu une seule fois sur une « petite-crèche »…
 
Pourtant, il paraît que ce sont ces derniers qui sont aujourd’hui en très grande majorité déclenchés par l’algorithme suite à une dégradation de la note d’un allocataire.
 
Pour ma part, je constate que je reste « en avance », au moins dans mes romans.
Et je m’attends donc à des « performances » encore plus extraordinaires pour poursuivre les fraudeurs.
Je rappelle que le fraudeur est un voleur : Il vole tout le monde d’un seul coup et personne n’est là pour l’en empêcher individuellement.
En plus, c’est souvent un nain du neurone qui injurie l’Intelligence au sens large : Comment croire pouvoir tromper celle des agents qui servent leurs administrations et leurs administrés avec abnégation, des « pros » spécialement formés à ces mécanismes ?
Mais passons.
 
En bref, tout cela participe de la volonté de cerner la vie de chacun afin de pouvoir à n’importe quel moment vérifier qu’elle est « conforme » à la « normalité » décidée par les autorités (en principe élues pour cela d’ailleurs, ne vous y trompez pas).
Sauf que demain, les machines décideront de la « normalité » en fonction d’un rapport « avantage/coût » qui restera obscure au regard de vos libertés et du bon sens.
Mais que voulez-vous qu’il en aille autrement quand il y a encore des abrutis qui ratonnent dans les rues, des terroristes entrainés à massacrer, des idéologues qui imaginent un monde meilleur qui en passe par la destruction de celui dans lequel ils sont nés et des « politiques » qui se font « porte-drapeau » des précédents ?
Moâ, je ne sais pas, mais ce n’est pas ce que souhaitais léguer à « ma Nichée ».
Probablement, je dois être le seul, parce que bon… je reste minoritaire et du coup sans voix !
 
Pour mémoire (n’en déplaise à « Poux-tine ») : « LE PRÉSENT BILLET A ENCORE ÉTÉ RÉDIGÉ PAR UNE PERSONNE « NON RUSSE » ET MIS EN LIGNE PAR UN MÉDIA DE MASSE « NON RUSSE », REMPLISSANT DONC LES FONCTIONS D’UN AGENT « NON RUSSE » !