Surveillance parentale: «intelligence artificielle» utilisée pour classer les baby-sitters en fonction de leur histoire sur les réseaux sociaux
Lorsque Jessie Battaglia a commencé à chercher une nouvelle baby-sitter pour son fils d'un an, elle voulait plus d'informations qu'elle ne pourrait en obtenir grâce à une vérification des antécédents judiciaires, à des commentaires de parents et à une interview en face-à -face.
Elle s'est donc tournée vers Predictim, un service en ligne qui utilise "l'intelligence artificielle avancée" pour évaluer la personnalité d'une baby-sitter et visait ses scanners avec les milliers de publications de Facebook, Twitter et Instagram d'un candidat.
Le système offrait une "évaluation du risque" automatisée à une candidate âgée de 24 ans, affirmant qu'elle présentait un "risque très faible" de toxicomanie. Mais cela donnait une évaluation du risque légèrement plus élevée - deux sur cinq - d'intimidation, de harcèlement, de "manque de respect" et de "mauvaise attitude".
Le système n'a pas expliqué pourquoi il avait pris cette décision. Mais Battaglia, qui avait cru que la gardienne était digne de confiance, se sentit soudainement pris de doute.
"Les médias sociaux montrent le caractère d'une personne", a déclaré Battaglia, 29 ans, qui vit près de Los Angeles. "Alors pourquoi est-elle entrée à deux heures et non à une heure?"
Predictim propose aux parents le même livre de jeux que des dizaines d'autres entreprises technologiques vendent à des employeurs du monde entier: des systèmes d'intelligence artificielle analysant le discours, les expressions faciales et l'histoire en ligne d'une personne, en promettant de révéler les aspects cachés de sa vie privée.
La technologie est en train de remodeler la manière dont certaines entreprises abordent le recrutement, l'embauche et la révision de travailleurs, offrant aux employeurs un regard sans égal sur les candidats à un poste de travail grâce à une nouvelle vague d'évaluation et de surveillance psychologiques invasives.
La société de technologie Fama a déclaré qu'elle utilisait l'IA pour contrôler les "comportements toxiques" des médias sociaux des travailleurs et alerter leurs patrons. La société de recrutement, HireVue, qui collabore avec des sociétés telles que Geico, Hilton et Unilever, propose un système qui analyse automatiquement le ton, les choix de mots et les mouvements du visage des candidats lors des entretiens vidéo afin de prédire leurs compétences et leur comportement au travail. (Les candidats sont encouragés à sourire pour de meilleurs résultats.)
Mais les critiques affirment que Predictim et des systèmes similaires présentent leurs propres dangers en prenant des décisions automatisées et susceptibles de modifier leur vie, de manière pratiquement non contrôlée.
Les systèmes reposent sur des algorithmes de type boîte noire qui donnent peu de détails sur la manière dont ils ont réduit la complexité de la vie intérieure d'une personne en calculant la vertu ou le préjudice. Et même si la technologie de Predictim influence la pensée des parents, elle reste entièrement non prouvée, en grande partie inexpliquée et vulnérable aux biais discrets sur la façon dont une baby-sitter appropriée devrait partager, regarder et parler.
Il y a cette "folle course pour saisir le pouvoir de l'intelligence artificielle pour prendre toutes sortes de décisions sans s'assurer de sa responsabilité vis-à -vis de l'homme", a déclaré Jeff Chester, directeur exécutif du Center for Digital Democracy, un groupe de défense des technologies. "C'est comme si les gens avaient bu le Kool-Aid numérique et pensaient que c'était un moyen approprié de gouverner nos vies."
Les analyses de Predictim analysent l’ensemble de l’histoire des réseaux sociaux d’une baby-sitter, qui, pour la plupart des plus jeunes gardiennes, peut couvrir la majeure partie de leur vie. Et les gardiennes apprennent qu'elles seront très désavantagées pour les emplois concurrentiels si elles refusent.
Le chef et co-fondateur de Predictim, Sal Parsa, a déclaré que la société, créée le mois dernier dans le cadre de l'incubateur technologique SkyDeck de l'Université de Californie à Berkeley, prend au sérieux les questions éthiques concernant son utilisation de la technologie. Les parents, a-t-il dit, devraient considérer les évaluations comme un compagnon qui "peut ou non refléter les attributs réels de la personne."
Mais le danger d'embaucher une baby-sitter problématique ou violente, a-t-il ajouté, fait de l'IA un outil indispensable pour tout parent désirant assurer la sécurité de son enfant.
"Si vous recherchez des baby-sitters abusives sur Google, vous verrez des centaines de résultats dès maintenant", a-t-il déclaré. "Certaines personnes souffrent de maladie mentale ou naissent mal. Notre objectif est de faire tout ce qui est en notre pouvoir pour les en empêcher."
Une analyse Predictim commence à 24, 99 $ et nécessite le nom et l'adresse électronique d'une baby-sitter et son consentement à un accès étendu à ses comptes de médias sociaux. La baby-sitter peut refuser, mais un parent est averti de son refus et, dans un courrier électronique, il est indiqué à la baby-sitter "que le parent intéressé ne pourra pas vous engager jusqu'à ce que vous remplissiez cette demande".
Les dirigeants de Predictim disent qu'ils utilisent des algorithmes de traitement du langage et un logiciel de reconnaissance d'images appelé "vision par ordinateur" pour évaluer les publications Facebook, Twitter et Instagram des baby-sitters afin de trouver des indices sur leur vie hors ligne. Le rapport reçoit exclusivement le rapport et n'a pas à informer le gardien des résultats.
Les parents pourraient, vraisemblablement, consulter eux-mêmes les comptes de médias sociaux publics de leurs gardiennes. Mais les rapports générés par ordinateur promettent une inspection approfondie d’années d’activités en ligne, se résumant à un seul chiffre: une solution étonnamment simple à une tâche peu pratique.
Les cotes de risque se divisent en plusieurs catégories, notamment le contenu explicite et l’abus de drogues. La start-up a également annoncé que son système pouvait évaluer les gardiennes d'enfants sur d'autres traits de personnalité, tels que la politesse, la capacité de travailler avec d'autres personnes et la "positivité".
La société espère vaincre le secteur de la sous-traitance parentale de plusieurs milliards de dollars et a commencé à faire de la publicité par le biais de parrainages rémunérés de blogs sur la parentalité et de «momies». Le marketing de la société est fortement axé sur sa capacité à révéler des secrets cachés et à prévenir "le cauchemar de tous les parents", citant des affaires pénales, notamment celle d'une baby-sitter du Kentucky, accusée plus tôt cette année d'avoir blessé grièvement une fillette de huit mois.
"Si les parents de la petite fille blessée par cette baby-sitter avaient pu utiliser Predictim dans le cadre de leur processus de vérification", indique un document marketing de la société, "ils ne l'auraient jamais laissée seule avec leur précieux enfant".
Mais les experts en technologie disent que le système soulève des drapeaux rouges, notamment en craignant que les parents craignent de vendre des analyses de la personnalité d'une exactitude non vérifiée.
Ils se demandent également comment les systèmes sont formés et à quel point ils pourraient être vulnérables à une compréhension erronée du sens flou de l'utilisation des médias sociaux par les utilisateurs. Pour toutes les analyses sauf les plus risquées, les parents ne reçoivent qu'une suggestion de comportement douteux et aucune phrase, lien ou détail spécifique à évaluer par eux-mêmes.
Lorsque le scanner d'une baby-sitter a été identifié pour un comportement d'intimidation possible, la mère énervée qui l'a demandé a déclaré qu'elle ne pouvait pas savoir si le logiciel avait repéré une vieille citation de film, une parole de chanson ou une autre phrase par opposition à un langage d'intimidation réel.
Cependant, Predictim affirme néanmoins se préparer à une expansion nationale. Les cadres de Sittercity, un marché de baby-sitter en ligne visité par des millions de parents, ont annoncé le lancement d’un programme pilote au début de l’année prochaine, qui incorporera les évaluations automatisées de Predictim à la gamme actuelle de projections de gardiennes et de vérification des antécédents.
"Trouver une gardienne peut entraîner beaucoup d'incertitude", a déclaré Sandra Dainora, responsable des produits chez Sittercity, qui estime que de tels outils pourraient bientôt devenir une "devise standard" pour la recherche en ligne d'aidants naturels. "Les parents sont toujours à la recherche de la meilleure solution, du plus grand nombre de recherches, des meilleurs faits."
Le Washington Post