Nouvelles & opinion

Le coût humain du « toujours plus »

Quand l’IA écrit le même code partout et que des agents obtiennent des accès qu’on refuserait à une nouvelle recrue, les standards glissent. Comment garder l’humain et les bases au centre.

Traduit avec l'IA à partir de l'article original, publié en anglais sur maevesecurity.com ↗. Version originale anglaise : The Human Cost of 'More, More, More'

Kendra Cooley Kendra Cooley. Image : Maeve Security.

Article original sur Maeve SecurityThe Human Cost of ‘More, More, More’maevesecurity.com ↗

Chaque raccourci est un emprunt sur l’avenir.

Plus tôt cette semaine, je suis tombée sur une publication d’une personne en ingénierie qui décrivait ce qu’était devenue sa carrière. En la lisant, je sentais sa passion pour un métier autrefois aimé lui être arrachée, ligne après ligne. Une grande partie de son texte m’a touchée, parce que j’ai vu la même chose se produire de près ces dernières années.

Je commence par quelque chose dont j’ai été témoin. Trois ingénieurs, qui ne travaillaient pas ensemble, ont chacun bâti un nouvel outil. Deux avaient en tête des produits semblables, le troisième travaillait sur quelque chose de complètement différent. Résultat : trois outils avec exactement la même apparence. Ce n’est pas une critique envers eux. Ce qu’ils ont construit était franchement impressionnant, surtout vu la rapidité avec laquelle ils ont obtenu un produit fonctionnel. Mais quand j’ai partagé la publication originale sur LinkedIn, une personne a souligné exactement ça dans les commentaires : deux ingénieurs indépendants qui se retrouvent avec des applications presque identiques, parce que ce sont les mêmes modèles qui font le travail sous le capot. J’ai ri, parce que je l’avais vu.

En tant que spécialiste de la sécurité, je sais ce que « identique » veut vraiment dire. Ce ne sont pas seulement les boutons et les couleurs qui se ressemblent. C’est le code en dessous, avec les mêmes patrons, les mêmes dépendances, les mêmes erreurs, répétés dans des milliers d’entreprises à la fois. Quand le code de tout le monde est écrit par la même poignée de modèles, une seule faiblesse ne vit pas dans une seule application : elle est partout.

Avant d’aller trop loin dans les détails, je veux être claire : je crois que ces outils d’IA ont leur place dans ce monde. J’ai vu la vitesse à laquelle ils permettent aux entreprises de bâtir des technologies vraiment incroyables. J’ai aussi parlé à des gens qui ont perdu leur emploi lors de compressions faites au profit de l’IA. Je vois le bon et le mauvais, et je me situe assez fermement au milieu.

Alors, si les outils produisent tous la même chose, qu’est-ce qui distinguera ces produits et ces entreprises ? Pour moi, la réponse est simple : les gens.

Malheureusement, les gens deviennent jetables à toute vitesse. Comme le disait la publication originale, on nous transforme en pousseurs de boutons. Les entreprises veulent toujours plus, et le rythme laisse peu ou pas de temps pour lire, réfléchir de façon critique ou vérifier ce que ces outils produisent. Résultat : un épuisement professionnel important dans toute notre industrie. Dans mon partage, j’ai parlé d’un nivellement par le bas : la quantité avant la qualité, et une volonté de sacrifier les standards pour un dollar. La publication originale qualifiait tout ça de « vidant l’âme », et je le ressens jusqu’au fond de moi.

La plupart des gens qui me connaissent savent que je suis arrivée en cybersécurité par accident. J’ai eu un gestionnaire incroyable qui m’a donné ma chance alors que j’étais son adjointe administrative, et j’ai commencé ma carrière en gestion des identités et des accès (IAM). Rien de glamour, mais c’était l’occasion d’apprendre quelque chose de nouveau. Ce n’est qu’après quelques années, quand j’ai pu créer le contenu du Mois de la sensibilisation à la cybersécurité de cette année-là, que j’ai vraiment trouvé ma passion. Ça a enfin fait déclic : au cœur de la sécurité, il y a des gens. On fait ce travail pour protéger des gens. Une brèche peut détruire non seulement une entreprise, mais aussi le gagne-pain de tous ceux qui y travaillent. Je porte ce poids depuis, et je le prends très au sérieux.

Dernièrement, j’ai senti cette passion commencer à s’effriter. Ces dernières années, j’ai occupé des postes qui m’ont mise aux commandes de programmes de sécurité, et partout dans l’industrie, je vois des responsables de la sécurité à qui l’on demande de faire des compromis sur les bonnes pratiques au nom de la vitesse. Donner un accès administrateur à l’agent d’IA pour qu’il « fonctionne, tout simplement ». Fusionner le code généré sans vraie revue. Assouplir les contrôles sur les données pour que le nouvel outil puisse se connecter à tout. Sauter le processus d’approbation parce que l’entreprise ne peut pas attendre.

Mes débuts en sécurité, en IAM, rendent ce point particulièrement difficile à regarder. Chacun de ces agents d’IA est une identité. Il a des accès, il pose des actions, et il a besoin d’un responsable et d’une surveillance adéquate. Pourtant, on leur donne des permissions permanentes qu’on n’accorderait jamais à un nouvel employé, souvent avec peu de journalisation et personne chargé de revoir ce à quoi ils ont accès. On a passé des années à bâtir le moindre privilège et les revues d’accès pour prévenir le genre de brèches qui coûtent leur emploi à des gens, et voilà qu’on nous demande d’y percer des trous pour des outils que la plupart des organisations n’ont pas pris le temps d’encadrer. Le problème, ce n’est pas que personne ne comprend les risques. C’est que les équipes de sécurité n’ont aucune visibilité sur la façon dont ces outils sont réellement déployés, et qu’on leur demande de colmater les brèches après coup.

Je sais que c’est un sujet polarisant. Certains sont convaincus que si on ne saute pas dans le train de l’IA, on restera derrière. D’autres croient que ceux qui s’appuient trop sur ces outils oublieront comment réfléchir ou faire quoi que ce soit par eux-mêmes. À mon avis, les entreprises qui prospéreront seront celles qui adopteront ces technologies de façon sûre et efficace, tout en gardant les bases et en plaçant les gens au cœur de leurs activités. Celles qui automatisent tous les aspects de leurs activités peuvent sembler en avance au début. Mais chaque raccourci est un emprunt sur l’avenir : le code non revu devient les vulnérabilités de demain, les agents aux permissions excessives deviennent la brèche de demain, et l’expertise dans laquelle on a cessé d’investir ne sera pas là quand on aura besoin de quelqu’un pour faire le ménage.

Alors, que peut-on faire concrètement dès aujourd’hui pour freiner l’hémorragie ?

  • Traiter les agents d’IA comme des identités. Leur donner un responsable, des accès selon le moindre privilège, de la journalisation et une revue d’accès régulière, comme on le ferait pour une personne.
  • Garder un humain dans la boucle là où ça compte. Le code généré et les changements automatisés aux systèmes de production ont encore besoin d’un certain niveau de revue.
  • Rendre l’acceptation du risque visible. Si l’entreprise décide d’aller plus vite que ce que la sécurité recommande, cette décision doit être documentée et assumée par la direction, pas portée en silence par l’équipe de sécurité.
  • Donner aux gens le temps de réfléchir. Prévoir du temps de vérification dans la vitesse qu’on exige. La vitesse sans un minimum d’examen, ce n’est pas de l’efficacité.

Enfin, je me demande, alors que les entreprises dépensent toujours plus pour obtenir toujours plus, et que les gens perdent leur passion et les bases de leur métier : quel sera le vrai coût de tout ça ? Je soupçonne qu’une partie de la réponse se trouvera dans des brèches qui ne sont pas encore arrivées. Une autre, dans les gens qu’on aura épuisés. Et une autre encore apparaîtra dans quelques années, quand on réalisera qu’on a cessé de former les juniors qui devaient devenir nos seniors.

Mon instinct me dit qu’on a encore tous beaucoup à apprendre sur la façon dont notre monde change dans cette nouvelle réalité de l’IA. Mon seul espoir, c’est qu’en continuant d’avancer, on n’oublie pas de prendre soin les uns des autres.

Sources