Image : HFCTF.
Article original sur MediumA Look Back on HFCTF 2026 and Where Are We Headedmedium.com ↗
Salut tout le monde! Je suis dax, l’actuel chef d’équipe du HFCTF, le CTF principal du Hackfest, l’un des plus gros événements de cybersécurité au Canada, dont je suis aussi membre du comité. Je suis bénévole dans l’équipe depuis 11 ans (et je prends peu à peu un rôle de leader depuis 3 ans), alors j’ai vu cet événement évoluer et s’adapter au monde qui l’entoure.
Le CTF de cette année a été particulier. Une participation plus faible (moins de 250 personnes, alors qu’il y a quelques années on pensait sérieusement à viser le record Guinness du plus grand CTF sur place), un changement officiel de direction (j’ai aussi mené le CTF de l’an dernier et une partie de celui d’avant, mais mon prédécesseur et mentor PhenixCorp restait disponible au besoin), plus d’épreuves et de concepteurs que jamais (139 épreuves créées par plus de 20 concepteurs) et une nouvelle approche pour que tout le monde vive une bonne expérience : des classements séparés pour les joueurs qui utilisent l’IA et pour ceux qui ne l’utilisent pas. Tout ça a créé beaucoup d’incertitude dans l’équipe et nous a obligés à prendre des risques, sans toujours savoir comment notre communauté les accueillerait.
Comme chaque année, on envoie un sondage à tous les participants pour ajuster notre approche pour l’année suivante. Voici donc ce qu’on en retient, et ce qu’on compte faire.
Séparer le classement entre les équipes qui utilisent des agents IA et les autres, bonne idée?
J’aurais tendance à dire oui. Deux fois plus de joueurs se sont inscrits au CTF sans IA qu’au CTF IA. Les participants de la catégorie sans IA ne se sentaient pas obligés d’utiliser des agents IA pour rester compétitifs, ce qui a rendu l’expérience plus agréable pour tout le monde. Ça met toutefois une charge sur l’équipe du CTF, qui doit jouer la « police de l’IA ». Même si on n’a pas eu à le faire souvent cette année, ce ne sont pas tous les concepteurs qui sont à l’aise de questionner des équipes qui trichent peut-être, mais c’est un effet secondaire malheureux qu’on ne peut pas éviter. Quoi qu’il en soit, les commentaires des participants ont été très positifs, et on prévoit une approche semblable l’an prochain, avec des changements possibles pour s’assurer que tout le monde joue franc jeu.
Êtes-vous satisfaits des règles du CTF sans IA?
En bonne partie, oui. La plupart des critiques portaient sur l’un de ces trois points :
- Ce n’était pas assez clair ce que voulait dire « donner des artefacts d’une épreuve à un outil d’IA ».
- Ce n’était pas assez clair que les règles s’appliquaient seulement au CTF sans IA.
- Il y avait trop de règles (ce qui les rend sans doute plus difficiles à contourner).
Notre position actuelle : la base des règles est bonne, et la plupart des équipes l’ont appréciée. On va toutefois les rendre plus claires et plus concises.
Le CTF IA devrait-il avoir des épreuves différentes?
Celle-là n’est pas aussi simple qu’elle en a l’air. J’avais 18 concepteurs dans mon équipe, qui ont créé une centaine d’épreuves. Créer des épreuves différentes pour le CTF IA demanderait non seulement deux fois plus de concepteurs (ou qu’ils travaillent deux fois plus fort), mais aussi de les encourager à utiliser davantage l’IA générative, ce que je n’ai pas l’intention de faire. Même produire des variantes d’épreuves existantes ajoute une complexité qui retombe sur des concepteurs bénévoles. À mon avis, ça ferait baisser la qualité générale des épreuves.
De plus, après avoir parlé avec des équipes IA et lu le sondage, les opinions sur le sujet semblent très partagées. Certaines équipes se sont plaintes qu’il n’y avait pas assez de « pièges à IA » et voulaient pousser leur configuration d’agents à la limite. D’autres étaient agacées par les deux seules séries d’épreuves qui en contenaient.
Ce qu’on en retient pour l’instant : vu la divergence d’opinions, on va privilégier des épreuves communes aux deux catégories pour ne pas sacrifier la qualité, et laisser chaque concepteur décider s’il ajoute des variantes pour la version IA de ses épreuves.
Pourquoi s’éloigner du pointage classique de style Jeopardy?
On a introduit deux nouveaux systèmes de pointage cette année (King of the Hill et First Bloods). Avant l’événement, plusieurs options avaient été proposées pour composer avec la résolution d’épreuves par des agents. L’une d’elles, que beaucoup voyaient comme une solution, était de délaisser le format Jeopardy et de diversifier les façons de marquer des points pour rendre le CTF moins linéaire (ouvrir CTFd, choisir une épreuve, la résoudre, recommencer). Les quelques écarts qu’on a essayés servaient à « tâter le terrain ». Résultat : la plupart des gens préfèrent en fait le format classique. King of the Hill obligeait les équipes à « affecter un membre » à cette épreuve pendant tout l’événement. First Bloods a semblé injuste pour certains avec autant d’épreuves, puisque ça dépend surtout de quelle épreuve on a vue en premier.
D’autres choses ont causé de la friction : le manque d’uniformité entre les systèmes de pointage des différentes épreuves (certaines avaient des First Bloods, d’autres non) et le fait que la valeur de certains flags a changé pendant l’événement (par exemple, on a augmenté les points quand il y avait moins de résolutions que prévu). Le premier point rendait difficile de savoir où mettre ses efforts pour maximiser ses points, et le deuxième pouvait causer des changements inattendus au classement (puisqu’augmenter les points d’une épreuve change aussi la valeur des flags déjà soumis).
On avait quelques autres idées de façons originales de marquer des points (marchés noirs, crypto HFCTF, collaboration entre équipes, bug bounties, prix, etc.), mais à mon avis elles auraient toutes le même effet : rendre l’expérience du CTF moins prévisible et moins dépendante des compétences en test d’intrusion et en cybersécurité. Je n’ai pas encore décidé si c’est la voie à suivre, mais ce que j’en retiens pour l’instant, c’est que la plupart des joueurs viennent pour une expérience de CTF classique, et vos commentaires pourraient nous faire pencher de ce côté. On va aussi essayer d’uniformiser davantage les épreuves et faire attention quand on ajuste la valeur de certaines épreuves en cours d’événement (c’est une façon pour nous d’attirer l’attention sur des épreuves que les joueurs délaissent). Dans tous les cas, on compte être plus transparents sur ce genre de décision pendant l’année avec des annonces, alors gardez un œil sur notre Discord!
Que pensez-vous de la qualité et de la diversité du CTF?
Sur la diversité, les commentaires se ressemblent chaque année. Pourquoi autant de X, pas assez de Y. En vérité, ça découle d’une décision que les responsables du HFCTF essaient de maintenir depuis aussi loin que je me souvienne. Les concepteurs sont bénévoles, et je ne les forcerai pas à créer des épreuves dans des catégories qui ne les intéressent pas. Ça donne le « meilleur scénario possible » pour les concepteurs, qui passent leur temps libre à créer des épreuves de qualité sur des sujets qu’ils aiment, mais ça a l’inconvénient de déséquilibrer les types d’épreuves qu’on offre. Cette année, on avait plus d’épreuves liées à Windows que d’habitude, et moins de pwn. Comme chaque année, on va tenir compte de ces commentaires si certains concepteurs n’ont pas de sujet précis en tête, mais en général, s’ils se joignent à l’équipe l’an prochain, c’est qu’ils savent déjà sur quoi ils veulent travailler.
Sur la qualité, l’IA nous a frappés fort. Disons simplement que certaines épreuves ont été conçues sans IA générative, alors que d’autres ont été en grande partie créées par elle. Personnellement, je trouve que ça enlève de la valeur aux efforts que certains concepteurs mettent dans leurs épreuves, alors nos lignes directrices seront plus strictes l’an prochain pour offrir une expérience plus organique, loin de l’imagerie générique que produit l’IA. C’est difficile de se passer de ces outils, surtout quand certains participants les utilisent activement pour obtenir les flags, mais à mon avis, les épreuves doivent être conçues pour des joueurs humains, pas pour des agents.
Qu’ont pensé les gens de la musique?
Ah, l’éternelle question du HFCTF. En vérité, le sondage montre que la majorité des participants s’en fichent. Ils mettent leurs écouteurs de toute façon et espèrent que notre musique ne soit pas plus forte que la leur. Tout ce que je peux dire, c’est qu’on ne peut pas plaire à tout le monde, mais on va essayer d’avoir un DJ au moins pour la soirée d’ouverture du CTF l’an prochain. Si vous connaissez quelqu’un que ça pourrait intéresser, écrivez-moi sur le Discord du Hackfest! Ah, et on va aussi s’assurer que l’acoustique soit meilleure l’an prochain pour que tout le monde entende les annonces!
La façon dont vous donnez des indices est-elle juste?
Plusieurs épreuves ont des indices payants dans CTFd et on lance parfois des indices sur le Discord quand on voit que des épreuves sont moins résolues que prévu, mais on donne aussi à l’occasion des indices aux joueurs qui s’investissent beaucoup dans une épreuve et qui viennent nous parler à la table des admins (et parfois sur Discord, mais prendre le temps de venir nous voir en personne va jouer en votre faveur). Le Hackfest a toujours été un événement centré sur l’apprentissage. Dans cet esprit, sans jamais donner de solution toute faite, on va guider doucement les joueurs dans la bonne direction ou confirmer vaguement des hypothèses quand on juge que ça n’influencera pas le résultat de la compétition de façon importante et que les participants montrent un réel intérêt pour l’apprentissage qu’offre le CTF.
Certains peuvent trouver ça injuste, mais à l’inverse, ne donner aucun indice peut créer de la frustration qui rend l’expérience moins agréable. Comme certains de nos concepteurs ADORENT que les participants viennent leur parler de leur travail et que le sondage montre que les joueurs aiment ces petits coups de pouce, on considère que ces légers avantages sont acceptables.
Pourquoi avoir choisi la fin de semaine de l’Halloween pour l’événement?
Pour ceux qui n’étaient pas à la cérémonie de clôture : on ne l’a absolument pas choisie, on a été forcés de prendre la seule option restante, du 29 au 31. La seule autre option était de changer de lieu, et vu la taille de l’événement, il n’y avait pas de bon compromis. L’an prochain, ce sera une semaine avant l’Halloween, si on ne se fait pas « tasser » encore.
Qu’ont pensé les gens de la pizza?
Ça peut sembler une question évidente, non? De la pizza gratuite, ça ne se refuse pas. Le plus gros problème, c’est que les gens ne semblent pas suivre la règle « une boîte de pizza par table », alors avec 65 boîtes pour environ 40 équipes, certaines équipes n’en ont pas eu. Mes calculs ne marchent pas. On va voir ce qu’on peut faire l’an prochain qui ne soit pas un cauchemar à gérer pour l’équipe (comme demander à chaque table quelle sorte de pizza elle veut et faire la distribution nous-mêmes), mais qui donne à tout le monde la chance d’avoir une pointe. Oui, on sait qu’il y a 8 pointes par pizza, pour des équipes de 6. Ce n’est pas censé remplacer votre souper. Juste une petite collation de minuit pour vous donner un peu d’énergie pour le reste de la nuit.
Qu’ont pensé les gens de l’absence de prix en argent?
Le sondage montre une légère préférence pour ce choix. L’idée était de rester cohérent avec notre vision du CTF, plus académique que compétitive. Remettre des outils de hacking et des goodies nous semblait plus en phase avec cette vision. On a aussi décidé de remettre les mêmes prix dans les deux CTF (sauf les invitations à NorthSec, remises seulement aux gagnants sans IA, selon la décision du comité de NorthSec). On trouvait que ça renforçait notre position que les équipes IA et sans IA sont toutes les bienvenues à notre compétition, et que ça encourageait le franc jeu en n’offrant aucun incitatif à s’inscrire dans l’autre catégorie dans le but d’enfreindre les règles.
Pourquoi ne pas préprovisionner l’infrastructure des équipes?
On utilise le service de provisionnement des épreuves depuis quatre ans et on l’améliore chaque année, au point où les concepteurs s’y intègrent sans effort, la mise à l’échelle n’est plus un problème et la stabilité est assez bonne pour qu’on ne le regarde presque plus pendant l’événement et qu’on le laisse faire son travail. On y a mis beaucoup de temps et d’efforts (avant l’ère de l’IA, donc vraiment beaucoup, et je continue de le coder à la main), et il a été conçu au départ pour régler quatre problèmes :
- Réduire les coûts
- Distribuer les accès propres à chaque équipe
- Faire le ménage après l’événement
- Permettre la segmentation entre les équipes
Le préprovisionnement touche évidemment le point 1. En moyenne, la majorité des épreuves sont lancées par environ 75 % des équipes. De plus, bon nombre d’équipes ne lancent que ce qu’elles veulent vraiment attaquer, et certaines ont même la gentillesse d’éteindre leurs instances quand elles ont fini (si c’est vous, merci!). Ajoutez à ça une bibliothèque de gabarits optimisés pour les coûts et des TTL par épreuve qui suppriment automatiquement les instances, et on obtient un CTF de 24 h pour moins de 1 000 $ US en infonuagique.
Cela dit, si la plupart des épreuves se lancent en environ cinq minutes, certaines plus lourdes peuvent prendre près d’une heure. Même si on affiche le temps de lancement moyen dans la plateforme, ça peut être frustrant. On a déjà l’option de lancer l’infrastructure à l’avance (même si on ne l’a jamais utilisée à l’échelle d’un CTF), alors on va envisager de prélancer l’an prochain les épreuves trop longues à démarrer. On va aussi regarder pour intégrer le provisionnement directement dans CTFd pour que vous ayez tout au même endroit!
Y avait-il trop d’IA dans les épreuves du CTF?
Je dirais que ça dépend à qui vous le demandez. Ceux qui me connaissent savent que ma réponse serait oui. Je défends fermement le métier de programmeur. C’est aussi l’opinion des gens qui ont répondu au sondage, et pas seulement pour le CTF, mais pour tout le Hackfest. J’ai de la difficulté à lire des termes comme « AI slop », « peu d’effort » et « au rabais » quand je vois tout le travail que demande un événement comme celui-là. Mais je dois malheureusement admettre que cette année avait une saveur différente.
Pour le CTF, le problème est simple : si l’équipe de concepteurs n’utilise pas l’IA, on va produire moins d’épreuves. De meilleure qualité, c’est sûr, mais moins quand même. Les participants vont utiliser l’IA pour les résoudre (à grands coups de jetons dans le CTF IA, ou de façon plus modérée dans le CTF sans IA, mais l’IA est là dans les deux cas) et vont donc « brûler » plus d’épreuves. Ça nous laisse trois options :
- Recruter plus de concepteurs. On cherche de nouveaux membres cette année si ça vous intéresse! Ça semble l’option évidente : on double le nombre de concepteurs et le problème est réglé. Mais trouver des gens qui veulent vraiment créer des épreuves en limitant l’IA (ce qui veut dire qu’ils vont consacrer beaucoup plus de leur temps libre au Hackfest) est assez difficile. On a aussi un petit processus de sélection qui écarte quelques recrues potentielles. Une plus grosse équipe nous coûte aussi plus cher. On est tous bénévoles, mais on paie quand même les hôtels, la nourriture, le swag, les coins et quelques autres choses. Enfin, gérer une équipe de bénévoles, c’est un travail en soi. Plus il y a de monde, plus je dois (oui, moi) investir de temps dans les réunions hebdomadaires, les suivis et à garder tout le monde aligné et concentré.
- Commencer à créer les épreuves plus tôt. J’ai un terrible secret. Le lancement officiel de l’équipe du HFCTF est toujours en août, seulement trois mois avant le CTF. Bien sûr, certains concepteurs commencent dès décembre, mais le vrai rush ne commence qu’en août. C’est en partie parce qu’on organise un deuxième événement, le iHack, en juin, alors notre attention est surtout là pendant la première moitié de l’année, et aussi parce qu’on ne veut pas forcer nos bénévoles à travailler sur le CTF toute l’année.
- Accepter que certaines équipes finissent le CTF plus tôt. Personnellement, je détesterais ça. Les gens s’inscrivent à un CTF de 24 h, pas de 16 h, qu’ils utilisent l’IA ou non.
On n’a pas encore décidé exactement ce qu’on va faire. Mais une chose est sûre : on ne va pas simplement « refaire la même chose ». Je veux que le HFCTF soit une référence de qualité en matière de CTF, et j’ai le privilège de travailler avec des concepteurs très talentueux, tout à fait capables d’offrir cette qualité.
En conclusion
Si vous avez pris le temps de remplir le sondage, merci! Le HFCTF est un événement façonné par la communauté, et c’est pour ça qu’on prend vos commentaires très au sérieux. Si votre expérience cette année n’a pas été à la hauteur de vos attentes, vos commentaires vont nous aider à ajuster la formule pour l’an prochain. On sait aussi qu’en général, les gens qui ont des commentaires positifs répondent moins aux sondages. Alors si vous nous avez dit ce que vous avez aimé, merci aussi! Et s’il y a une épreuve en particulier que vous avez adorée, prenez une minute pour le dire au sympathique concepteur qui l’a créée! Ce sont ces commentaires qui nous font continuer année après année. Dans tous les cas, j’espère que vous avez aimé le CTF cette année, et on espère vous revoir dans les tranchées l’an prochain!
C’est tout pour moi, soyez prudents et hack the planet!
Et je sais que vous le savez, mais l’article original a été écrit sans IA générative.
Sources
- A Look Back on HFCTF 2026 and Where Are We Headed medium.com ↗