● Next INpact Télécom
📅 24/03/2026 à 16:24
Le logiciel PhotoDNA de détection des contenus pédosexuels peut incriminer des innocents
Cybersécurité
👤 Jean-Marc Manach
Le logiciel PhotoDNA de détection des contenus pédosexuels peut incriminer des innocents Hashes to ashes Illustration : Flock Jean-Marc Manach Le 24 mars à 16h24 Des chercheurs ont identifié au moins quatre vulnérabilités critiques dans le principal logiciel utilisé pour détecter les contenus pédosexuels. Elles sont susceptibles d’entraîner des fuites d’informations sensibles, la distribution non détectée de contenus pédosexuels, ainsi que des accusations injustifiées pouvant potentiellement incriminer, à tort et à grande échelle, des innocents. Une erreur ? Des chercheurs de l’université de Gand (UGent) et du Computer Security and Industrial Cryptography group (COSIC) de l’université catholique de Louvain (KU Leuven) ont identifié quatre importantes failles de sécurité dans PhotoDNA, le logiciel Microsoft de référence en matière de détection des contenus pédosexuels ou terroristes en ligne. Ils y consacrent un site dédié, pseudodna.eu, dans la mesure où ils estiment que ces failles « pourraient toucher des millions d’utilisateurs et soulever des inquiétudes quant à la fiabilité des systèmes de détection existants ». PhotoDNA est en effet utilisé par de grandes plateformes à l’échelle mondiale telles que Google, Instagram, TikTok, Facebook et Microsoft, et des milliards d’images sont analysées chaque jour à l’aide de cette technologie. Un logiciel initié en 2009, élargi à la lutte contre le terrorisme en 2015 Sur la page dédiée à PhotoDNA, Microsoft explique s’être associé avec le Darmouth College en 2009 afin de développer une technologie susceptible d’aider à repérer et supprimer les images connues d’exploitation et d’abus pédosexuels (CSAM, pour child sexual abuse material en anglais), terme privilégié par les autorités au motif que « lorsqu’il s’agit d’enfants, ce n’est pas du porno ». Pour cela, PhotoDNA génère une signature numérique unique (appelée « hachage », ou hashes en anglais) des images, qui est ensuite comparée aux signatures hachées des photos de contenus pédosexuels afin d’en repérer les copies. Description imagée du fonctionnement de PhotoDNA par Microsoft Microsoft précise que « PhotoDNA n’est pas un logiciel de reconnaissance faciale et ne peut pas être utilisé pour identifier une personne ou un objet dans une image ». Mais également qu’un hachage PhotoDNA « n’est pas réversible et ne peut donc pas être utilisé pour recréer une image ». Microsoft a depuis fait don de PhotoDNA au National Center for Missing & Exploited Children (NCMEC), le centre états-unien de coordination et de signalement pour toutes les questions liées à la prévention et à la prise en charge des enfants victimes d’enlèvements, d’abus et d’exploitation, qui compte nombre de partenaires, notamment technologiques. Le logiciel est également mis gracieusement à disposition des organisations éligibles, dont des entreprises technologiques, développeurs et organisations à but non lucratif, ainsi qu’aux forces de l’ordre, principalement par l’intermédiaire des développeurs d’outils d’analyse criminalistique. En 2015, Microsoft a lancé PhotoDNA en tant que service sur Azure, PhotoDNA Cloud, à destination des petites entreprises et organisations qui « souhaitent offrir à leurs utilisateurs la possibilité de télécharger du contenu tout en garantissant l’intégrité de leurs plateformes ». Cette même année, Hany Farid, l’universitaire états-unien qui avait participé au développement de PhotoDNA, améliora le logiciel pour qu’il puisse aussi identifier les contenus audio et vidéo, et servir à endiguer le flot de propagande terroriste sur les réseaux sociaux. Fin 2016, Facebook, Microsoft, Twitter et YouTube annonçaient la création d’une base de données commune contenant les hashes des images et vidéos terroristes supprimées de leurs services. La FAQ de PhotoDNA Cloud précise cela dit que le service « est actuellement utilisé exclusivement pour identifier les images d’exploitation d’enfants ». Microsoft ne donne pas de chiffre précis, se bornant à préciser que « PhotoDNA est utilisé par des organisations du monde entier et a contribué à la détection, au démantèlement et au signalement de millions d’images d’exploitation d’enfants ». Hany Farid vient quant à lui de se voir décerner un prix de 100 000 dollars récompensant l’impact social de ses travaux de recherche, à commencer par PhotoDNA. Des « faiblesses structurelles » susceptibles de générer des faux positifs Les chercheurs expliquent de leur côté que leur étude « fournit la première description mathématique complète de l’algorithme PhotoDNA », et qu’elle met en évidence des « faiblesses structurelles » susceptibles de compromettre la fiabilité des systèmes de détection de contenus pédosexuels. Elles montrent en effet que des attaquants peuvent facilement, en quelques secondes, manipuler des images partagées par des utilisateurs innocents, conduisant à de fausses accusations de partage de contenus pédosexuels. Ils pourraient également, et facilement, contourner la détection en modifiant des contenus illégaux, leur permettant de diffuser du CSAM sans être détectés ni signalés par les systèmes existants. Ils ont principalement identifié quatre failles, relevant de techniques d’évasion de la détection, de génération de faux positifs, de régénération d’images à partir de leurs hashes, et d’attaques par collision, de sorte que deux images différentes partagent la même valeur de hachage. La première technique permet à un attaquant de modifier légèrement une image choisie afin que sa valeur de hachage diffère sensiblement de celle de l’original, afin d’éviter toute correspondance avec des empreintes d’images pédosexuels connues. La seconde permet, a contrario, d’effectuer une légère modification à une image anodine pour produire des empreintes identiques à celles d’images pédosexuels connues, pouvant conduire à des accusations injustifiées. Les quatre types d’attaques avec leurs photos et hashes respectifs Une troisième technique permet de régénérer un avatar de l’image d’origine à partir de son hash, et donc de reconstituer partiellement des informations potentiellement sensibles, mettant à mal la confidentialité présumée associée aux hashes de PhotoDNA, contredisant les affirmations précédentes d’irréversibilité. La dernière permet de modifier deux images de manière à ce qu’elles aient la même valeur de hachage, et donc la même empreinte PhotoDNA. « Il est facile d’incriminer quelqu’un en lui envoyant un faux contenu » Les chercheurs soulignent en outre que « nos attaques ont un taux de réussite proche ou égal à 100 % », et qu’elles « s’exécutent en quelques secondes ou minutes sur un ordinateur portable standard », ce qui « représente une amélioration considérable par rapport aux attaques connues jusqu’à présent » : « Il est possible, à la fois de contourner les systèmes de détection et de provoquer des correspondances erronées, et ce de manière rapide et fiable, en utilisant des ressources informatiques courantes. » « Nos travaux démontrent que PhotoDNA n’est pas fiable pour la détection de contenus illicites », écrivent-ils dans le résumé de leur preprint : Soutenez un journalisme indépendant, libre de ton, sans pub et sans reproche. Accédez en illimité aux articles Profitez d'un média expert et unique Intégrez la communauté et prenez part aux débats Partagez des articles premium à vos contacts Abonnez-vous La suite de cet article est réservée à nos abonnés Soutenez un journalisme indépendant, expert et sans pub. Abonnez-vous sur next.ink/subs Signaler un commentaire Voulez-vous vraiment signaler ce commentaire ? Non Oui Un logiciel initié en 2009, élargi à la lutte contre le terrorisme en 2015 Des « faiblesses structurelles » susceptibles de générer des faux positifs « Il est facile d'incriminer quelqu'un en lui envoyant un faux contenu » Une divulgation concertée avec Microsoft Commentaires
🔗 Lire l'article original
👁️ 1 lecture