L’ajout d’un peu de bruit calculé aux photos numériques d’un visage convainc certains systèmes de reconnaissance faciale qu’ils regardent une autre personne, selon une entreprise israélienne qui construit des mesures de sécurité pour l’IA.
Adversa, dont le modèle économique convainc l’industrie de l’IA de sa vulnérabilité, affirme avoir créé une nouvelle « attaque unique, furtive et transférable de type boîte noire ». Appelée Adversarial Octopus, l’attaque tromperait les modèles d’IA biométriques et les API.
En fait, la société affirme qu’elle peut contourner PimEye, le moteur de recherche avancé de biométrie faciale en Pologne. Il prétend qu’Octopus est unique en ce qu’il a été développé sans aucune connaissance détaillée des algorithmes de PimEye.
L’attaque pourrait être utilisée pour empoisonner les algorithmes de vision par ordinateur et produire des deepfakes plus difficiles à repérer, selon la société. Il affirme qu’il ne publiera pas d’article décrivant l’attaque tant que ses codeurs n’auront pas terminé les défenses des applications d’IA des clients.
Octopus calcule les changements à chaque couche d’un réseau de neurones et utilise un cadre de détection de visage aléatoire, selon Adversa. Le code d’attaque a été entraîné sur plusieurs modèles de reconnaissance faciale avec un bruit bleu et aléatoire. Et pour se cacher, Octopus fait de petits changements de pixels et atténue le bruit contradictoire.
La dangerosité d’Octopus fait l’objet d’un débat. Premièrement, la vérification d’identité est dominée par des techniques de reconnaissance faciale un-à-un, et non un-à-plusieurs, ce qui limite son impact potentiel.
De plus, comme indiqué dans un article de Vice sur Octopus, l’attaque pourrait avoir un potentiel limité contre les systèmes d’IA les plus avancés. Il est trop tôt pour le dire.
Sujets des articles
Adversa | IA | identification biométrique | biométrie | reconnaissance faciale | vérification d’identité | PimEyes | recherche et développement | usurpation