Comment fonctionne la reconnaissance faciale?



La reconnaissance faciale est devenue une technologie courante, largement acceptée pour des usages comme les filtres sur Instagram ou le déverrouillage des téléphones via Face ID. Cependant, cette technologie récente peut susciter des inquiétudes. En effet, votre visage est unique, à l’instar d’une empreinte digitale, et la technologie de reconnaissance faciale est, de fait, complexe.

Comme toute technologie novatrice, la reconnaissance faciale présente des inconvénients. Ces derniers sont de plus en plus évidents à mesure que des acteurs tels que l’armée, les forces de police, les publicitaires, et les créateurs de deepfakes découvrent de nouvelles manières détournées d’exploiter les logiciels de reconnaissance faciale.

Il est donc crucial de comprendre le fonctionnement de la reconnaissance faciale, ses limites et son évolution future.

Le fonctionnement de la reconnaissance faciale : une simplicité trompeuse

Avant d’examiner les différents types de reconnaissance faciale, il est important d’en comprendre les mécanismes fondamentaux. Voici trois applications courantes des logiciels de reconnaissance faciale, ainsi qu’une description simplifiée de la manière dont ils identifient les visages:

Reconnaissance faciale basique: Pour les filtres Animoji ou Instagram, la caméra de votre téléphone « cherche » les caractéristiques distinctives d’un visage, notamment les yeux, le nez et la bouche. Des algorithmes sont ensuite utilisés pour identifier le visage, déterminer sa direction, si la bouche est ouverte, etc. Il est important de noter qu’il ne s’agit pas d’une identification faciale, mais simplement d’un logiciel détectant des visages.
Face ID et systèmes similaires: Lors de la configuration de Face ID (ou d’un système similaire) sur votre téléphone, une photo de votre visage est prise, et la distance entre vos traits est mesurée. Lors du déverrouillage, le téléphone « vérifie » via la caméra et compare les mesures pour confirmer votre identité.
Identification d’un inconnu: Quand une entité souhaite identifier un visage à des fins de sécurité, publicitaires ou judiciaires, elle utilise des algorithmes pour comparer le visage à une vaste base de données. Le processus est similaire à Face ID, mais à plus grande échelle. Théoriquement, n’importe quelle base de données peut être utilisée (cartes d’identité, profils Facebook), mais une base de données de photos claires et pré-identifiées est idéale.

Puisque la reconnaissance faciale de base (pour les filtres Instagram) est un processus simple et sans conséquence, nous allons nous concentrer sur l’identification faciale et les diverses technologies utilisées pour identifier un visage.

La reconnaissance faciale basée sur les images 2D : une méthode courante

La plupart des logiciels de reconnaissance faciale utilisent des images 2D. Ce choix n’est pas basé sur la précision, mais sur la commodité. La majorité des appareils photos prennent des photos sans profondeur, et les images disponibles pour les bases de données de reconnaissance faciale (photos de profil Facebook, par exemple) sont en 2D.

Pourquoi l’imagerie faciale 2D n’est-elle pas la plus précise? En raison du manque d’informations relatives à la profondeur. Avec une image 2D, un ordinateur peut mesurer la distance interpupillaire ou la largeur de la bouche, mais il ne peut déterminer ni la longueur du nez ni la proéminence du front.

De plus, l’imagerie faciale 2D dépend du spectre de la lumière visible. Elle ne fonctionne donc pas dans l’obscurité et peut être peu fiable avec un éclairage faible ou des ombres.

Pour surmonter ces lacunes, l’imagerie faciale 3D est une solution. Mais comment fonctionne-t-elle ? Faut-il un équipement spécial pour visualiser un visage en 3D ?

Les caméras infrarouges : une dimension ajoutée à l’identification

Bien que certains systèmes de reconnaissance faciale se basent sur des images 2D, il est fréquent qu’ils aient recours à l’imagerie 3D. Votre expérience avec la reconnaissance faciale implique probablement une part de 3D.

Cette technologie fonctionne grâce à une technique appelée lidar, similaire au sonar. Les appareils de numérisation faciale, comme votre iPhone, projettent une matrice infrarouge sur votre visage. Cette matrice (un réseau de lasers) est réfléchie par votre visage et captée par une caméra infrarouge (ou une caméra ToF) de votre téléphone.

Comment se matérialise la 3D? La caméra infrarouge mesure le temps nécessaire à chaque rayon infrarouge pour se réfléchir sur votre visage et revenir au téléphone. La lumière réfléchie par votre nez mettra moins de temps que celle réfléchie par vos oreilles. Ces informations permettent de créer une carte de profondeur de votre visage. Combinée à l’imagerie 2D, l’imagerie 3D améliore considérablement la précision de la reconnaissance faciale.

Le concept de l’imagerie lidar peut paraître abstrait. Imaginez que le maillage infrarouge de votre téléphone (ou de tout autre appareil de reconnaissance faciale) est un tableau à épingles. Votre visage laisserait une empreinte dans le maillage, le nez étant plus profond que les yeux par exemple.

L’imagerie thermique : pour une reconnaissance faciale nocturne

Une des limites de la reconnaissance faciale 2D est sa dépendance à la lumière visible. La reconnaissance faciale de base ne fonctionne pas dans le noir. Ce problème peut être résolu avec une caméra thermique.

L’imagerie thermique détecte non pas la lumière infrarouge émise par un projecteur, mais la lumière infrarouge émise par les objets eux-mêmes. Les objets chauds émettent beaucoup de lumière infrarouge, contrairement aux objets froids. Les caméras thermiques sophistiquées détectent de subtiles variations de température, ce qui en fait une technologie idéale pour la reconnaissance faciale.

Une image du spectre de la lumière visible, une image thermique et une image thermique composite.

Il existe plusieurs méthodes pour identifier un visage par l’imagerie thermique. Ces méthodes sont complexes, mais partagent des similitudes. En voici une présentation simplifiée:

Plusieurs photos sont nécessaires : Une caméra thermique prend plusieurs clichés du visage d’un sujet, en se concentrant sur différents spectres de lumière infrarouge. Généralement, le spectre des ondes longues donne le plus de détails.
Les cartes des vaisseaux sanguins sont utiles : Ces images infrarouges peuvent révéler la structure des vaisseaux sanguins du visage, une sorte d’empreinte digitale faciale. Elles peuvent aussi déterminer la distance entre les organes du visage (si l’imagerie thermique standard donne une image de mauvaise qualité) ou identifier ecchymoses et cicatrices.
Le sujet peut être identifié : Une image composite est créée à partir des images infrarouges. Cette image est ensuite comparée à une base de données pour identifier le sujet.

La reconnaissance faciale thermique est généralement utilisée dans le domaine militaire et ne fait pas partie des technologies présentes dans les téléphones portables. De plus, l’imagerie thermique n’est pas très efficace pendant la journée. Ses applications sont donc limitées.

Les limites de la reconnaissance faciale

Malgré ses avancées, la reconnaissance faciale a ses limites. Voici quelques problèmes non résolus:

Obstruction : Les lunettes de soleil et autres accessoires peuvent fausser la reconnaissance faciale.
Poses : La reconnaissance faciale fonctionne mieux avec un visage neutre et tourné vers l’avant. Une inclinaison ou une rotation de la tête peut compliquer l’identification, même avec la technologie infrarouge. Un sourire ou toute autre expression faciale peut modifier les mesures du visage.
Lumière : Toutes les formes de reconnaissance faciale dépendent de la lumière, qu’elle soit visible ou infrarouge. Des conditions d’éclairage inhabituelles peuvent réduire la précision de l’identification. Cela pourrait changer avec le développement de la reconnaissance faciale basée sur le sonar.
La base de données : Sans une base de données de qualité, la reconnaissance faciale est inefficace. De même, il est impossible d’identifier une personne qui n’a pas été enregistrée auparavant.
Traitement des données : L’identification peut prendre du temps en fonction de la taille et du format de la base de données. Les limites du traitement de données peuvent restreindre l’utilisation de la reconnaissance faciale pour des applications quotidiennes, notamment pour les forces de l’ordre.

Pour pallier ces limitations, il est souvent nécessaire de combiner la reconnaissance faciale avec d’autres formes d’identification. Votre téléphone demande un mot de passe ou une empreinte digitale en cas d’échec de l’identification faciale. Le gouvernement chinois utilise cartes d’identité et technologies de suivi pour réduire la marge d’erreur de son système de reconnaissance faciale.

Les scientifiques trouveront sûrement des solutions à ces problèmes. Ils pourraient utiliser la technologie sonar en plus du lidar pour créer des cartes faciales 3D, et améliorer le traitement des données pour une identification plus rapide. Le potentiel d’abus est réel, il est donc essentiel de suivre les développements de cette technologie.

Sources: L’Université de Rijeka, La Fondation Electronic Frontier