La classifcation des images

Contexte et apprentissage

L'intelligence artificielle on en parle depuis plus de 50 ans maintenant. L'histoire du domaine est un peu agitée et bruyante. Ça a commencé par une période de grand enthousiasme où on s'imaginait qu'on arriverait très vite à faire des choses assez incroyables. Puis ça a été suivi par une période un peu plus sombre de désillusion où on a finalement constaté qu'on avait un peu sous-estimé les difficultés. Dans les années 90, le domaine a subi une renaissance sous le nom « machine learning ou apprentissage automatique en français ». Le machine learning c’est un domaine de l’intelligence artificiel qui étudie comment des algorithmes peuvent apprendre en se basant sur "des exemples". Et le « deep learning ou apprentissage profond » en est une manière particulière pour faire du machine learning. Celui-ci, pousse cet apprentissage encore plus profond pour pouvoir grossièrement s’approcher de l’intelligence humaine.

L’idée folle de faire du deep learning a été rejetée depuis longtemps car a priori elle ne pouvait pas fonctionner. Mais Il y a eu quand même des gens qui ont voulu essayer. Un de ces pionniers, c'est un français qui s'appelle Yann Le Cun. Celui-ci a développé un type de réseau de neurone particulier qui s’appelle « le réseau de neurone convolutionnel (CNN) ». Ces réseaux sont une forme particulière de réseau neuronal multicouche dont l’architecture des connexions est inspirée de celle du cortex visuel des mammifères. Par exemple, chaque élément n’est connecté qu’à un petit nombre d’éléments voisins dans la couche précédente. En 1995, Yan le Cun et deux autres ingénieurs ont développé un système automatique de lecture de chèques qui a été déployé largement dans le monde. À la fin des années 90, ce système lisait entre 10 et 20 % de tous les chèques émis aux États-Unis. Mais ces méthodes étaient plutôt difficiles à mettre en œuvre avec les ordinateurs de l’époque, et malgré ce succès, les réseaux convolutionnels et les réseaux neuronaux plus généralement ont été délaissés par la communauté de la recherche entre 1997 et 2012.

La période de renaissance

Depuis 2010, l’intelligence artificiel connaît toutefois un nouvel essor du fait, principalement, de l’amélioration considérable de la puissance de calcul des ordinateurs et d’un accès à des quantités massives de données. Ce dernier a permis de pouvoir utiliser des algorithmes de classification d’images et de reconnaissance d’un chat par exemple, il fallait auparavant réaliser soi-même un échantillonnage. Aujourd’hui, une simple recherche sur Google permet d’en trouver des millions. Ensuite la découverte de la très grande efficacité des processeurs de cartes graphiques des ordinateurs pour accélérer le calcul des algorithmes d’apprentissage. Le processus étant très itératif, cela pouvait prendre des semaines avant 2010 pour traiter l’intégralité d’un échantillonnage. La puissance de calcul de ces cartes, (capables de plus de mille milliards d’opérations par seconde) a permis un progrès considérable pour un coût financier restreint (moins de 1000 euros la carte)

Parmi les techniques d’apprentissage machine (machine learning), c’est celle de l’apprentissage profond qui paraît la plus prometteuse pour un certain nombre d’application (dont la reconnaissance de voix ou d’images). En effet dès 2003 des expériences sont menées simultanément par Microsoft, Google et IBM avec l’aide du laboratoire de Toronto de Hinton qui ont montré que les réseaux profonds pouvaient diminuer de moitié les taux d’erreurs des systèmes de reconnaissance vocale. Et le fait que plusieurs records en reconnaissance d’image ont été obtenus par des algorithmes basées sur des réseaux de neurones convolutionnels.

La diminution des taux d’erreurs était telle une véritable révolution que du jour au lendemain, la majorité des équipes de recherche en parole et en vision ont abandonné leurs méthodes préférées et sont passées aux réseaux de neurones convolutionnels et autres réseaux neuronaux. L’industrie d’Internet a immédiatement saisi l’opportunité et a commencé à investir massivement dans des équipes de recherche et développements en apprentissage profond.

Objectif et motivations

L’objectif de la classification d’images est d’élaborer un système capable d’affecter une classe automatiquement à une image. Ainsi, ce système permet d’effectuer une tâche d’expertise qui peut s’avérer couteuse à acquérir pour un être humain en raison notamment de contraintes physiques comme la concentration, la fatigue ou le temps nécessité par un volume important de données images.

Les applications de la classification automatique d’images sont nombreuses et le point commun à toutes ces applications est qu’elles nécessitent la mise en place d’une chaîne de traitement à partir des images disponibles composées de plusieurs étapes afin de fournir en sortie une décision. Chaque étape de la mise en place d’un tel système de classification nécessite la recherche de méthodes appropriées pour une performance globale optimale à savoir la phase d’extraction de caractéristiques et la phase d’apprentissage.

Typiquement, nous disposons de données images desquelles il nous faut extraire des informations pertinentes traduites sous formes de vecteurs numériques. Cette phase d’extraction nous permet de travailler dans un espace numérique. Il s’agit ensuite d’élaborer, dans la phase d’apprentissage, à partir de ces données initiales, une fonction de décision pour décider de l’appartenance d’une donnée nouvelle a l’une des classes en présences. La phase d’extraction de caractéristiques peut être précédée d’une phase dite de pré- traitement. Cette phase a pour but de nettoyer l’image, c’est-à-dire d’isoler le contenu informatif ou d’intérêt dans l’image. Cette opération permet ainsi d’occulter ou d’atténuer toute information susceptible de nuire à la description du contenu pertinent lors de la phase d’extraction de caractéristiques.

On retrouve la classification automatique sur divers domaines notamment sur des applications dans le domaine médical comme la reconnaissance de cellules, dans le domaine du document comme la reconnaissance d’écriture manuscrite pour les chèques, les codes postaux, les cartes, dans le domaine urbain comme la reconnaissance de piétons, la détection de véhicules ; dans le domaine de la biométrie comme la reconnaissance de visage.

La classification supervisée

Matrice de confusion

Une matrice de confusion est une matrice qui mesure la qualité d'un système de classification, il représente les performances d’un modèle de classification dans une matrice dite de confusion. Chaque ligne correspond à une classe réelle, chaque colonne correspond à une classe estimée. La cellule ligne L, colonne C contient le nombre d'éléments de la classe réelle L qui ont été estimés comme appartenant à la classe C.

Un des intérêts de la matrice de confusion est qu'elle montre rapidement si un système de classification parvient à classifier correctement.

Prenons l’exemple d’un classifieur binaire, c’est-à-dire, qui prédit 2 classes notées classe 0 et classe 1. Pour mesurer les performances de ce classifieur, il est d’usage de distinguer 4 types d’éléments classés pour la classe voulue :

• Vrai positif (VP)    : Elément de la classe 1 correctement prédit
• Vrai Négatif (VN)  : Elément de la classe 0 correctement prédit
• Faux positif (FP)   : Elément de la classe 0 correctement prédit
• Faux Négatif (FN) : Elément de la classe 0 correctement prédit

Ces informations peuvent être rassemblés et visualisés sous forme de tableau dans une matrice de confusion. Dans le cas d’un classifieur binaire, on obtient :

Exemple

Pour bien comprendre la notion de matrice de confusion, prenons cet exemple tiré sur Wikipédia

On souhaite mesurer la qualité d'un système de classification de courriers électroniques. Les courriers sont classifiés selon deux classes : courriel pertinent ou pourriel intempestif. Supposons que notre classificateur est testé avec un jeu de 200 mails, dont 100 sont des courriels pertinents et les 100 autres sont des pourriels.

Pour cela, on veut savoir :

• Combien de courriels seront faussement estimés comme des pourriels (fausses alarmes) et
• Combien de pourriels ne seront pas estimés comme tels et classifiés à tort comme courriels.

La matrice de confusion suivante se lit alors comme suit :

• Horizontalement, sur les 100 courriels initiaux (i.e. : 95+5), 95 ont été estimés par le système de classification comme tels et 5 ont été estimés comme pourriels (i.e. : 5 faux-négatifs),
• Horizontalement, sur les 100 pourriels initiaux (i.e. : 3+97), 3 ont été estimés comme courriels (i.e. : 3 faux-positifs) et 97 ont été estimés comme pourriels,
• Verticalement, sur les 98 mails (i.e. : 95+3) estimés par le système comme courriels, 3 sont en fait des pourriels,
• Verticalement, sur les 102 mails (i.e. : 5+97) estimés par le système comme pourriels, 5 sont en fait des courriels.
• Diagonalement (du haut gauche, au bas droit), sur les 200 courriels initiaux, 192 (95 + 97) ont été estimés correctement par le système.

Ces informations peuvent être rassemblés et visualisés sous forme de tableau dans une matrice de confusion. Dans le cas d’un classifieur binaire, on obtient :

		Classe estimée par le classificateur
		Courriel	Pourriel
Classe réelle	Courriel	95 (vrais positifs)	5 (faux négatifs)
	Pourriel	3 (faux positifs)	97 (vrais négatifs)

Cette notion s'étend à un nombre quelconque de classes. On peut normaliser cette matrice pour en simplifier la lecture : dans ce cas, un système de classification sera d'autant meilleur que sa matrice de confusion s'approchera d'une matrice diagonale.

Notons que la matrice de confusion est aussi généralisable lorsqu’il y a k > 2 classes à prédire (Nombre de classe). À partir de la matrice de confusion on peut dériver tout un tas de critères de performance. De manière générale, on préfère donner une fraction d'erreurs à un nombre total d'erreurs. Voici quelques exemples de mesures de performance souvent utilisées :

La précision, c’est-à-dire la proportion de prédictions correctes parmi les points que l’on a prédits positifs : $$précision = {VP \over VP + FP}.$$

Rappel. Proportion d’éléments bien classés par rapport au nombre d’éléments de la classe à prédire : $$Rappel = {VP \over VP + FN}$$

F-mesure. Mesure de compromis entre précision et rappel : $$F - mesure = 2×{Précision × Rapel \over Précision + Rapel}$$

Dans notre cas d'étude on va représenter les matrices de confusions de la manière suivante :

On pourrait avoir deux cas de figures :

• Une matrice dont la diagonale est très foncé (sombre) : Ce qui veut dire que le système de classifcation fait bien sont travail.
• Une matrice dont la diagonale ne contient pas le maximum de couleur foncés: dans ce cas il faut revoir le système et modifier certains paramètres afin que cette matrice devien diagonal.