L'évaluation des performances des systèmes de vision est bien souvent empirique. Comme le mentionne Bernd Jähne (1), c'est une partie bien souvent négligée. Les critères utilisés pour évaluer un système sont :
- la réussite de la tâche,
- la précision,
- et la vitesse.
Comme je l'ai indiqué précédemment, nous devrions ajouter à ses critères celui de la capacité d'une proposition à enrichir les connaissances sur l'objet étudié.
Malheureusement, ces critères (réussite, précision, vitesse) sont le plus souvent définis empiriquement. C'est-à-dire que le système est confronté à un ensemble d'images qui peuvent être synthétiques ou issues du monde réel. Les performances sont alors estimées selon la réussite/précision/vitesse du traitement des images.
C'est également de cette manière qu'un système est réglé. Les paramètres sont ajustés pour obtenir une bonne réussite/précision/vitesse de traitement.
Pourtant, il serait bon de définir des propriétés fondamentales devant être vérifiées par un système. L'énoncé de propriétés théoriques permettrait de comparer plus aisément les systèmes et algorithmes entre eux. De plus, cela ouvrirait la voie à l'obtention de systèmes optimaux.
C'est ainsi que Canny en 1986 a posé les bases d'un détecteur de contours optimal. Les propriétés fondamentales cherchées étaient : bonne détection, bonne localisation et réponse unique. Le filtre de Canny ainsi obtenu garantit une réponse optimale à ces critères, quelle que soit l'image traitée.
Il me semble que les domaines ayant bénéficié d'avancées sont ceux dont les objectifs et les propriétés recherchées ont été formalisés. Par exemple : les détecteurs de contours ou la classification.
Il reste des domaines où l'empirisme règne en maître. Il serait bon d'apporter des réponses à des questions telles que :
- Quelles sont les propriétés fondamentales d'un système de reconnaissance d'objets ?
- Quelles sont celles d'un système d'indexation d'images ou d'un algorithme de segmentation ?
FMN.
-
B. Jähne et H. Haussecker, « Computer Vision and Applications - A Guide for Students and Practionners », Academic Press, 2000. ↩