• [cliquer ici pour la version en français]

Translate original post with Google Translate

Hemery, B., Laurent, H. & Rosenberger, C., 2007, Image and Graphics, 2007. ICIG 2007. Fourth International Conference on, Comparative study of metrics for evaluation of object localisation by bounding boxes. pp. 459–64.

Méthodologie/Résultats principaux

Comparaison de métriques pour des tâches de localisation à l’aide des boites englobantes (bounding boxes). Le papier donne des éléments de réponse à la question : comment se comportent 26 mesures dans une tâche de localisation?.

La tâche de localisation est simulée par une image vérité terrain (binaire) et en l’altérant en translations, rotations et homothéties.

Les résultats sont donnés sous la forme de tableau assez instructifs :

Variations en translation verticale

• Les mesures sont symétriques, ne permettant ainsi pas de différencier le sens de la translation. Plus exactement la différenciation est impossible car les valeurs sont toutes positives.
• Certaines mesures ne permettent pas de distinguer une translation de un pixel, d’une autre de x pixels. Ce sont celles qui présentent des plages (quasi-)constantes.
• La distance de Hausdorff pénalise les très grandes translations. Ce résultat est étrange à deux titres. 1/ la pente augmente avec l’altération, ce qui fait qu’une variation d’altération à petite altération est peu perceptible. Donc la pénalisation est plutôt sur les petites variations. 2/Preuve est faite que la distance de Hausdorff varie linéairement avec la translation, ce que l’on observe pas sur le graphique suivant :

Variations en homothétie verticale

Variations en rotation

Au final

Avantages/Intérêt

• Une comparaison objective bien menée

A retenir :

• Variation linéaire : cas le plus intéressant
• Pénalisation des petites ou des grandes altérations (en fonction de la forme de la variation) : variations logarithmiques / exponentielles.

Désavantages/Critique

• Restrictions aux seules transformations géométriques. Par exemple le très grande sensibilité de la distance de Hausdorff aux outliers n’apparait pas.
• Pas de mélange des transformations (ex : rotation + translation)
• Un doute sur l'interprétation des pénalisations des petites/grandes variations (amha).

FMN.