Les capteurs catadioptriques et mon travail sur le calibrage/Catadioptric sensor, my work on calibration
Présentation
Les capteurs catadioptriques sont constitués d'une caméra classique et d'un miroir. Selon le type de miroir utilisé, il est possible d'obtenir différentes propriétés. En utilisant un miroir de révolution nous parvenons à avoir une vision à 360°. Cette configuration est particulièrement bien adaptée à la robotique mobile ou à la vidéo surveillance. Dans ces types d'applications, l'élargissement du champ de vision est un atout majeur. Il existe d'autres moyens pour obtenir une vision panoramique comme, par exemple, avec l'utilisation d'une lentille fisheye ou d'une caméra tournante. Contrairement aux dispositifs à base de caméra tournante, lors de l'utilisation d'un miroir de révolution, l'accroissement du champ de vision ne se fait pas au détriment de la vitesse d'acquisition. En effet la vitesse d'acquisition est celle de la caméra classique. Cependant, le champ de vision ayant été élargi sans pour autant que la taille du capteur d'image ne soit particulièrement agrandie, la résolution de ce type de capteur est réduite.
Principe du Calibrage
Le processus de calibrage de tels systèmes n'est pas évidents puisqu'il nécessite non seulement d'évaluer les paramètres intrinsèques de la caméra mais aussi il doit estimer d'autre paramètres du miroirs, en particulier la position relative entre le miroir et la caméra. Sans cette information, il est impossible d'utiliser correctement de tels capteurs.
Nous proposons un calibrage basé sur une idée simple et originale qui est que le miroir peut servir de mire de calibrage. En effet il est toujours présent dans l'image ; il n'est jamais occulté. Il est de dimension connu. Il a toutes les propriétés d'une mire de calibrage.
Pour pouvoir réaliser ce calibrage nous avons adapté la méthode des deux plans[GrThKa88] à ce contexte. Cette méthode est simple :
on choisi deux plans de calibrage dans l'espace et on calcule deux homographies (H1 et H2) qui font passer du plan image vers les plans de calibrage. A l'aide de ces homographies on projette un ensemble de point du plan image vers chaque plan de calibrage. Donc chaque point du plan image donne un couple de points dans l'espace, et chaque couple de points donnent une droite dans l'espace. L'essemble de ces droites convergent vers le foyer de la caméra.
Pour adapter cette méthode à notre capteur, nous avons selectionné les frontières hautes et basses du miroir, nous calculons les homographies qui font passées du plan image à chaque plan de calibrage. A l'aide de ces homographies nous projetons un ensemble de point dans l'espace, pour chaque point de l'image nous obtenons un couple de points. Chaque couple de points donne un droite dans l'espace et l'ensemble des droites convergent vers le foyer de la caméra. Les droites étant exprimées dans le repère miroir, le foyer de la caméra est exprimer dans le repère miroir, ce qui nous fournis la position relative miroir caméra. Enfin, comme expliqué dans [GrThKa88], il est possible à l'aide de ces même droites d'estimer les paramètres intrinsèques de la caméra.
Comparaison des différentes méthodes existantes
Le tableau ci dessous récapitule la plupart des méthodes existantes et les compare :
| Méthode | Type de capteurs | Param. estimés | Param. manquants | Contraintes |
|---|---|---|---|---|
| Direct circle-based self-calibration | seulement paracatadioptrique | le paramètre de la parabole et le centre de l'image | le skew et l'aspect ratio | aucune |
| Self-calibration method | seulement paracatadioptrique | le paramètre de la parabole, le centre de l'image, le skew et l'aspect ratio | aucun | tracking de points (Caméra en mouvement et environnement statique) |
| Mi\v{c}u\v{s}\'ik et Pajdla | seulement paracatadioptrique et hyperboloïdique | le paramètre de la parabole, le centre de l'image, le skew et l'aspect ratio | aucun | tracking de points (Caméra en mouvement et environnement statique) |
| Geyer et Daniilidis | seulement paracatadioptrique | le paramètre de la parabole, le centre de l'image, le skew et l'aspect ratio | aucun | plusieurs ensembles de lignes parallèles dans l'espace |
| Geyer et Daniilidis | seulement paracatadioptrique | le paramètre de la parabole, le centre de l'image, le skew et l'aspect ratio | aucun | au moins 3 droites dans l'espace |
| Xianghua Ying et Zhanyi Hu | uniquement les capteurs respectant la contrainte du foyer unique | la distance focale, le centre de l'image, le skew, l'aspect ratio et la distance entre le point | aucun | au moins 2 droites ou 3 sphères |
| Cyril Cauchois | seulement muni d'un miroir conique | intrinsèques (avec distorsion !) et extrinsèques | aucun | montage d'une mire sur le capteur |
| Carnegie Mellon University | Tous type de miroir | position du miroir par rapport à la caméra | paramètres intrinsèques de la caméra | marquages précis de points de contrôle tout autour du capteur |
| Notre calibrage | tous types sauf ceux munis d'une lentille télécentrique | paramètres intrinsèques et position relative miroir-caméra | aucun | aucune (si ce n'est de connaitre deux plans de notre miroir) |
Ce tableau met en évidence que notre méthode est moins contraignante que la plupart des méthodes existantes. De plus notre méthode peut être adapté à un grand nombre de capteurs quelque soit le profil de miroir utilisé.
Conclusion
Nous proposons une méthode simple et efficace pour calibrer les capteurs catadioptriques panoramiques. Cette méthode peut être adapter à un grand nombre de capteur. Comme le processus de calibrage ne nécessite aucune intervention humaine, il peut être effectué à n'importe quel moment (régulièrement, après un événement particulier...). Toute la difficulté réside dans l'extraction des motifs de calibrage. Cette étape est primordiale, la précision du résultat en dépend...
Bibliographie et liens
Pour plus de détails sur la méthode voir :- "Calibration of Panoramic Catadioptric Sensors Made Easier", J. Fabrizio, J.-P. Tarel, et R. Benosman, IEEE European Conference Computer Vision, Workshop on Omnidirectional Vision (ECCV 02), page 45-52, Copenhague, 02 Juin 2002.
- "Localisation d'obstacles coopératifs par systèmes de vision classiques et panoramiques", J. Fabrizio - PhD thesis - Université Pierre et Marie Curie - Paris VI - December 15, 2004
- "Localisation d'obstacles coopératifs par systèmes de vision classiques et panoramiques", J. Fabrizio - PhD thesis - Université Pierre et Marie Curie - Paris VI - December 15, 2004
[GrThKa88] K. Gremban, C. H. Thorpe, and T. Kanade. "Geometric camera calibration using systems of linear equations.", Proceedings of IEEE Conference on Robotics and Automation (ICRA '88), Vol. 1, April, 1988, pp. 562 - 567.
Articles concernant le calibrage de capteurs catadioptriques :
Sing Bing Kang. "Catadioptric self-calibration.", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, volume 1, pages 201-207, 2000.
Branislav Micusk and Tomas Pajdla. "Para-catadioptric camera auto-calibration from epipolar geometry.", Proceedings of the Asian Conference on Computer Vision, January 2004.
Christopher Geyer and Kostas Daniilidis. "Catadioptric camera calibration.", In Proceedings of the 7th International Conference on Computer Vision, Kerkyra, pages 398-404, 1999.
Christopher Geyer and Kostas Daniilidis. "Paracatadioptric camera calibration.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(5):687-695, 2002.
Xianghua Ying and Zhanyi Hu. "Catadioptric camera calibrage using geometric invariants.", In Proceedings of the 9th International Conference on Computer Vision, Nice, 2003.
Cyril Cauchois. "Modelisation et Calibration du Capteur Omnidirectionnel SYCLOP : Application a la Localisation Absolue en Milieu Structure.", PhD thesis, 2001.
D. Strelow, J. Mishler, D. Koes, and S. Singh. "Precise omnidirectional camera calibration.", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 689-694, 2001.