Options
Contributions to image processing algorithms for advanced 3D vision devices
Auteur(s)
Mure-Dubois, James
Editeur(s)
Hügli, Heinz
Date de parution
2009
Mots-clés
Résumé
Cette thèse est une contribution au champ vaste et dynamique de la vision 3D. Le travail présenté s’intéresse au rôle joué par les algorithmes de traitement d’image dans des systèmes de vision 3D spécifiques ainsi que dans des applications novatrices. Deux systèmes d’imagerie 3D très différents sont considérés : un microscope 3D basé sur le principe <i>depth from focus</i>, et une caméra 3D à temps réel utilisant des mesures temps de vol (<i>time-of-light ou TOF</i>). Une présentation concise du principe de récupération des informations de profondeur permet de souligner certains aspects critiques pour la performance des systèmes et de proposer de nouvelles approches et de nouveaux algorithmes pour des applications exigeantes. La première partie de cette thèse est consacrée à la conception d’un nouveau senseur 3D destiné à un système de vision embarqué pour le micro-assemblage. Le principe <i>depth from</i> focus est sélectionné et implémenté à l’aide d’un dispositif microscope miniature. L’étude montre que dans ce cas, la plupart des limites technologiques sont liées à la taille des composants optiques requis pour des mesures à haute résolution, tandis que les algorithmes de traitement d’image sont facilement adaptés pour atteindre le fonctionnement en temps réel. Une seconde partie est dédiée à l’étude des caméras temps de vol, en mettant l’accent sur les algorithmes de traitement d’image pour la réduction des erreurs de mesure. Plusieurs sources d’erreurs sont présentées et analysées. Alors que les précédentes études s’attaquaient à la réduction d’erreur au niveau du matériel, le présent travail analyse qualitativement et quantitativement un dispositif déjà commercialisé et cherche à améliorer les données mesurées à l’aide d’algorithmes de traitement d’image. Les différentes sources d’erreur, comme le bruit, les effets de réflexions multiples et la diffusion (<i>scattering</i>), sont prises en compte. Un chapitre entier est consacré à une analyse détaillée du phénomène de <i>scattering</i> observé avec les caméras TOF. Cette analyse nous permet de définir une stratégie pour la compensation du <i>scattering</i> basée sur le filtrage d’image. Différentes implémentations sont comparées ; c’est une solution basée sur le filtrage dans le domaine Fourier qui est finalement préférée, dans la mesure où elle permet de meilleures performances en termes de vitesse pour le filtre de compensation. Le dernier problème étudié dans cette thèse concerne l’utilisation simultanée de plusieurs caméras TOF. Comparé à une caméra unique, un système multi-caméras permet d’éviter les occlusions dans les données acquises, et fournit généralement un champ de vision plus étendu. Mais les différentes vues doivent être alignées pour pouvoir être exploitées comme un tout. Cette thèse comporte une comparaison entre différents algorithmes d’alignement, basée sur des scènes réelles acquises par deux caméras TOF. Plusieurs méthodes courantes sont présentées et évaluées expérimentalement. Les performances observées restent médiocres, ce qui s’explique par le bruit important que comportent les images TOF. Pour y remédier, cette thèse propose une méthode d’alignement simple et mieux adaptée, basée sur l’extraction et l’appariement d’une région plane commune aux deux vues. L’expérimentation montre que cette technique est bien adaptée aux caméras TOF actuellement disponibles. Finalement, nous discutons d’un exemple particulier parmi les nouvelles applications permises par la combinaison de caméras TOF et d’algorithmes de traitement d’image avancés : les systèmes de surveillance. Par rapport aux données vidéo conventionnelles, les images de profondeur permettent une segmentation et une interprétation de la scène plus aisée. Dans de nombreuses situations, la compensation du <i>scattering</i> permet d’éviter des mesures erronées, tandis que l’alignement de caméras garantit une vue complète de la scène sous surveillance. Ces améliorations font de la surveillance par caméras TOF une alternative avantageuse aux systèmes actuels basés sur des caméras 2D conventionnelles., This thesis is a contribution to the wide and steadily evolving field of 3D vision. The presented work focuses on the role played by image processing algorithms employed in specific 3D vision systems and in challenging 3D applications. Two very different 3D imaging systems are considered: a 3D microscope based on the depth from focus principle, and a real-time 3D camera using time-of-flight (TOF) measurements. A concise presentation of the operating principle for recovery of depth information allows to highlight some critical aspects relating to the device performance and to propose new approaches and algorithms in challenging imaging applications. The first part of the thesis is devoted to the design of a new 3D sensor for operation in an embedded vision system for micro-assembly. The principle of depth from focus is selected and implemented with a miniature microscopic device. The study shows that in this case, most of the technological limitations are related to the size of the optical components required for high measurement accuracy, while algorithms for image processing can easily be scaled to reach real-time operation. A second part of the thesis is devoted to the study of time-of-flight cameras, with special emphasis on image processing algorithms for data error reduction. Several sources of errors are presented and analyzed. In contrast to previous studies devoted to error reduction at the device level, the present work analyzes commercialized hardware qualitatively and quantitatively, and aims to improve the measured data by image processing algorithms. The multiple sources or errors, like stochastic noise, multipath effects and scattering effects are considered. Then, a full chapter is devoted to a detailed analysis of the <i>scattering</i> phenomenon observed in TOF devices. This analysis allows to define a strategy for scattering compensation based on image filtering. Different implementations are compared, and a solution based on filtering in the Fourier domain is selected, as it provides superior speed for the compensation filter. The last problem studied in this thesis concerns the simultaneous operation of multiple TOF cameras. Compared to a single camera, a multi-camera system allows to avoid occlusions in the acquired data, and provides generally an extended field of view. But the different views have to be registered in order to be exploited as a whole. This thesis includes a comparison of registration algorithms on real scenes acquired with two TOF cameras. Several state of the art registration methods are considered and evaluated experimentally. Medium to poor registration performance is observed and is clearly explained by the strong noise content of typical TOF images. Therefore, a best suited and simple registration method involving the extraction and matching of a plane region common in the two views is presented. The experiments performed verified that the proposed technique is well suited to current TOF acquisition devices. Finally, a specific example among the new applications enabled by the combination of TOF cameras and advanced image processing algorithms is discussed: surveillance systems. Compared to conventional video data, range data allows for easier segmentation and scene interpretation. In various situations, scattering compensation allows to avoid erroneous measurements, while camera registration ensures a complete view of the scene under surveillance. Those improvements make surveillance by TOF cameras an attractive alternative to current systems based on conventional (i.e. 2D) imagers.
Notes
Thèse de doctorat : Université de Neuchâtel, 2009 ; Th. 2120
Identifiants
Type de publication
doctoral thesis
Dossier(s) à télécharger
