Soutenance de thèse de Bogdan KHOMUTENKO (équipe ARMEN)

Bogdan Khomutenko, doctorant au sein de l’équipe ARMEN, soutiendra sa thèse intitulée « Contribution à la perception visuelle basée cameras grand angle pour la robotique mobile et les véhicules autonomes »

vendredi 15 juin 2018 à partir de 10h, dans l’amphi du bâtiment S à Centrale Nantes.

Jury :

Rapporteurs : M. Patrick RIVES , Directeur de Recherche, INRIA Sophia Antipolis ; M. Pascal VASSEUR , Professeur, l’IUT de Rouen
Examinateurs: M. Eric MARCHAND , Professeur, Université de Rennes 1 ; Mme Claire DUNE , Maître de conférences, Université du sud-Toulon

Directeur de thèse : M. Philippe MARTINET , Professeur, Centrale Nantes ; Co-encadrant de thèse : M. Gaëtan GARCIA , Maître de conférences, Centrale Nantes

Résumé :

Ce travail de thèse s’inscrit dans le domaine de la vision par ordinateur et de la navigation autonome pour les robot mobiles. Le sujet principal est l’utilisation d’optiques grand angle pour la perception visuelle.

La première problématique traitée est la modélisation géométrique des cameras fisheye. Le but est de rendre leur utilisation aussi simple que celle des cameras classiques trou d’épingle. Les modèles existants manquent de précision ou bien sont trop compliqués pour que l’on puisse analyser leurs propriétés géométriques analytiquement. Nous proposons un nouveau modèle de projection basé sur le Modèle Unifié, aussi connu comme Modèle Sphérique. En rajoutant un paramètre intrinsèque, on augmente l’expressivité du modèle et évite le recours à une fonction de distorsion supplémentaire. Les expériences effectuées ont démontré la capacité du modèle à approcher, avec une grande précision, une large gamme d’objectifs fisheye différents. Le concept de surface de projection, proposé dans ce travail, nous a permis de trouver une inverse analytique de ce modèle ainsi que d’établir les équations de projections de droites.

Une boîte à outils d’étalonnage, flexible et efficace, conçue pour les systèmes multi-cameras, a été développée. Elle contient un nouveau détecteur de mire d’étalonnage, qui
est automatique, a une précision sub-pixelique, et qui est plus rapide que le détecteur fourni avec OpenCV. Une méthode de calcul de trajectoires optimales pour l’étalonnage extrinsèque de robots mobiles a été développée et testée. Son aptitude à réduire l’impact du bruit sur la précision a été démontré sur des données synthétiques. Elle a été utilisée pour étalonner un système complet Camera-Odométrie, qui a été employé pour tester les algorithmes de localisation.

La problématique suivante était de calculer la correspondance stéréo directement dans l’espace d’images fisheye, tout en évitant un filtrage additionnel et la rectification d’images.
Cela a été possible grâce à la géométrie épipolaire des systèmes stéréos fisheye, donnée par le modèle proposé. Une fois les équations des courbes épipolaires calculées, l’image est
échantillonnée, pixel par pixel, le long de celles-ci afin de trouver le coût de correspondance. Cette approche nous permet d’employer l’algorithme de Semi-Global Matching et d’obtenir une reconstruction 3D précise. Un certain nombre de techniques, qui améliorent la qualité de correspondance, ont été proposées. De nombreux essais avec des données synthétiques ainsi que réelles ont montré que l’algorithme est capable de reconstruire des objets planaires texturés avec une grande précision.

La localisation visuelle est la dernière problématique traitée dans notre travail. Une nouvelle méthode de triangulation analytique nous permet de réduire le nombre de paramètres
d’optimisation dans le problème d’odométrie visuelle d’une façon significative. Une méthode de localisation visuelle directe basée caméras fisheye, qui emploie aussi d’autres sources d’information de localisation, comme une centrale inertielle ou l’odométrie des roues, a été développée. Des essais avec des données synthétiques montrent sa précision. L’utilisation de l’Information Mutuelle en tant que mesure de similarité permet au système de se relocaliser avec des données réelles dans une carte construite quelques jours auparavant malgré des changements dans l’environnement et l’éclairage. Cette méthode se montre robuste par rapport aux objets mobiles, tels que voitures en marche et piétons.

Mots-clés : fisheye, étalonnage, stéréo, reconstruction 3D, localisation directe

*********

Title: Contribution to visual perception based on wide angle cameras for mobile robotics and autonomous vehicles

Abstract:
This work lies in the domain of computer vision and autonomous navigation for mobile robots. The principal subject is the use of fisheye cameras for visual perception.
The first research question covered by this work is geometric modeling of fisheye cameras. The goal is to make fisheye cameras as easy to use as classical pinhole cameras. Existing models are either not precise enough or too complicated for analytical analysis of their geometric properties. We propose a novel projection model based on the Unified Camera Model, also known as the Spherical Model. Adding one more projection parameter increases the model expressiveness and makes additional distortion mappings unnecessary. As experiments show, this model accurately approximates a large variety of different fisheye lenses. The notion of projection surface, proposed in this work, allowed us to find an analytic inverse of the model and implicit equations of straight line projections. An efficient and flexible calibration toolbox for multi-camera systems has been developed.
It has a novel fully-automated subpixel detector of calibration boards, which is significantly faster than that of OpenCV. A method of calculating optimal trajectories for extrinsic calibration of mobile robots has been proposed and tested. Its effectiveness to reduce the noise impact has been demonstrated on simulated data. It has been applied to calibrate a complete system Camera-Odometry, which has been used for localization experiments. The next research question is how to compute direct stereo correspondence between two
fisheye images. The main goal was to avoid additional filtering such as undistortion and rectification mappings. It was possible thanks to epipolar geometry of fisheye stereo systems provided by the developed model. After computing epipolar curve equations, we sample image pixelwise along them in order to compute the correspondence cost. This approach allows us to apply the Semi-Global Matching algorithm to regularize the computed disparity map and get a more accurate reconstruction. We proposed several techniques of computing the correspondence cost, which improve the correspondence quality. The proposed stereo algorithm has been tested on both synthetic and real data, using the ground truth for validation purposes. Experiments show that the reconstruction of planar textured objects is accurate and precise, which validates the geometric model behind.
The last research question is visual localization. A novel closed-form triangulation method allows us to significantly reduce the number of unknowns in the visual odometry problem. Fisheye cameras have been combined with direct visual localization and additional sources of localization information, such as IMU and wheel odometry. This method was tested on simulated data and showed high precision. Using Mutual Information as similarity measure for image registration allowed the system to relocalize itself using real data in a map constructed a few days earlier with some changes in the environment and in lighting conditions. The method demonstrated robustness with respect to moving objects, such as cars and pedestrians.

Keywords: fisheye, calibration, stereo, 3D reconstruction, direct localization