Université d'Auvergne Clermont1 | CNRS

.

ALCoV news

Workshop on Fundamental and Applied 3D Computer Vision

4 years 28 weeks ago

Professor Richard Hartley is head of the computer vision group in the Department of Information Engineering, at the Australian National University, where he has been since January, 2001. He is also the Program Leader for the Autonomous Systems and Sensor Technology Program of National ICT Australia, a research centre set up in 2002 with funding from the Australian Government. Dr. Hartley worked at the General Electric Research and Development Center from 1985 to 2001. During the period 1985-1988, he was involved in the design and implementation of Computer-Aided Design tools for electronic design and created a very successful design system called the Parsifal Silicon Compiler. In 1991 he was awarded GE’s Dushman Award for this work. He became involved with Image Understanding and Scene Reconstruction working with GE’s Simulation and Control Systems Division. This division built large-scale flight-simulators. Dr. Hartley’s projects in this area were in the construction of terrain models and texture mosaics from aerial and satellite imagery. This involved research in camera modelling, stereo matching and scene reconstruction. In 1991, he began an extended research effort in the area of applying projective geometry techniques to reconstruction using calibrated and semi-calibrated cameras. This research direction was one of the dominant themes in computer vision research throughout the 1990s. In 2000, he co-authored (with Andrew Zisserman) a book for Cambridge University Press, summarizing the previous decade’s research in this area. From 1995 he was GE project leader for a shared-vision project with Lockheed-Martin involving design and implementation of algorithms for an AFIS (fingerprint analysis) system being developed under a Lockheed-Martin contract with the FBI. This involved work in feature extraction, interactive fingerprint editing and fingerprint database matching. He also investigated application of fingerprint scanners to point of sale systems. Under this contract he also led work on applications of DNA database technology.

More details on the webpage of the event.

Journée SfM-SfX du GdR ISIS

6 years 7 weeks ago

SfM-SfX – Structure à partir du mouvement et d’autres indices visuels : état de l'art et évolution du domaine

Journée thématique de l’action « structure à partir du mouvement » (thème B2 du GdR ISIS)

 

New Post-journée thématique : la journée a été un succès, avec des exposés qui ont couvert une grande partie de l'état de l'art en SfM, et plus de 50 participants. Les slides fournis par les orateurs ont été ajoutés ci-dessous (rubrique programme). Un grand merci à tous les orateurs pour la qualité de leurs exposés.

 

Pour cette première journée thématique de l’action nous aurons des exposés invités ainsi qu'un appel à contributions. Le domaine de structure à partir du mouvement est en mutation. Il nous semble donc important de pouvoir en faire un état de l’art précis, d’en discuter les problèmes ouverts puis d’en indiquer les tendances majeures comme mineures. Pour cela, nous souhaitons réunir des personnes expertes sur un spectre qui couvre l’ensemble du domaine du 3D (en vision passive principalement) et représentatives des laboratoires français concernés.

Lieu : Telecom ParisTech, site Barrault - Amphithéâtre Jade (plan d'accès ; métro ligne 6, station Corvisart)

Horaires : 10h - 17h avec pause déjeuner

Date : Mardi 12 Avril

Format des présentations : chaque présentation doit tenir sur 25 minutes questions comprises. Il est donc conseillé aux orateurs de prévoir un temps de parole entre 15 et 20 minutes.

Programme :

10:00 - 10:05 Adrien Bartoli (ISIT-UdA) et Peter Sturm (INRIA) -- Ouverture
10:05 - 10:30 Jean-Denis Durou (IRIT) -- Présentation de quelques techniques de SfX
10:30 - 10:55 Arnak Dalalyan (IMAGINE-ENPC) -- Robust estimation by L1 relaxation applied to SfM
10:55 - 11:20 Edmond Boyer (INRIA) -- Free-Form Surface Tracking using Multiple Cameras

Pause de 15 minutes

11:35 - 12:00 Cédric Demonceaux (Le2i) -- Modélisation sphérique des images : application à l’estimation du mouvement
12:00 - 12:25 Florian Bugarin (Ecole des Mines d'Albi) -- Application de l’optimisation globale par théorie des moments aux problèmes d’estimations issus de la vision artificielle
12:25 - 12:50 Pierre Gurdjos (IRIT) -- L'autocalibrage linéaire d'une caméra à focale variable et ses mouvements critiques

Pause déjeuner

14:15 - 14:40 Adrien Angeli (Imperial College London) -- Challenges in "appearance+shape" loop-closure detection for reliable SfM
14:40 - 15:05 Frédéric Sur (LORIA) -- Motifs répétés et mise en correspondance, ou la malédiction de l'aliasing perceptuel
15:05 - 15:30 Rémi Megret (IMS) -- Reconstruction et localisation 3D en environnement intérieur pour l'indexation de vidéo issue de caméra portée
15:30 - 15:55 Florent Brunet (IMFT-ISIT) -- Reconstruction 3D monoculaire d’une surface déformable inextensible
15:55 - 16:20 Intervenant du MATIS-IGN
16:20 - 16:45 Andrew Comport (I3S) -- Dense Stereo-Vision Localisation and Mapping
16:45 - 17:00 Discussion

Page du GdR ISIS sur cette journée.

Résumés :

10:05 - 10:30 Jean-Denis Durou (IRIT) -- Présentation de quelques techniques de SfX

Cet exposé vise à illustrer différentes techniques de SfX au travers d'exemples de recherches menées récemment, dans le cadre de plusieurs collaborations. Pour coller autant que possible à l'esprit de la réunion, je décrirai ensuite les évolutions du domaine qui me semblent les plus prometteuses.

10:30 - 10:55 Arnak Dalalyan (IMAGINE-ENPC) -- Robust estimation by L1 relaxation applied to SfM

We present a new approach to the problem of robust estimation for an inverse problem arising in multiview geometry. Inspired by recent advances in the statistical theory of recovering sparse vectors, we define our estimator as a Bayesian maximum a posteriori with multivariate Laplace prior on the vector describing the outliers. This leads to an estimator in which the fidelity to the data is measured by the L_infty- norm while the regularization is done by the L1-norm. The proposed procedure is fairly fast since the outlier removal is done by solving one linear program (LP). An important difference compared to existing algorithms is that for our estimator it is not necessary to specify neither the number nor the proportion of the outliers; only an upper bound on the maximal measurement error for the inliers should be specified. We present theoretical results assessing the accuracy of our procedure, as well as numerical examples illustrating its efficiency on synthetic and real data.

11:35 - 12:00 Cédric Demonceaux (Le2i) -- Modélisation sphérique des images : application à l’estimation du mouvement

Nous pouvons montrer que les images perspectives, catadioptriques centrales ou fish-eyes peuvent être modélisées par un modèle sphérique. Une image sphérique est donc une représentation générique naturelle pour ces différents types de caméra. Cette représentation a plusieurs avantages. Elle permet, par exemple, d’utiliser les propriétés liées à la géométrie projective sur des images à très fortes distorsions telles que les images catadioptriques. Elle peut aussi être utile pour déterminer les points de fuite de la scène. Et bien sûr, elle est un outil générique permettant de modéliser un réseau de caméras ou un banc stéréo munis de caméras hybrides (perspective, catadioptrique, fish-eye). Dans cet exposé, nous verrons comment tirer parti de ces propriétés, pour estimer le déplacement d’une ou de plusieurs caméras à partir de leur représentation sphérique. Nous verrons, dans un premier temps, comment estimer le flot optique sur ces images sphériques pour en déduire l’ego-motion. Nous développerons ensuite une méthode d’estimation de la rotation de la caméra à l’aide des droites de l'environnement. Enfin, nous en déduirons la translation à partir  de points d’intérêt et des droites présentes dans la scène. Ces méthodes seront validées sur des séquences d’images catadioptriques monoculaires, stéréoscopiques hybrides et utilisées pour le calibrage externe d’un réseau de caméras hybrides.

12:00 - 12:25 Florian Bugarin (Ecole des Mines d'Albi) -- Application de l’optimisation globale par théorie des moments aux problèmes d’estimations issus de la vision artificielle

L’objectif général de cette présentation est d’appliquer une méthode d’optimisation globale basée sur la théorie des moments à certains problèmes de vision artificielle. Ces problèmes sont, en général, formulés comme la minimisation d’une somme d’un grand nombre de fractions rationnelles, donc non convexes et classiquement résolus à l’aide de méthodes d’optimisation locales. Ces techniques ne convergent généralement pas vers le minimum global et nécessitent de fournir une estimée initiale proche de la solution exacte. Les méthodes d’optimisation globale que nous proposons permettent d’éviter ces inconvénients. Après avoir démontré leur efficacité sur des cas tests académiques, nous les appliquerons à certains problèmes de vision par ordinateur :
– L’estimation de la matrice fondamentale
– La triangulation multi-vues
Lien vers article : http://homepages.laas.fr/henrion/Papers/rational.pdf.

12:25 - 12:50 Pierre Gurdjos (IRIT) -- L'autocalibrage linéaire d'une caméra à focale variable et ses mouvements critiques

Cet exposé, plus théorique que pratique, s'intéresse aux mouvements critiques dits "artificiels" d'une caméra dans leproblème de l'autocalibrage 3D. Ce problème consiste à retrouver la structure euclidienne d'une reconstruction projective. Il a une formulation établie depuis longtemps, fondée sur la recherche de la conique absolue dans l'espace dual, qui est une quadrique (duale) dégénérée dont la matrice symétrique d'ordre 4  a certaines propriétés spectrales. Nous plaçons ce problème sous l'hypothèse d'une caméra "à pixels carrés" dont la focale variable est la seule inconnue. Sous ces hypothèses, les mouvement critiques de la caméra ont déjà été étudiés et  identifiés, indépendamment de toute solution algorithmique. Nous intéressons à la solution linéaire de ce problème qui n'impose aucune propriété spectrale pour les matrices des quadriques "candidats". À l'aide de résultats de la géométrie projective, nous mettons en évidence les mouvements critiques supplémentaires (dits "artificiels") liés à l'omission de ces propriétés spectrales dans les cas de non-unicité de la solution linéaire. Nous montrons qu'il est possible de détecter tous les mouvements critiques et d'identifier ceux artificiels pour rendre la solution unique, c.-à-d. pour identifier la conique absolue dans la famille de solutions. En d'autres termes, les propriétés spectrales peuvent être imposées a posteriori dans l'algorithme linéaire via une étape supplémentaire dont l'objectif est celui d'annuler l'effet dégénératif des mouvements critiques artificiels.

14:30 - 14:55 Adrien Angeli (Imperial College London) -- Challenges in "appearance+shape" loop-closure detection for reliable SfM

It is now well understood that reliable incremental SfM or SLAM can only be achieved if the associated problem of loop-closure detection is appropriately handled. Recent advances in purely visual topological place recognition have demonstrated that operation over vast scale or very long periods of time was feasible at a manageable cost, using techniques inspired by context-based information retrieval. Such approaches however neglect most, if not all, of the geometry information provided by the estimated structure of the scene. Yet, this information is crucial for robust loop-closure detection when the level of perceptual aliasing is high, or to enable recognition across significant viewpoint variations. The integration of feature-based map information into the topological framework of place recognition is however not trivial, nor is the problem of combining appearance and structure information at a low level for loop-closure detection. Also, with the advent of dense SfM and SLAM solutions, new challenges have arisen: though in theory it is expected that the availability of dense scene models should improve place recognition performance, it is not clear how all the provided information should be in practise efficiently summarised to enable affordable computational cost, especially in the case of live operation. In this talk, we will present recent achievements on the combination of structure and appearance information for efficient keyframe retrieval, demonstrating improved performance over purely appearance-based solutions in the case of significant viewpoint variations. We will also present on-going work on efficient dense keyframe characterisation and matching, with an emphasis on our latest developments on the shape description front.

14:40 - 15:05 Frédéric Sur (LORIA) -- Motifs répétés et mise en correspondance, ou la malédiction de l'aliasing perceptuel

SIFT (Lowe 04) est un des algorithmes les plus courants pour extraire des points d'intérêt dans les images. Il s'agit d'une méthode invariante par changement d'échelle et rotation. En conséquence il est très difficile d'extraire des correspondance entre points d'intérêt de deux images ayant subi un large changement de point de vue, ce qui peut être ennuyeux pour l'estimation de la structure et du mouvement. Atteindre au moins une invariance affine est cruciale pour obtenir des correspondances fiables dans ce cas. Plusieurs auteurs ont récemment proposé d'utiliser des techniques de simulation de point de vue pour atteindre une telle invariance. Néanmoins, quasiment toutes ces techniques échouent en présence de motifs répétés dans les images. En nous focalisant sur ASIFT (Morel & Yu 2009), nous proposons un algorithme pour surmonter ce problème. Travaux en collaboration avec Marie-Odile Berger et Nicolas Noury (INRIA Nancy Grand-Est).

15:05 - 15:30 Rémi Megret (IMS) -- Reconstruction et localisation 3D en environnement intérieur pour l'indexation de vidéo issue de caméra portée

Cette présentation concerne l'application des techniques de reconstruction 3D pour la localisation en environnement intérieur à partir d'une caméra portée. Ce travail est motivé par les objectifs applicatifs du projet ANR IMMED menés actuellement par le LaBRI, IMS, IRIT et INSERM/CHU Bordeaux, dont le but est de développer une méthodologie permettant aux médecins (experts dans le traitement de la démence) d'analyser des scènes de la
vie quotidienne d'un patient sans devoir procéder à un équipement de son domicile. L'originalité réside dans l'utilisation de la capture vidéo des activités par une caméra miniature portée sur l'épaule du patient. L'IMS a mis en place un prototype adapté, qui est actuellement utilisé par les médecins dans le cadre de l'étude, et qui capture à la fois les activités instrumentales et le contexte environnemental. La localisation de la personne dans son environnement est un indice central pour pouvoir indexer la vidéo automatiquement. Les travaux présentés se fondent sur les techniques de reconstruction 3D pour fournir des modèles de l'environnement, utilisées pour servir de références à la définition de zones d'intérêt sémantique en termes d'activités instrumentales. Le suivi des marqueurs naturels de l'environnement par la mise en correspondance robuste 2D-3D avec les modèles permet d'estimer les trajectoires à 6 ddl en mouvement libre de la personne. Les résultats préliminaires sont prometteurs. Nous analyserons les verrous et les perspectives concernant l'utilisation des techniques SfM pour ce types d'applications, notamment en lien avec l'hybridation avec des capteurs complémentaires. Travaux en collaboration avec Hazem Wannous, LIFL - Université de Lille 1 / Telecom Lille 1 et Vladislavs Dovgalecs, IMS - Université de Bordeaux

15:30 - 15:55 Florent Brunet (IMFT-ISIT) -- Reconstruction 3D monoculaire d’une surface déformable inextensible

Nous proposons différentes approches pour recontruire des surfaces tridimensionnelles déformables, continues et inextensibles à partir de correspondances de points entre les images d'une vidéo monoculaire et une image de référence dans laquelle la surface à reconstruire possède une forme connue. Nous présentons un état de l'art des méthodes utilisées jusqu'à présent pour résoudre ce problème (ou des problèmes très proches). Nous proposons ensuite deux nouvelles méthodes. La première permet de déterminer rapidement la position dans l'espace des correspondances de points. Cette première méthode repose sur l'hypothèse du modèle perspectif envisagé pour la caméra et sur une modélisation du problème par programmation conique du second ordre (Second Order Cone Program, SOCP). Nous présentons ensuite une deuxième méthode capable de déterminer une expression analytique de la surface tridimensionnelle à reconstruire. Cette deuxième approche repose sur l'idée que la surface à reconstruire doit, d'une part, respecter la cohérence des correspondances de points et, d'autre part, être localement isométrique. Ces idées sont implémentées sous forme d'un problème de moindres carrés non-linéaires.

16:20 - 16:45 Andrew Comport (I3S) -- Dense Stereo-Vision Localisation and Mapping

In this presentation a model for dense stereo Visual Simultaneous Localization And Mapping (VSLAM) will be given. A full-image stereo tracking approach is related to a compact environment structure model via a geometric and photometric quadrifocal warping function. A direct image-based cost function is defined that minimises spatially both left-right  warped intensities along with temporally both reference and current stereo images. The structure is incrementally integrated over time between previous and current time instants by robustly propagating disparity bounds. After initialisation by classic dense matching approaches, the warping function is used to transfer 1D uncertainty bounds to the subsequent stereo pair (along epipolar lines) allowing computationally efficient re-localization. The cost function is minimized combining by two different minimisation appraoches that are
adapted to the two distinct modes of the error function. On one hand non-linear Iteratively Reweighted Least-Squares (IRLS) is used to estimate the motion while on the other hand a non-linear exhaustive search is used to determine dense disparities. Decomposition of the global objective function is performed by simply marginalising either the structure or the motion. This model has been tested both in simulation and on a real-image sequence aimed at an asteroid visit application in collaboration with Thales-Alenia Space. The results show that the approach improves both structure and motion estimates. Travaux en collaboration avec Tommi Tykkala.

 

Organisation : Adrien Bartoli et Peter Sturm (co-animateurs de l’action)

Soumission désormais fermée Procédure de soumission : envoyer par email aux organisateurs (Adrien.Bartoli@gmail.com et Peter.Sturm@inria.fr) un titre et un résumé d'environ 10 lignes de votre proposition d'intervention avant le 10 mars.

NORDIA'11 - Workshop on Non-Rigid Shape Analysis and Deformable Image Alignment

6 years 14 weeks ago

Some members of ALCoV are part of the NORDIA'11 Chairs and Program Committee. This workshop will be held in June 2011 in Colorado, Springs in conjunction with CVPR.

Tutorial on Computer Vision in a Non-Rigid World, SCIA'11

6 years 14 weeks ago

Adrien Bartoli will give a tutorial on Computer Vision in a Non-Rigid World at SCIA'11. Description and website are coming soon.

2nd Tutorial on Computer Vision in a Non-rigid World

6 years 17 weeks ago

Adrien Bartoli is co-organizer of the 2nd Tutorial on Computer Vision in a Non-rigid World.

Description: the tutorial presents modern computer vision techniques to deal with the registration and 3D reconstruction of deformable shapes using images. The aim of this 2-day course is to present a principled procedure for dealing with images where each object can arbitrarily change its shape — a common occurrence in human motion analysis, medical imaging and video-surveillance scenarios. The tutorial will discuss a set of techniques general in their formulation but that can be customized given the specific imaging problem of the user. In particular, an emphasis is put over the use of physical or statistical priors which can aid the solution of such an ill-posed problem. Real examples on the human motion analysis and medical imaging domains will show the effectiveness of the approaches in dealing with different deforming shapes.