Période : 2015-2019
Membres impliqués : Romain Raffin.
Collaborations : Khoi NGUYEN-TAN, Faculty of Information Technology, Danang University of Science and Technology, University of Danang, Vietnam. Mau LE TIEN, PhD student, University of Qang Ngai, Vietnam.
Mots-clés : acquisition 3D, analyse combinée 2D/3D, analyse de surfaces, reconnaissance de formes, indexation sémantique.
Description du projet :
Une des questions récurrentes, une fois obtenu un modèle 3D reconstruit d’après un nuage de points issus de la photogrammétrie, est d’identifier, de caractériser les éléments de la scène, sur un plan sémantique. Il serait ensuite aisé d’indexer les documents pouvant s’accrocher à une chevelure ou au bras d’une statue. Cette tâche est habituellement dévolue à une seule expertise (humaine ou automatique, sur les maillages ou les images) alors que les données représentatives existent à tous les stades du traitement (photographies, images de profondeur, nuages de points et maillage 3D) et que les informations sémantiques sont connues et décrites par les experts en archéologie et en architecture.
Les algorithmes développés par le traitement d’images ou la géométrie sont nombreux mais restreints à leur domaine d’expertise. La volonté de ce projet est donc d’utiliser toutes les sources de données disponibles (images, nuage de points, maillage) afin d’utiliser au mieux les algorithmes développés pour chacune des spécialités mais en les utilisant de manière conjointe. Une zone de détails trouvée par détection de contours dans l’image servira à indiquer à un algorithme de clusterisation géométrique (3D) où chercher les caractéristiques locales (tangences, courbures) qui définiront cette zone sur la surface de l’objet reconstruit. A l’inverse, si une détection de trou sur la surface 3D permet d’isoler une zone, celle-ci sera transmise au traitement de l’image pour éviter des artefacts ou des minimas locaux. La reconnaissance sémantique (homme/animal, membre, face/chevelure…) est également présente dans les algorithmes de traitement d’images ou de surfaces maillées. Nous proposons donc de les utiliser conjointement pour améliorer les résultats par collaboration entre les algorithmes.
Publication : « Matching correspondence between images and 3D model in a reconstruction process », Mau Le Tien, Khoi Nguyen Tan, and Romain Raffin. Journal of Science and Technology : Issue on information and communications technology, Vol. 2, No. 1, , pp. 63-68., August 2016
Commentaires récents