Multispectral Analysis and spectral Reflectance Reconstruction of Art Paintings
Analyse multispectrale et reconstruction de la reflectance spectrale de tableaux de maître
Résumé
This thesis is devoted to the analysis of high definition multispectral images of art painting masterpieces and to the reconstruction of the spectral reflectance in each pixel of these images. To this end, we were mainly interested in: 1. the methods for spectral reflectance reconstruction of the surface of coloured materials in each pixel of an N-channel multispectral image (N >3), 2. the radiometrically controlled acquisition of multispectral images and the automatic calibration of the acquisition system. The problem of the spectral reconstruction being an ill posed inverse problem, multiple methods of reconstruction were developed in the scientific community. We propose a classification which enables us to better compare these techniques and to improve some of them. The improved methods have been implemented and tested. The methods usually used for the reconstruction of spectral reflectance from an N-channel image are mainly linear. To improve their precision and noise tolerance we introduced nonlinear techniques based on neural networks. Initially, multi-layer networks mixed with Principal Component Analysis (PCA) obtained good results. From this base we then worked on reconstruction using "Mixture Density Networks". This technique uses neural networks to estimate a probability distribution which is treated a posteriori to obtain a solution of the problem to be solved. The method was adapted to spectral reconstruction and very good results were obtained. This method was then enriched by developing an automatic system of architecture selection. Two strategies, genetic algorithms and random searches, were developed to this end. The radiometrically controlled acquisition of multispectral images and the automatic calibration of the acquisition system relate to the European project CRISATEL. The goal of this project is the spectral analysis and the virtual removal of varnish of art painting masterpieces. Within the framework of this project, we evaluated the performance of a new high definition multispectral camera. In particular, we studied the influence of the noise on the acquisition parameters and the spatial inhomogeneity of the light sources (two rotating elliptical projectors creating a luminous band synchronized with the movement of the camera CCD). We also characterized spectrally the filters, the CCD and the lamps. We evaluated the elements of the acquisition system. From the results of this evaluation an automatic calibration procedure was conceived and implemented. This automatic system determines the acquisition parameters (exposure time, CCD amplifiers gains and offsets). Its goal is to obtain the best dynamic range possible of the signal, and to gather the necessary data for the correction of the images. The elements to be corrected are dark noise, pixel sensitivity gain and the illuminant inhomogeneity. We also worked on other aspects related to multispectral imaging, i.e. the selection of the optical filters most adapted to the spectral reconstruction of a specific material, in our case oil pigments. For that we developed an optimisation technique which determines the parameters of a family of Gaussian filters which maximizes a quality criterion on the reconstruction obtained by using these filters. Finally, the work completed during this thesis was applied to art works. In the results chapter we present two examples: "Saint-Jacques le mineur" painted by George de la Tour and "Le départ pour Jersey" painted by Guillaume Fouace. The multispectral camera of the CRISATEL project is exploited by the Centre de Recherche et de Restauration des Musées de France (C2RMF). Currently, the camera is located in the Museum of Louvre where it indeed digitises art painting masterpieces.
Nos travaux de thèse ont été consacrés à l'analyse multispectrale en haute définition de tableaux de maître et à la reconstruction de la réflectance spectrale en chacun des pixels. Pour cela nous nous sommes intéressés principalement : 1. aux méthodes de reconstruction de la réflectance spectrale de la surface du matériau imagé en chaque pixel à partir des valeurs des N canaux d'une image multispectrale (N>3), 2. à l'acquisition en situation contrôlée des images multispectrales et au calibrage du système d'acquisition. Le problème de la reconstruction spectrale étant un problème inverse mal posé, de multiples méthodes de reconstruction ont été développées dans la communauté scientifique. Nous proposons une classification de ces méthodes qui nous permet de mieux les comparer et d'apporter à certaines d'entre elles des améliorations qui ont été implémentées et testées. Les méthodes couramment utilisées pour la reconstruction spectrale à partir d'une image à N canaux sont principalement linéaires. Pour améliorer la précision et la tolérance au bruit de la reconstruction nous avons introduit des techniques non linéaires à base de réseaux de neurones. Dans un premier temps des réseaux multicouches mélangés avec une approche par analyse en composantes principales ont permis d'obtenir de bons résultats. A partir de cette base nous avons ensuite travaillé sur la reconstruction en utilisant des "Mixture Density Networks". Cette technique s'appuie sur des réseaux de neurones pour estimer une distribution de probabilités qui est traitée à posteriori pour obtenir une solution du problème à résoudre. La méthode a été adaptée à la reconstruction spectrale et de très bons résultats ont été obtenus. Cette méthode a été ensuite enrichie en développant un système automatique de sélection de l'architecture des Mixture Density Networks. Deux stratégies, les algorithmes génétiques et les recherches aléatoires, ont été développées dans ce but. L'acquisition en situation contrôlée des images multispectrales et le calibrage du système d'acquisition est principalement lié à la problématique du projet européen CRISATEL, le but étant l'analyse spectrale et le dévernissage virtuel de tableaux de maîtres. Dans le cadre de ce projet, nous avons évalué les performances d'une nouvelle caméra multispectrale de haute définition. Nous avons notamment étudié l'influence du bruit sur les paramètres d'acquisition et l'inhomogénéité spatiale de l'éclairage à balayage produit par des projecteurs aux faisceaux lumineux synchronisés avec le mouvement du CCD. Nous avons également caractérisé spectralement les filtres, le CCD et les lampes. Nous avons évalué les éléments du système d'acquisition. A partir des résultats de cette évaluation un système automatique de calibrage a été conçu et implanté. Ce système automatique détermine les paramètres d'acquisition (temps de pause, gains et offsets des amplificateurs liés aux CCD). Son but est d'obtenir la meilleure dynamique possible du signal et de rassembler les données nécessaires pour la correction des images. Les éléments à corriger étant le bruit et le gain par pixel et l'inhomogénéité spatial de l'illuminant. Nous avons aussi travaillé sur d'autres aspects liés aux développements de nouvelles technologies de l'imagerie multispectrale, comme la sélection des filtres optiques les plus adaptés à la reconstruction spectrale de matériaux spécifiques comme les pigments à l'huile. Pour cela nous avons développé une technique d'optimisation qui permet de déterminer les paramètres d'une famille de filtres gaussiens qui maximise un critère de qualité sur les reconstructions obtenues en utilisant ces filtres. Les travaux de recherche réalisés au cours de cette thèse ont été appliqués à l'estimation spectrale de tableaux de maîtres. Nous presentons dans cette document des examples de traitement de deux tableaux: "Saint-Jacques le mineur" de Georges de la Tour et "Le départ pour Jersey" de Guillaume Fouace. La caméra multispectrale du projet CRISATEL va être exploitée par le Centre de Recherche et de Restauration des Musées de France (C2RMF). Actuallement elle se trouve dans le Musée du Louvre ou elle numerisé des tableaux de maîtres.