Demosaicing and denoising methods and algorithms for digital photography
Méthodes et algorithmes de dématriçage et de filtrage du bruit pour la photographie numérique
Résumé
Digital cameras are now present everywhere. They are commonly included in portable digital devices such as mobile phones and personal digital assistants. In spite of constant improvements in terms of computing power and complexity, the digital imaging chain quality, including sensor and lenses system, is still limited by space and cost constraints. An important number of degradations are introduced by this chain that significantly decrease overall image quality : including blurring effects, geometric distortions, color artefacts, moiré effects, static and dynamic noise. Correcting these defects in an algorithmic way, using the increasing power of embedded processing architecture present in mobile phones and PDAs may appear like an interesting solution. In this thesis we are especially interested in reducing two major defects of the sensor acquisition chain : Bayer matrix demosaicing artefacts and photon noise. In the first part, we describe the general imaging chain commonly used in digital cameras and video devices. We show the function, the inner working and the defects introduced by each of its elements. Finally we exhibit possible ways to correct these defects using algorithmic solutions. In the second part, we introduce the principle of Bayer demosaicing. We present the state of the art and we propose a new method based on a directed interpolation principle. Our method yields a good image quality while retaining a low computational complexity. We then enumerate several noise sources present in imaging digital sensors and their dependencies with imaging conditions. We are particularly interested in local algorithms and more specifically in the bilateral filter. After presenting the state of the art in denoising algorithm, we propose a new adaptive bilateral filter for sensor colour mosaic denoising. In the third part, we present the implementation, the optimization and the execution simulation of the proposed demosaicing and denoising algorithms. The implementation target is the TM3270 TriMedia processor from NXP Semiconductors. We show that it is possible to process 5 megapixels images in less than 0.5 seconds and more than 25 images per second at VGA resolution. Finally, for standardization, execution speed and power consumption reasons, we describe a dedicated architecture for our proposed demosaicing algorithm. This architecture improves the execution speed by a factor of 10 compared to the TriMedia TM3270 processor
Ces dernières années, les appareils photos/vidéos numériques grand public sont devenus omniprésents. On peut aujourd’hui trouver des systèmes de captures d’images dans toutes sortes d’appareils numériques comme les téléphones portables, les assistants personnels numériques etc. Malgré une augmentation croissante de la puissance et de la complexité de ces appareils, laqualité de la chaîne de capture d’image, composée du couple système optique/capteur est toujours contrainte à des limitations d’espace et de coût. Les défauts introduits sont nombreuxet dégradent considérablement la qualité des images produites : flou, déformations géométriques, artefacts de couleurs, effets de moire, bruits statiques et dynamiques, etc. Une idée intéressante est de corriger ces défauts de manière algorithmique en utilisant la puissance toujours croissante des architectures de traitements. Dans cette thèse nous nous intéressons particulièrement à deux problèmes issues de l’acquisition de l’image par le capteur : le dématriçage de la matrice de Bayer et la réduction du bruit. Dans la première partie, nous décrivons la structure générale de la chaîne de capture d’image dans les appareils photos/vidéos numériques. Nous présentons le rôle, le fonctionnement et les défauts introduits par chacun de ses éléments. Enfin, nous illustrons comment ces défauts peuvent être corriges par des traitements algorithmiques. Dans la deuxième partie, nous montrons comment l’information de couleur est introduite dans les capteurs numériques. Nous présentons ensuite un état de l’art des algorithmes de dématriçage. Un nouvel algorithme de reconstruction de la matrice de Bayer base sur le principe de l’interpolation directionnelle est propose. Il permet d’associer une qualité d’image produite sans artefacts avec une faible complexité de calculs. Pour mieux comprendre les comportements du bruit dans les capteurs numériques, nous énumérons ses différentes sources et leurs dépendances par rapport aux conditions de prises de vues. Apres avoir présenté l’état de l’art des méthodes de restauration des images bruitées, nous nous intéressons particulièrement aux algorithmes de débruitage à voisinage local et plus précisément au filtre bilatéral. Nous proposons un filtre bilatéral pour la mosaïque de Bayer, adaptatif en fonction de la puissance du bruit dans les images. Dans la troisième partie, nous présentons l’implémentation, l’optimisation et la simulation de l’exécution des algorithmes de dématriçage et de réduction du bruit proposes. La plateforme d’implémentation est le processeur TriMedia TM3270 de NXP semiconductors. Nous montrons que nous arrivons à traiter des images de taille 5 méga-pixels en moins de 0,5 secondes et des images de résolution VGA à une cadence supérieure à 25 images par seconde. Finalement, pour des raisons de standardisation, de rapidité d’exécution et de consommation d’énergie, nous avons conçu une architecture dédiée à l’algorithme de dématriçage propose. Cette architecture permet de multiplier par 10 la rapidité d’exécution obtenue sur le processeur TriMedia TM3270
Origine : Version validée par le jury (STAR)