Techniques for improving the performance of distributed video coding
Techniques d'amélioration des performances de compression dans le cadre du codage vidéo distribué
Résumé
Distributed Video Coding (DVC) is a recently proposed paradigm in video communication, which fits well emerging applications such as wireless video surveillance, multimedia sensor networks, wireless PC cameras, and mobile cameras phones. These applications require a low complexity encoding, while possibly affording a high complexity decoding. DVC presents several advantages: First, the complexity can be distributed between the encoder and the decoder. Second, the DVC is robust to errors, since it uses a channel code. In DVC, a Side Information (SI) is estimated at the decoder, using the available decoded frames, and used for the decoding and reconstruction of other frames. In this Ph.D thesis, we propose new techniques in order to improve the quality of the SI. First, successive refinement of the SI is performed after each decoded DCT band, using a Partially Decoded WZF (PDWZF), along with the reference frames. Moreover, in this refinement approach an adaptive search area algorithm is also proposed, that allows adapting the search area to the current motion between the WZF and the reference frames, using the PDWZF obtained after decoding the first DCT band. Then, a new scheme for SI generation based on backward, forward motion estimations, and Quad-tree refinement is proposed. Furthermore, in the aim of enhancing the quality of the decoded WZFs for larger GOP sizes, an algorithm based on adjacent decoded frames is investigated, using an adaptive search area and a variable block size. Another contribution of this thesis concerns a fusion of global and local SI. Global parameters are estimated at the encoder using the Scale-Invariant Feature Transform (SIFT) algorithm. These global parameters are sent to the decoder to estimate the global SI. Then, new methods for combining global and local motion estimations are proposed, to further improve the SI. In the first approach, the differences between the corresponding blocks are used to combine the global and local SI frames. In the second approach, Support Vector Machine (SVM) is used to combine the two SI frames. In addition, algorithms are proposed to refine the fusion during the decoding process by exploiting the PDWZF and the decoded DC coefficients. Furthermore, the foreground objects are used in the combination of the global and local motion estimations, using elastic curves and foreground objects motion compensation. Extensive experiments have been conducted showing that important gains are obtained by the proposed techniques compared to the classical DISCOVER codec. In addition, the performance of DVC applying the proposed algorithms outperforms now the performance of H.264/AVC Intra and H.264/AVC No motion for tested sequences. Besides that, the gap with H.264/AVC in an Inter IB...IB configuration is significantly reduced.
Le codage vidéo distribué (DVC) est une technique récemment proposée dans le cadre du codage et de la transmission des séquences vidéo, et qui convient surtout à une nouvelle classe d'applications telles que la surveillance vidéo sans fil, les réseaux de capteurs multimédia, les caméras PC sans fil, les téléphones mobiles et les appareils-photos numériques. Ces applications nécessitent en effet un encodeur de faible complexité, avec la possibilité d'un décodeur de complexité élevée. DVC présente plusieurs avantages : d'abord, la complexité peut être distribuée entre l'encodeur et le décodeur. Deuxièmement, le DVC est robuste aux erreurs, car un codeur de canal y est incorporé. En DVC, une information adjacente (Side Information ou SI) est estimée au décodeur en se basant sur les trames décodées disponibles, et utilisée pour le décodage et la reconstruction des autres trames. Dans cette thèse, nous proposons de nouvelles techniques qui permettent d'améliorer la qualité de l'information adjacente. Tout d'abord, le raffinement itératif de l'information adjacente est réalisé après le décodage de chaque sous-bande DCT, en utilisant la trame Wyner-Ziv (WZ) partiellement décodée (appelée PDWZF) avec les trames de référence. De plus, dans cet algorithme, une nouvelle approche est proposée qui permet d'adapter la fenêtre de recherche au niveau de mouvement courant entre la trame WZ et les trames de référence, en se basant sur la PDWZF obtenue après le décodage de la première sous-bande DCT. Ensuite, une nouvelle méthode de génération de l'information adjacente est proposée, qui utilise l'estimation des vecteurs de mouvement dans les deux sens et le raffinement Quad-tree. En outre, en vue d'améliorer la qualité des trames WZ décodées pour les grandes tailles de GOP (Group Of Pictures), un algorithme basé sur les trames adjacentes décodées est proposé, qui utilise une zone de recherche adaptative et une taille de bloc variable. Une autre contribution de cette thèse concerne la fusion des estimations globale et locale. Les paramètres globaux sont calculés au codeur en utilisant l'algorithme SIFT. Ces paramètres globaux sont transmis au décodeur pour y être utilisés dans l'estimation de l'information adjacente globale. Ensuite, de nouvelles approches sont proposées afin de combiner les estimations de mouvement globale et locale. Dans la première approche, la fusion se base sur les différences entre les blocs correspondants. Dans la seconde, la technique SVM (Support Vector Machine) est utilisée pour combiner les deux informations adjacentes. En plus, des algorithmes sont proposés pour améliorer la fusion au cours du décodage, par l'exploitation de la PDWZF et des coefficients DC décodés. En outre, les objets segmentés des trames de référence sont utilisés dans la combinaison des estimations de mouvement globale et locale, en utilisant les courbes élastiques et la compensation de mouvement basée-objets. De nombreuses simulations ont été effectuées pour tester les performances des techniques proposés et qui montrent des gains importants par rapport au codeur classique DISCOVER. Par ailleurs, les performances de DVC obtenues en appliquant les algorithmes proposés surpassent celles de H.264/AVC Intra et H.264/AVC No motion pour les séquences testées. En plus, l'écart vis-à-vis de H.264/AVC Inter avec une configuration IB...IB est considérablement réduit.