Temporal and inter-view interpolation for the improvement of the side information in distributed video coding
Interpolation temporelle et inter-vues pour l'amélioration de l'information adjacente dans le codage vidéo distribué
Résumé
Distributed source coding is a paradigm that consists in encoding two correlated sources independently, provided that they are decoded jointly. Wyner and Ziv proved that distributed source coding can attain the same rate distortion performance of joint coding, under some constraints. This feature makes distributed source coding very attractive for applications that require a low-complexity encoder (such as for wireless sensor networks) or for avoiding communication between the sources (such as in multiview video systems). In distributed video coding, correlated frames are encoded separately but decoded jointly. In the Stanford Architecture, the video is split into Key Frames and Wyner-Ziv Frames. Only the Key Frames are sent to the decoder. The Wyner-Ziv Frames are fed into a systematic channel coder and the parity bits are sent to the decoder. At the decoder side, an estimation of the Wyner-Ziv Frame, called side information, is produced by interpolating the frames available at the decoder side. The side information, that can be considered as a noisy version of the real Wyner-Ziv Frame, is corrected by the parity bits sent by the encoder. In this thesis, we study several algorithms for side information generation in the context of distributed multiview video coding both for the temporal and inter-view interpolation. All our algorithms outperform the state-of-the-art in terms of rate distortion performance. A second contribution is in the context of the multiview video plus depth (MVD) format. In the interactive multiview video streaming paradigm, distributed video coding assures the continuity of the playback during the streaming, since the Wyner-Ziv Frames can be decoded independently from which reference frames are available at the decoder side. Several algorithms for Wyner-Ziv estimation in this context have been proposed.
Le codage vidéo distribué est un paradigme qui consiste en encoder indépendamment deux sources corrélées mais à les décoder conjointement. Wyner and Ziv ont montré que le codage de source distribué peut atteindre les mêmes performances débit-distorsion du codage de source conjoint sous quelques contraintes. Cette caractéristique rend le codage de source distribué très attractif pour applications qui demandent un encodeur à bas complexité (comme par example des réseaux des senseurs sans fil) ou pour éviter tout sorte de communication entre les source (comme dans les systèmes multi-vues). Dans le cadre du codage vidéo distribué, les trames corrélées sont encodées séparément mais elles sont encodées conjointement. Dans l'architecture de Stanford, la flux vidéo est séparée en trames clés (TC) et Wyner-Ziv (TWZ). Seulement les trames clés sont envoyées au décodeur. Les trames Wyner-Ziv sont donné en entrée à un codeur systématique de canal et les bits de parité sont envoyés au décodeur. Au décodeur, on produit une estimation de la trame Wyner-Ziv, appelé information adjacente, en interpolant les trames déjà disponibles au décodeur. L'information adjacente, qui peut être considérée comme une version bruitée de la vraie trame Wyner-Ziv, est corrigées par les bits de parité envoyées par l'encodeur. Dans cette thèse, on a étudié plusieurs algorithmes pour la génération de l'information adjacente dans le cadre du codage vidéo distribué multi-vues pour ce qui concerne et interpolation temporelle et l'interpolation inter-vue. Tous les algorithmes proposés donne des résultats meilleurs par rapport à l'état de l'art en termes de performance débit-distorsion. Une deuxième contribution concerne le format vidéo multi-vues plus profondeur. Dans le cadre du paradigme du streaming interactive pour la vidéo multi-vues, le codage vidéo distribué assure la continuité de la reproduction pendant le streaming, puisque les trames Wyner-Ziv dont décodées indépendamment des trames de référence qui sont disponibles au décodeur. On a proposé plusieurs algorithmes pour l'estimation de la trame Wyner-Ziv dans ce contexte-là.