Network and Content Adaptive Streaming of Layered-Encoded Video over the Internet - Archive ouverte HAL Access content directly
Theses Year : 2003

Network and Content Adaptive Streaming of Layered-Encoded Video over the Internet

Streaming de Vidéos Encodées en Couches sur Internet avec Adaptation au Réseau et au Contenu

(1)
1

Abstract

In this thesis we propose new techniques and algorithms for improving the quality of Internet video streaming applications. We formulate optimization problems and derive control policies for transmission over the current best-effort Internet. This dissertation studies adaptation techniques that jointly adapt to varying network conditions (network-adaptive techniques) and to the characteristics of the streamed video (content-adaptive techniques). These techniques are combined with layered-encoding of the video and client buffering. We evaluate their performance based on simulations with network traces (TCP connections) and real videos (MPEG-4 FGS encoded videos). We first consider the transmission of stored video over a reliable TCP-friendly connection. We compare adding/dropping layers and switching among different versions of the video; we show that the flexibility of layering cannot, in general, compensate for the bitrate overhead over non-layered encoding. Second, we focus on a new layered-encoding technique, Fine-Granularity Scalability (FGS), which has been specifically designed for streaming video. We propose a novel framework for streaming FGS-encoded videos and solve an optimization problem for a criterion that involves both image quality and quality variability during playback. Our optimization problem suggests a real-time heuristic whose performance is assessed over different TCP-friendly protocols. We show that streaming over a highly variable TCP-friendly connection, such as TCP, gives video quality results that are comparable with streaming over smoother TCP-friendly connections. We present the implementation of our rate adaptation heuristic in an MPEG-4 streaming system. Third, we consider the general framework of rate-distortion optimized streaming. We analyze rate-distortion traces of long MPEG-4 FGS encoded videos, and observe that the semantic content has significant impact on the encoded video properties. From our traces, we investigate optimal streaming at different aggregation levels (images, groups of pictures, scenes); we advocate scene-by-scene optimal adaptation, which gives good quality results with low computational complexity. Finally, we propose a unified optimization framework for transmission of layered-encoded video over lossy channels. The framework combines scheduling, error protection through Forward Error Correction (FEC) and decoder error concealment. We use results on infinite-horizon average-rewards Markov Decision Processes (MDPs) to find optimal transmission policies with low-complexity and for a wide range of quality metrics. We show that considering decoder error concealment in the scheduling and error correction optimization procedure is crucial to achieving truly optimal transmission.
Dans cette thèse nous proposons de nouvelles techniques et de nouveaux algorithmes pour améliorer la qualité des applications de streaming vidéo sur Internet. Nous formulons des problèmes d'optimisation et obtenons des politiques de contrôle pour la transmission sur le réseau Internet actuel sans qualité de service. Cette thèse étudie des techniques qui adaptent la transmission à la fois aux conditions variables du réseau (adaptation au réseau) et aux caractéristiques des vidéos transmises (adaptation au contenu). Ces techniques sont associées au codage en couche de la vidéo et au stockage temporaire de la vidéo au client. Nous évaluons leurs performances à partir de simulations avec des traces réseau (connexions TCP) et à partir de vidéos encodées en MPEG-4 FGS. Nous considérons tout d'abord des vidéos stockées sur un serveur et transmises sur une connexion TCP-compatible sans perte. Nous comparons les mécanismes d'ajout/retranchement de couches et de changement de versions; nous montrons que la flexibilité du codage en couches ne peut pas compenser, en général, le surcoût en bande passante par rapport au codage vidéo conventionnel. Deuxièmement, nous nous concentrons sur une nouvelle technique de codage en couches, la scalabilité à granularité fine (dite FGS), qui a été conçue spécifiquement pour le streaming vidéo. Nous proposons un nouveau cadre d'étude pour le streaming de vidéos FGS et nous résolvons un problème d'optimisation pour un critère qui implique la qualité des images et les variations de qualité durant l'affichage. Notre problème d'optimisation suggère une heuristique en temps réel dont les performances sont évaluées sur des protocoles TCP-compatibles différents. Nous montrons que la transmission sur une connexion TCP-compatible très variable, telle que TCP, résulte en une qualité comparable à une transmission sur des connexions TCP-compatibles moins variables. Nous présentons l'implémentation de notre heuristique d'adaptation dans un système de streaming de vidéos MPEG-4. Troisièmement, nous considérons le cadre d'étude général du streaming optimisé suivant les caractéristiques débit-distorsion de la vidéo. Nous analysons des traces débit-distorsion de vidéos de longue durée encodées en MPEG-4 FGS, et nous observons que le contenu sémantique a un impact important sur les propriétés des vidéos encodées. A partir de nos traces, nous examinons le streaming optimal à différents niveaux d'agrégation (images, groupes d'images, scènes); nous préconisons l'adaptation optimale scène par scène, qui donne une bonne qualité pour une faible complexité de calcul. Finalement, nous proposons un cadre d'optimisation unifié pour la transmission de vidéos encodées en couches sur des canaux à pertes. Le cadre d'étude proposé combine l'ordonnancement, la protection contre les erreurs par les FEC et la dissimulation d'erreur au décodeur. Nous utilisons des résultats sur les Processus de Décision de Markov (MDPs) à horizon infini et gain moyen, pour trouver des politiques de transmission optimales avec une faible complexité et pour un large éventail de mesures de qualité. Nous montrons qu'il est crucial de considérer la dissimulation d'erreur au décodeur dans la procédure d'optimisation de l'ordonnancement et de la protection contre les erreurs afin d'obtenir une transmission optimale.
Fichier principal
Vignette du fichier
thesis_decuetos.pdf (1.8 Mo) Télécharger le fichier
Loading...

Dates and versions

pastel-00000489 , version 1 (13-02-2004)

Identifiers

  • HAL Id : pastel-00000489 , version 1

Cite

Philippe de Cuetos. Network and Content Adaptive Streaming of Layered-Encoded Video over the Internet. domain_other. Télécom ParisTech, 2003. English. ⟨NNT : ⟩. ⟨pastel-00000489⟩
150 View
599 Download

Share

Gmail Facebook Twitter LinkedIn More