Assessment and analysis of high dynamic range video quality
Evaluation et analyse de la qualité vidéo à haute gamme dynamique
Résumé
In the last decade, high dynamic range (HDR) image and video technology gained a lot of attention, especially within the multimedia community. Recent technological advancements made the acquisition, compression, and reproduction of HDR content easier, and that led to the commercialization of HDR displays and popularization of HDR content. In this context, measuring the quality of HDR content plays a fundamental role in improving the content distribution chain as well as individual parts of it, such as compression and display. However, HDR visual quality assessment presents new challenges with respect to the standard dynamic range (SDR) case. The first challenge is the new conditions introduced by the reproduction of HDR content, e.g. the increase in brightness and contrast. Even though accurate reproduction is not necessary for most of the practical cases, accurate estimation of the emitted luminance is necessary for the objective HDR quality assessment metrics. In order to understand the effects of display rendering on the quality perception, an accurate HDR frame reproduction algorithm was developed, and a subjective experiment was conducted to analyze the impact of different display renderings on subjective and objective HDR quality evaluation. Additionally, in order to understand the impact of color with the increased brightness of the HDR displays, the effects of different color spaces on the HDR video compression performance were also analyzed in another subjective study. Another challenge is to estimate the quality of HDR content objectively, using computers and algorithms. In order to address this challenge, the thesis proceeds with the performance evaluation of full-reference (FR) HDR image quality metrics. HDR images have a larger brightness range and higher contrast values. Since most of the image quality metrics are developed for SDR images, they need to be adapted in order to estimate the quality of HDR images. Different adaptation methods were used for SDR metrics, and they were compared with the existing image quality metrics developed exclusively for HDR images. Moreover, we propose a new method for the evaluation of metric discriminability based ona novel classification approach. Motivated by the need to fuse several different quality databases, in the third part of the thesis, we compare subjective quality scores acquired by using different subjective test methodologies. Subjective quality assessment is regarded as the most effective and reliable way of obtaining “ground-truth” quality scores for the selected stimuli, and the obtained mean opinion scores (MOS) are the values to which generally objective metrics are trained to match. In fact, strong discrepancies can easily be notified across databases when different multimedia quality databases are considered. In order to understand the relationship between the quality values acquired using different methodologies, the relationship between MOS values and pairwise comparisons (PC) scaling results were compared. For this purpose, a series of experiments were conducted using double stimulus impairment scale (DSIS) and pairwise comparisons subjective methodologies. We propose to include cross-content comparisons in the PC experiments in order to improve scaling performance and reduce cross-content variance as well as confidence intervals. The scaled PC scores can also be used for subjective multimedia quality assessment scenarios other than HDR.
Au cours de la dernière décennie, la technologie de l’image et de la vidéo à haute gamme dynamique (High dynamic range - HDR) a attiré beaucoup d’attention, en particulier dans la communauté multimédia. Les progrés technologiques récents ont facilité l’acquisition, la compression et la reproduction du contenu HDR, ce qui a mené à la commercialisation des écrans HDR et à la popularisation du contenu HDR. Dans ce contexte, la mesure de la qualité du contenu HDR joue un rôle fondamental dans l’amélioration de la chaîne de distribution du contenu ainsi que des opérations qui la composent, telles que la compression et l’affichage. Cependant, l’évaluation de la qualité visuelle HDR présente de nouveaux défis par rapport au contenu à gamme dynamique standard (Standard dynamic range -SDR). Le premier défi concerne les nouvelles conditions introduites par la reproduction du contenu HDR, par ex. l’augmentation de la luminosité et du contraste. Même si une reproduction exacte de la luminance d’une scène n’est pas nécessaire pour la plupart des cas pratiques, une estimation précise de la luminance émise est cependant nécessaire pour les mesures d’évaluation objectives de la qualité HDR. Afin de comprendre les effets du rendu d’affichage sur la perception de la qualité, un algorithme permettant de reproduire très précisement une image HDR a été développé et une expérience subjective a été menée pour analyser l’impact de différents rendus sur l’évaluation subjective et objective de la qualité HDR. En outre, afin de comprendre l’impact de la couleur avec la luminosité accrue des écrans HDR, les effets des différents espaces de couleurs sur les performances de compression vidéo HDR ont également été analysés dans une autre étude subjective. Un autre défi consiste à estimer objectivement la qualité du contenu HDR, en utilisant des ordinateurs et des algorithmes. Afin de relever ce défi, la thèse procède à l’évaluation des performances des métriques de qualité d’image HDR avec référence (Full reference-FR). Les images HDR ont une plus grande plage de luminosité et des valeurs de contraste plus élevées. Etant donné que la plupart des métriques de qualité d’image sont développées pour les images SDR, elles doivent être adaptées afin d’estimer la qualité des images HDR. Différentes méthodes d’adaptation ont été utilisées pour les mesures SDR, et elles ont été comparées avec les métriques de qualité d’image existantes développées exclusivement pour les images HDR. De plus, nous proposons une nouvelle méthode d’évaluation des métriques objectives basée sur une nouvelle approche de classification. Enfin, nous comparons les scores de qualité subjectifs acquis en utilisant différentes méthodologies de test subjectives. L’évaluation subjective de la qualité est considérée comme le moyen le plus efficace et le plus fiable d’obtenir des scores de qualité «vérité-terrain» pour les stimuli sélectionnés, et les scores moyens d’opinion (Mean opinion scores-MOS) obtenus sont les valeurs auxquelles les métriques objectives sont entraînées pour correspondre. En fait, de fortes divergences peuvent facilement être rencontrés lorsque différentes bases de données de qualité multimédia sont considérées. Afin de comprendre la relation entre les valeurs de qualité acquises à l’aide de différentes méthodologies, la relation entre les valeurs MOS et les résultats des comparaisons par paires rééchellonés (Pairwise comparisons - PC) a été comparée. A cette fin, une série d’expériences ont été menées entre les méthodologies double stimulus impairment scale (DSIS) et des comparaisons par paires. Nous proposons d’inclure des comparaisons inter-contenu dans les expériences PC afin d’améliorer les performances de rééchelonnement et de réduire la variance inter-contenu ainsi que les intervalles de confiance. Les scores de PC rééchellonés peuvent également être utilisés pour des scénarios subjectifs d’évaluation de la qualité multimédia autres que le HDR.
Origine : Version validée par le jury (STAR)
Loading...