最近想要研究一些窄带高清的方法,在网上翻各种论文,突发发现以前都没有把一些经典的论文保存下来,现在要找都记不得名字了。
所以开一个帖子,将文章都整理记录下来,一点一点慢慢更新

主要分为编码评估,低码高清,码率控制和性能优化4个大类, 把最近今天有留底的更新上,后续慢慢补充

编码评估

编码

  • Calculation of average coding esociency based on subjective quality scores

该文章提出了BD rate的评估方法,目前业界通用

  • Zvezdakova_Kulikov_Zvezdakov_Vatolin_BSQ_rate_color

该文章提出了BSQ-rate的评估方法,是对的BD-rate的修正, 是目前MSU主要使用的评估方法

客观

  • Image Quality Assessment: From Error Visibility to Structural Similarity

提出了SSIM的文章, 目前使用最多的客观评价标准

主观

  • R-REC-BT.500-14-201910-I!!PDF-C

  • R-REC-BT.1788-0-200701-W!!PDF-C

ITU关于主观评价的标准文档, 提出了多种主观评价标准,单激励损伤,双激励损伤,双激励连续损伤等等

一些看过的主观评价的论文:

  • 基于H_264的无参考视频质量评估方法的研究_周涛

低码高清

使用更低的带宽,传输更高清的视频,一直是老板们的终极追求。在网络基础设施越来越好的今天,高清低码成为了衡量体验的重要指标,目前业界的主要研究方向大概分为几类:

  1. 运动估计优化
  2. 超分
  3. 感知编码
  4. ROI编码
  5. 跳帧

在研究过程中收集了一系列的期刊论文进行参考比对,整理在此文档中,持续更新

运动估计优化

由于编码过程中的主要消耗在于预测残差,运动估计越精确,所得到的残差越小,故所用的比特数就越少。

超分

超分为一种后处理技术,假设接收端需要720p的画面,则发送端只需要将720p的画面下采样到360p进行编码,接收端通过上采样算法还原图像,则达到降低码率的效果

感知编码

基于人眼的视觉特性HVS,人眼不同区域的感知也不相同,比如平坦区域的感知较为明显,而运动区域的感知不太敏感,人眼对不同亮度的感知也不尽相同。故借助这些特性,对量化参数qp进行调整,不敏感的区域增大qp,敏感的区域降低qp,可以降低编码的码率。

x264中使用了自适应量化(AQ)和MB tree来达成感知编码的目的,业界也存在一些使用JND在实现感知编码

AQ

  • A Novel Adaptive Quantization Method

一种新的AQ方式介绍

MBtree

  • Look-ahead coding considering rate distortion optimization

x264当中的lookahed原理介绍

JND

  • Improved estimation for just-noticeable visual distortion

  • 基于区域划分的JND快速求取算法

  • H.264/AVC Video Coding Based on Foveated Just-Noticeable-Distortion Model. Circuits and Systems for Video
    Technology, IEEE Transactions on, 2010, vol. 20, 806-819

ROI编码

人对图像每个区域的关注度不同,对图像的主要部分分配更多的比特,而背景区域分配更少的比特

  • 田源, 于凤芹.人脸检测方法综述[ J] . 计算机安全, 2009( 5)

  • Neural network face detection. Imaging Science Journal, 2005, 53 ( 2)

  • Face detection using discriminating feature analysis and support vector machine in video. Proc. of the 17th International Conference on Pattern Recognition. Newark, NJ, USA: ICPR, 2004, 2: 407- 410

神经网络人脸检测

  • 万丽,陈普春, et al. 基于 YCbCr 色彩空间的人脸检测技术研究. 现在电子技术,2011,77-81

  • Comparative performance of different skin chrominance models and chrominance spaces for the automatic detection of human faces in color images. Proc. Of Conf. on Automatic Face and Gesture Recognition. Grenoble, France

基于肤色的人脸ROI区域检测

跳帧

编码在时域相邻帧之间存在编码冗余,通过丢弃一些不必要的帧可以达到降低码率,提高质量的目标

  • H.264码率控制跳帧算法的优化_周全

码率控制

性能优化