图生图之超分辨率(1)
图像分辨率
图像分辨率指图像中存储的信息量,指的是每英寸图像内有多少个像素点,分辨率的单位为PPI(Pixels Per Inch),通常叫做像素每英寸。一般情况下,图像分辨率越高,图像中包含的细节就越多,信息量也越大。
图像分辨率分为空间分辨率和时间分辨率。通常,分辨率被表示成每一个方向上的像素数量,例如64×64的二维图像。但分辨率的高低其实并不等同于像素数量的多少,例如一个通过插值放大了5倍的图像并不表示它包含的细节增加了多少。图像超分辨率重建关注的是恢复图像中丢失的细节,即高频信息。 在大量的电子图像应用领域,人们经常期望得到高分辨率(简称HR)图像。但由于设备、传感器等原因,我们得到的图像往往是低分辨率图像(LR)。增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸(例如增加每单元面积的像素数量);另外一个增加空间分辨率的方法是增加芯片的尺寸,从而增加图像的容量。因为很难提高大容量的偶合转换率,所以这种方法一般不认为是有效的,因此,引出了图像超分辨率技术。
超分辨率技术
图像超分辨率(Image Super Resolution)是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。
图像修复与图像超分辨率之间的关系
图像修复的目标是恢复一个被模糊或者噪声破坏的图像,但是它不改变图像的尺寸,在处理后图像中的像素数并不增加。事实上,超分辨率技术可以看作是第二代图像修复技术。
图像插值与图像超分辨率之间的关系
图像插值,即增加单幅图像的尺寸。一般的插值并不能恢复低分辨率采样过程中丢失的高频信息,但是图像超分辨率可以,因此图像插值方法不能被认作是超分辨率技术。
图像锐化与图像超分辨率之间的关系
图像锐化可以提升高频信息,但仅增强已有的高频成分;超分辨率技术能估计出原始图像中没有表现出来的高分辨率细节。
目前,图像超分辨率研究可分为3个主要范畴:基于插值、基于重建、基于学习的方法。